このブログは、旧・はてなダイアリー「檜山正幸のキマイラ飼育記 メモ編」(http://d.hatena.ne.jp/m-hiyama-memo/)のデータを移行・保存したものであり、今後(2019年1月以降)更新の予定はありません。

今後の更新は、新しいブログ http://m-hiyama-memo.hatenablog.com/ で行います。

もう一度、確率モデル、統計モデル

Measを可測空間の圏とする。実際にはMeasの部分圏で考えるのが普通だが、ここではMeas全体を使う。CMeasに忘却関手 U:CMeas を持つ圏とする。

可測空間Aに対して、A上の確率測度の全体をProb(A)とする。Prob(A)は可測空間に出来るので、Probはモナド(ジリィ・モナド)になる。Dist:MeasC は関手で、Dist(A) は可測空間A上の分布の空間と呼ぶ。分布の空間はCの対象となる。ι:Dist;U⇒IdMeas は自然変換とする。

Param⊆|C| として、Paramの元をパラメータ対象(またはパラメータ空間)と呼ぶ。Θ∈Param からの射 p:Θ→Y in Cパラメトリックまたはパラメータ表示と呼ぶ。

A∈Measに対して、Dist(A)∈|C| となるが、パラメトリック射 p:Θ→Dist(A) をA上のパラメトリックモデルと呼ぶ。Aとしては、有限離散集合、実数上のボレル可測空間などを使う。Distは、密度関数の空間を使うことが多い。

パラメトリックモデルは、Θでパラメトライズされたモデルの集合だが、さらにパラメトリックモデル全体の集まりとして、Aごとに、パラメトリックモデルの圏を考えるのがよい。ただし、同型なモデルは同一視した同値類を考えるので、Cにおけるサブオブジェクトの類 Sub(Dist(A)) と同様な構成によるモデル全体の類 Model(Dist(A)) = ModelDist(A) を考える。

Distはユニバースを作る関手だが、Distを固定するなら、ModelDist(A) = Model(A) と略記できる。Model(A) の背後に圏があると考えて良い。この圏での議論がA上のモデルの話。A上のモデルは、単一のパラメトリック射 p:Θ→Dist(A) で表現される。

p:Θ→Dist(A) と d:Rn→Dist(A) の絡みを S = Dist(A) のなかで考えるのが情報幾何だろう。外の圏Cは、計量微分多様体(バナッハ多様体)の圏とか。