このブログは、旧・はてなダイアリー「檜山正幸のキマイラ飼育記 メモ編」(http://d.hatena.ne.jp/m-hiyama-memo/)のデータを移行・保存したものであり、今後(2019年1月以降)更新の予定はありません。

今後の更新は、新しいブログ http://m-hiyama-memo.hatenablog.com/ で行います。

分布の空間

情報幾何の意味での統計モデルのアンビエント空間(埋め込み先)は「分布全体の空間」だが、これを作るのはけっこう難しい。

  • 確率変数Xの値の空間をVとする。V上の実数値符号付き有界測度の全体はベクトル空間になる。が大き過ぎる。
  • Vに基準測度(たいていは標準ルベーグ測度)があると仮定する。
  • 測度のなかで密度を持つ測度とディラック測度の線形結合で書けるものに限定する。
  • 符号付きで正値性(非負性)にも正規性(全測度が1)にも拘らないとベクトル空間になる。
  • このベクトル空間の上の線形形式として積分が定義できる。
  • 確率密度関数ディラック測度も含める)の全体は、余次元1のアフィン空間内の単体となる。
  • この単体は無限次元なので複雑な構造を持つ。
  • 余次元1のアフィン空間の同伴ベクトル空間は、平均値0、分散有限の実数値確率変数で表現できる。
  • ここで出てきた確率変数は、符号付き測度の空間のベクトルのことで確率とは関係ない。
  • 平均値0、分散有限の実数値確率変数は、密度の変位と捉えるべき。変位関数とか密度変位とか呼ぶといいかも。
  • 密度変位の全体はゼロを含む部分ベクトル空間だが、任意の確率測度でスライドさせると、アフィン空間になり、非負性をはずした正規測度の全体になる。

要するに、次のようなモノを考える必要がある。

  • 符号付き有界測度のベクトル空間
  • 符号付き正規測度のアフィン空間
  • 符号付き平均ゼロ測度のベクトル空間(密度変位の空間)
  • 非負測度のコーン
  • 確率測度=分布からなる単体。