データ空間 D = V* = I + V + V2 + ... を分布の空間Dist(V)に埋め込むことは非常に重要。全データ空間の部分集合A⊆Dを考えることもある。dist:D→Dist(V) を観測分布＝経験分布を得る関数とする。distを正確に記述しないと、そこから先の議論ができない。Vが…

データに関しての確認事項。 観測量＝確率変数 観測値の空間＝確率変数の値の集合、ベクトル空間とは限らない！ データ＝繰り返し観測の実現値＝データ点 データ空間＝観測値の空間の直積の直和＝クリーネスター 統計値関数＝データ空間上の任意の関数 統計…

基本的は発想は、 「極めて起こりにくい事が起きた」という主張は嘘に違いない だと思う。これはいいのだが、「起こりにくい事」の正確な定義が分からない。確率変数の値の空間をV、V上の確率密度関数をfとして、棄却域（rejection region）をR（R⊆V）とする…

n次元の射影空間 (Rn+1＼{0})／≡ を考える。≡は同じ射線上に乗っていれば同値とする同値関係。(x0, x1, ..., xn)・(y0, y1, ..., yn) = (x0y0, x1y1, ..., xnyn) で定義される積（アダマール積）は、射影空間に掛け算の構造を与える。各成分が非零な部分集合…

Eθ[ψ(X)] という記号がある。これを解釈する。やっぱり用語記号が分からない - 檜山正幸のキマイラ飼育記 メモ編 と 検定関数の汎関数 - 檜山正幸のキマイラ飼育記 メモ編 にも出てくる表現だ。まず、測度μに対する可測関数fの積分 I(f, μ) を次の2つの記号…

情報幾何の意味での統計モデルのアンビエント空間（埋め込み先）は「分布全体の空間」だが、これを作るのはけっこう難しい。 確率変数Xの値の空間をVとする。V上の実数値符号付き有界測度の全体はベクトル空間になる。が大き過ぎる。 Vに基準測度（たいてい…

当初よくわからないと思ったものはホントに難しいものだった。 母集団 変量 分布 無作為抽出 標本（サンプル、サンプリング） データ 母数 真値 従う 統計量 分布する 入門書では、これらの概念が1ページくらいで説明されている。しかし、用語の定義と実際の…

まず、「正則パラメトリック統計モデル＝パラメータ空間から分布空間への埋め込み＝パラメトライズされた部分多様体」は共通認識のようだ。pθ(x) = p(x, θ) と書かれるので、カリー化／アンカリー化が暗黙に行われている。p(x, θ) は、p(x;θ), p(x:θ), p(x|θ…

体サイズx（xi, i = 1, ..., 100）と無関係に施肥処理（TRUF, FALSE）ななされた、とは正確にはどういう意味だろう。体サイズ観測量（R≧0確率変数）と施肥処理フラグ（TRUE, FALSE）が独立ということだろうが、異なる地域を持つ確率変数のど独立性が必要だ。…

複数確率変数の同時分布ではないのか。確率変数の値がなんであっても同時分布（joint dist.）は構成できる。値の空間が離散の場合の同時分布の表現が分割表。度数分布表の多次元版。周辺分布は、一番右列と一番下行の「計」のベクトル。周辺分布のテンソル積…

Measを可測空間の圏とする。実際にはMeasの部分圏で考えるのが普通だが、ここではMeas全体を使う。CをMeasに忘却関手 U:C→Meas を持つ圏とする。可測空間Aに対して、A上の確率測度の全体をProb(A)とする。Prob(A)は可測空間に出来るので、Probはモナド（ジリ…

難しいのはしょうがないが、難しさがハッキリとしてないのは辛い。心情的に辛い。データを分布（経験分布、観測分布）と考えて、分布全体の空間に埋め込んでそれを観測点と呼ぶ -- これはいいと思ったが、やはりハッキリしない。http://www.ism.ac.jp/~eguch…

AがR上の可換環で期待値（トレース）E[-] を持ち、統計独立性の概念が定義されているとする。X, Yの（代数的な）統計独立性は、多項式f, gに関して、 E[f(X)] = 0, E[g(Y)] = 0 ならば E[f(X)g(Y)] = 0 として定義できそう。複数の要素の統計独立性も同様。f…

Xの平均はX-で表すことにする。とは言っても、そもそも曖昧だと思うが。 V[X- - μ] = σ/n の計算（μは効いてこないので、定数ならなんでもいいが）： V[X- - μ] //1 = V[(X1 + ... + Xn)/n - μ] //2 = V[1/n(X1 + ... + Xn - nμ)] //3 = (1/n2)V[(X1 + ... +…

くじ（カード）に値が書かれたくじ引きの絵があった。カードの値が確率変数の値を意味し、カード自体は無意味化している。集合の要素である個体を無意味化して、固定した確率変数の値に注目させる比喩か。なるほど。母集団はくじ引き装置。分布はヒストグラ…

http://matsuzoe.web.nitech.ac.jp/infogeo/seminar_130306_v2_public.pdf は70ページまでに基本が書いてある。4upなら、20枚はいかない。

甘利先生の本はけっこう間違いがあるかもしれない。指数分布族の定義：exp(Σθixi + r(x) - ψ(θ)) とあるが、exp(ΣθiFi(x) + r(x) - ψ(θ)) がより正確。xiを定義しなおせばいいので、これは趣味の問題とも言えるが、正規分布の自然パラメータ表示（アフィン座…

離散分布を指数分布族に、1次元の例 - 檜山正幸のキマイラ飼育記 メモ編の話。 q = p0 θ = log(p1/pp) なので、curve(log (x/(1- x)) を描いてみる。これは、θ = θ(q) のグラフのはず。どうもシグモイド関数の逆のように見える。シグモイド関数の逆をロジッ…

ちょっとした計算も追えなかった。理由は、例によって用語法／記号法。まず、 確率変数xは、離散確率変数 x = 0, 1, ..., n とする。 「確率変数」と書いてあったら、「確率を考えるな！」というメッセージだと思ったほうが良い。解釈すると； なんらかの確…

概念 元 双対 ベクトル空間 V W = V* 座標 θ η ポテンシャル関数 ψ φ 座標変換 ∇ψ ∇φ η = ∇φ(θ) θ = ∇ψ(η) φ = ψ* （ルジャンドル変換） ψ = φ* （ルジャンドル変換） ψ(θ) + φ(η) = θ・η （・はスカラー積）

http://arxiv.org/pdf/1108.2874.pdf で、ルジャンドル変換を次の形に書いてある。 g(α) := Σ(x∈A| xα/f(α)) fがもとの関数で、gがそのルジャンドル変換。注目すべきはxαという書き方で、gの独立変数αは、ベキ指数としてxの空間Aに作用している。

参考： http://www.lix.polytechnique.fr/~nielsen/CompGeom-DuallyFlatSpaces-JGA2009.pdf ベースにする凸関数（劣アフィン関数）をポテンシャル関数と呼んでいる例がある。ポテンシャル関数と双対ポテンシャル関数がペアになって、相互に規定しあう。 φが…

情報幾何の入り口で出てくる双対構造が分からなかった。甘利先生が「ルジャンドル変換」と言っているのはどうも間違いみたいで、一般化されたガウス写像だと思う。もともとのガウス写像は、Jを実数直線の区間として、ユークリッド空間に値を取る曲線 c:J→E …

TeXがうまく動かないようだ。 display2d:true;これでテキストモード。

ノルムの評価 |ax| ≦ ρ(a)|x| がスペクトル理論使うとすると、代数的スペクトル半径の有限性だけをたよりにスペクトル定理を示す必要がある。非可換代数確率空間のスペクトル理論は、タオの次の記事に書いてある。 254A, Notes 5: Free probability | What's…

スペクトル半径ρ(a)とユークリッドノルム|a|, |x|に関する不等式 |ax| ≦ ρ(a)|x| を代数的に示すのは無理なような気がしてきた。タオも、別な所ではスペクトル理論をヘビーに使って示している。示す順番が違うと思う。つまり、スペクトル理論を入れてから分…

トレースの条件から有界性を除いたものをプレトレースと呼ぶことにする。可換とは限らないスター環なら、 [線形性] τは線形形式である。 [正半定値性] τ(x・x*)≧ 0 スターを持たない可換環なら、 [正半定値性] τ(xx)≧ 0 実係数のプレトレース可換環があると…

x を、xのヒルベルト／ユークリッド・ノルムとして、ρ(a)をスペクトル半径とするとき、次の不等式が欲しい。 |ax| ≦ ρ(a)|x| aによる掛け算をヒルベルト空間の作用素（自己随伴は自明）とみて、|ax|/|x| がρ(a)で抑えられることを主張しているので、掛け算作…

内積の公理から「(x|x) = 0 ⇒ x = 0」だけを外した二次形式を何と呼ぶか？ 見当たらない。「非退化」を仮定しないことなので「退化」という形容詞を付けてもいいが、「退化している」ではなくて「退化を許す」だから、ちょっと違和感がある。半ノルム（semi-…

トレースの公理で、p = 2, 4, 8, 16, ... と2のベキ乗だけを考えて、「τ(fp)1/p が有界である」だけでいいようだ。|f|p := τ(fp)1/p としてpノルム（pは2のベキ）を定義して、次の変形ヘルダーの不等式を示す。 |fg|p ≦ |f|2p|g|2p これのベースとなるのがコ…