このブログは、旧・はてなダイアリー「檜山正幸のキマイラ飼育記 メモ編」(http://d.hatena.ne.jp/m-hiyama-memo/)のデータを移行・保存したものであり、今後(2019年1月以降)更新の予定はありません。

今後の更新は、新しいブログ http://m-hiyama-memo.hatenablog.com/ で行います。

確率統計

指標のラムダ計算と確率概念

あれ、これって指標のラムダ計算に役立つぞ。 「確率変数」の一般論は可能か - 檜山正幸のキマイラ飼育記

improper prior distribution

なんだこれ?

連続と離散の場合

種別 連続 離散 測度 μ(A) μ(A) 測度形式 μ(dx) μ(Δx) 密度 p(x) p[x] 密度形式 p(x)dx p[x]Δx 核 K(x→dy) K[x→Δy] 核の密度 k(x, y) k[x, y] 密度核 k(x, y)dy k[x, y]Δy 積分 ∫f(x)dμ(x) Σf[x]Δμ[x] 微分 dμ(x) = (dμ/dx)(x)dx Δμ[x]= μ({x}) 用語: 測度…

確率変数と事象の混同、その他諸々の混同も

ベイズ・ネットワークの定義では、普通、ノードは確率変数だと言われる。この意味での確率変数を「事象」と記述してある本がある。意味不明だったが、次のように解釈できる。まず、確率変数を確率空間のあいだの確率(測度)保存可測写像の意味で使う。この…

確率的確率保存写像の圏と同時確率の圏

けっこう重要な事実。ジリィモナドのクライスリ圏をStockと書くことが多いが、条件付き確率密度関数を射とする圏でもあるので、Stock = CondProb とも書くことにする。次の圏が重要。 1/CondProb 確率空間を対象として、確率測度を保存するマルコフ核を射と…

続・マルコフ核の操作

マルコフ核の操作 - 檜山正幸のキマイラ飼育記 メモ編の続き。部分適用は一般には無理だな。使える操作は: (順次)結合 f;g 同時化 p∩f 反同時化 p∪a 独立テンソル積 pq 周辺化 a↓X,YX コタプル [ξ1f, ξ2g] composition, jointification, unjointification…

マルコフ核の操作

(順次)結合 同時化 独立テンソル積 独立部分適用 周辺化 コタプル 絵の1行目左は結合、普通に圏論の結合。1行目右が同時化。分布 p:1→X と、マルコフ核 f:X→Y に対して、g:1→X×Y という同時分布を作る。同時化は非常によく使われる。分布(≒確率変数)が独…

高階確率

高階確率とは、確率測度の空間に可測構造を与えて、その上にさらに確率測度を入れること。今の話は二階の確率となるが、いくらでも高階の確率を考えることが出来る。測度論的には難しい話になるが、日常的には高階確率は使っていると思う。例えば、競馬評論…

別な「確率分布」の意味

確率分布を確率空間の意味で使うこともあるようだ。https://www.youtube.com/watch?v=bHBTEsYC-YM の講義だと、σ代数の生成系を「事象族」、「確率」=確率測度で、「事象族と確率」の組み合わせを「確率分布」と呼んでいるので、確率分布は確率空間と同義。…

サンプリング関手

カルバートソン/スターツが、どうして「モデル分布族」を「標本分布」と呼ぶのか?(サンプリング - 檜山正幸のキマイラ飼育記 メモ編) 不思議だったが、次のような事情かも知れない。 パラメトリック・モデル分布族とは、パラメータ空間=仮説空間の各点…

独立性と同時確率分布(具体例)

4人の人A, B, C, Dがいて、Ω = {A, B, C, D}とする。Ω上の確率変数(=単なる写像)を3つ定義する。 Xは性別、値の空間は {男, 女} Yは喫煙するかしないか、値の空間は {喫煙, 非喫煙} Zは化粧するかしないか、値の空間は {化粧する, 化粧しない} X, Y, Zの“…

確率論入門の講義動画

OCW Tsukubaの講義動画「2014年度 確率論 Chapter2 確率変数と分布関数」(講師:稲垣敏之氏)を見た。 https://www.youtube.com/watch?v=UE4Qr3E8-gM 話や板書はウマイなー。その他感想。 「確率変数」はよくある曖昧な定義の後で、関数であることをちゃん…

サンプリング

標本空間のサンプルの話は今は置いとく。『統計数学』p.72では、確率標本という言葉を使っているが、おそらくはrandom sample(ing)だろう。 http://stats.stackexchange.com/questions/99126/are-random-sample-and-iid-random-variable-synonyms 基本的には…

ややこしい言葉

有限測度 -- 全空間の測度が有限 有限集合上の測度 -- 有限測度とは呼ばない 有限加法的な測度 -- σ加法性がない。これは測度とは呼ばないかも知れない。前測度でもない。finitely additive measures という言葉はある。→ http://www.ams.org/journals/tran/…

よく分からない記法と言葉

最初見てサッパリだったが、たぶん次のような意味。 argx{xを含む命題 P(x)} 命題P(x) を満たすようなxの値。存在することは事前に保証されている。複数の候補があれば適当に選ぶ。イプシロン記号と同じ。 argmaxx{xを含む式 f(x)} f(x)の最大値を与えるxの…

ハッチンソン距離

Hutchinson metric については、 https://en.wikipedia.org/wiki/Hutchinson_metric http://www.chimaira.org/archive/GiryMonadsOnUltrametricSpaces_1803-5614-1-SM.pdf

測度の弱収束、距離

Wikipedia "Convergence of measures"→ https://en.wikipedia.org/wiki/Convergence_of_measures 弱収束の教科書的文書 Weak Convergence of Probability Measures→ http://www.math.chalmers.se/~serik/C-space.pdf ボレル集合の教科書的文書 Some Notes on…

プロホロフ(Prokhorov)理論

Title: Probability measures on metric spaces Author: Onno van Gaans URL: https://www.math.leidenuniv.nl/~vangaans/jancol1.pdf これに、ユリ・プロホロフ(Yuri V. Prokhorov)によるジリー・モナド(Giry monad)の距離版の話がある。1956年発表。非…

越統計量と実効的(構成的)統計量

誰も言わないが、統計量には超越的に定義されるものと、データから構成的に定義されるものがあるように思う。期待値は超越的で、具体的に与えられたデータからの平均値は実効的。極限において、実効的統計量が超越的統計量を近似可能か? という問題意識が不…

いくつかの定義とかトピックとか

『初学者のための統計教室』現代数学社 から: 統計とは、現実の集団に関係する数(って、これが定義かよ?) 例:人口調査、男女、年代などで整理できる。 2歳ごとのヒストグラムが出ていた。 男女の性比=男/女≒1.08、ふーん 母集団の部分集団を標本と呼ぶ…

不適切な調査の例

自民党代議士の講演会の参加者に対して支持政党のアンケートをして、その結果をなんらかの母集団の推定に使う 東京における所得の調査をして全国に対して敷衍する。

推測モデルの幾何構造

情報幾何は分布の空間の幾何構造を使うようだが、線形回帰やその一般化でも結局は幾何構造を使う気がする。Dをなんらかの集合(構造を持つかも知れない)、Wをベクトル空間とする。正確にはWより前にアフィン空間Aがあり、Wはその同伴ベクトル空間。Fun(D, W…

標準化、観測データの標準分解

やっと多少は納得がいった。記述統計でも、実に難しい。要点は: 観測シーケンスの空間はベクトル空間ではなくてアフィン空間。 観測のアフィン空間に付随するベクトル空間はユークリッド空間。直交性、ノルム、角度の概念を持つ。 アフィン空間もベクトル空…

パラメータの嘘

パラメトリックモデルとは、パラメータ空間Θから分布の空間Dist(V)への写像 M:Θ→Dist(V)で与えられて、Mが単射の(識別可能性を持つ)ときを言う。微分構造を考えるなら、Mがどの点でも非特異(微分が退化しない)とする。こういう定義なのだが、実際にはパ…

不明

無相関と独立性(分散の計算には無相関でいい、とか) 仮説検定の根拠を明白に 棄却域の設定方法、多次元分布では 検定関数とか検出力とか 無作為抽出の意味(「サンプルが母集団の特徴を備えている」って?)サンプリングの「偏りのなさ」とは何か 「平均の…

有偏分散量の期待値の計算

有偏分散(biased variance)値関数は、x∈Rn に対する関数 bvar で、 [tex: mean(x) = mean*1 = mean(x_1, \,\ldots\, ,x_n) = \frac{1}{n}\sum_{i = 1}^{n}x_i ] [tex: bvar(x) = bvar*2 = bvar(x_1, \,\ldots\, ,x_n) = \frac{1}{n}\sum_{i = 1}^{n}(x_i -…

いきなり「確率変数」と言われたらどうするか

Vが集合(実際には可測空間のはず)で、xがV上を走る変数のとき、「xは確率変数である」とか「xを確率変数とする」みたいなことになったら、どう解釈するか。そのときは、V上の確率分布(確率測度)が存在していて、暗黙にその分布を前提にしている。可測空…

シーケンス変量と標本変量とi.i.d.

i.i.d.は、independent and identically distributed random variables の略。ちゃんと書いてある説明でも、標本概念とi.i.d.の関係はけっこう天下り。標本変量(確率標本)とi.i.d.は同じとみなしていいかと思っていたが、そうでもない。「任意の観測量(集…

観測値ベクトル空間とシーケンス空間

確率ベクトルは多義的だからやめて、ベクトル確率変数(ベクトル変量、ベクトル観測量)を使うことにした(ベクトル確率変数の曖昧性 - 檜山正幸のキマイラ飼育記 メモ編 参照)。それでもまだダメで、集団に備わる基本観測量 X:Ω→V と、抽出インデックス集…

集団と母数と分布空間

「確率空間+変量(観測量)」を集団(assemblage)と呼ぶことにする。変量の値空間はVに固定する。集団(Ω, P, X)と集団(Δ, Q, Y)のあいだの射fは次のように定義する。 f:Ω→Δ は可測写像である。したがって、集団の圏はMeas上に具象的である(忘却関手を持つ…