推測モデルの幾何構造 - (保存用) 檜山正幸のキマイラ飼育記メモ編

情報幾何は分布の空間の幾何構造を使うようだが、線形回帰やその一般化でも結局は幾何構造を使う気がする。

Dをなんらかの集合（構造を持つかも知れない）、Wをベクトル空間とする。正確にはWより前にアフィン空間Aがあり、Wはその同伴ベクトル空間。Fun(D, W) を考える範囲のすべての関数からなる関数空間とする。

モデルとは、パラメータ空間PからFun(D, W)への単射写像 m:P→Fun(D, W)。Fun(D, W)は（たいていは無限次元）のアフィン空間と考え、mの像はその部分空間だとしてモデル空間と呼ぶ。

[n] = {1, 2, ..., n} として、x:[n]→D をDのサイズnのサンプリングだとする。xによる引き戻しを x^* とすると、x^*: Fun(D, W)→Fun([n], W) $\stackrel{\sim}{=}$ Wⁿ となる。モデルmの後にx^*をつなぐと、P→Wⁿ という写像が得られるが、これがサンプリングxに伴い誘導されたモデルと呼ぶ。誘導されたモデルは単射とは限らない。

サンプリングxをデザイン（計画）とも呼ぶ。デザインを決めるとは、入力領域または観測個体を選ぶこと。デザインxを固定すると、誘導モデルm;x^*も固定され、観測空間Wⁿの部分空間x^*(m(P))が決まる。この部分空間を推測空間と呼ぶ。または、誘導されたモデル空間と呼ぶ。

m'を誘導されたモデル m':P→Wⁿ とする。観測空間Wⁿに距離構造distがあると、任意のy∈Wⁿ に対して、β∈P を動かして dist(y, m'(β)) の最小値を求めることができる。これは誘導されたモデル空間＝推測空間とyとの最短距離を求めることになる。

観測空間にどのような距離構造を入れるのがよいか、最短距離を与えるモデル空間上の点が一意に存在するか、その点が最良近似とみなしてよいのか、などは全然明らかではない。

色々と不明な点があるが、モデルm:P→Fun(D, W)で非常に簡単なケースがある。

PがWと同じで、mが定数関数として埋め込むもの。これを定数モデルと呼ぶ。このときDは何でもよい。
Dがアフィン空間Aの部分集合で凸結合が考えられるとき、D上のアフィン線形写像を考えることができる。Pとして AからWへのアフィン線形写像の全体ととる。これをアフィン線形モデルと呼ぶ。

観測空間Wⁿ内のモデル空間＝推測空間が局所的にアフィンであって、パラメータ空間の適当な商空間（の部分集合）が座標を与えるとする。このとき、モデル空間は多様体となる。よって、モデル多様体、推測多様体と呼ぶ。

外の観測空間Wⁿがユークリッドアフィン空間であれば、推測多様体（部分多様体）の各点で接空間と直交補空間（法空間）との直和分解ができる。外の観測空間に接続＝平行移動があれば、法空間を伸ばして葉層構造に出来る。葉層構造の直交方向を取ると直交葉層ができるので、観測空間全体（少なくともモデル多様体の近傍）は直交する2つの葉層で埋め尽くされる。

標準化、観測データの標準分解 - 檜山正幸のキマイラ飼育記メモ編の例でも、平均空間は定数モデルのモデル空間となっている。偏差空間がその直交補空間である。