始めて２年以上が経過するのでそろそろテストとして何かしら投稿したくなった。というのも同僚が密かに技術的な備忘録としてブログを開設していることを知り、勉強した内容を簡単にまとめているのを見て触発されたからである。とりあえず何か話題がないかと考えたところ、ノートにまとめた商空間に関する話題があったのでここに投稿してみることとする。

概要

ゴール：テスト投稿を済ませるよ。
内容：特に話題はないので商空間の話をするよ。
結論：商空間の話題に対する結論は、「商空間 $V/N$ の元はふつうの空間のようには見えないが、ベクトル空間の構成だけは持っていて実に面白い」ということだよ。
所感：待ってブログ書くのめちゃめちゃ時間かかるししんどいよ。頻繁に更新してる人とか何なの？暇...聖人なの？（理論の話題メインで書くのやめよかな。。。）

参考

商空間とは

とりあえずWikipediaパイの説明。

線型代数学において商線型空間（しょうせんけいくうかん、英: quotient vector space）あるいは単に商空間 (quotient space) とは、ベクトル空間 $V$ とその部分線型空間 $N$ に対して、 $N$ に属する全てのベクトルを $0$ に「潰して」得られるベクトル空間である。これを部分空間 $N$ による $V$ の商空間あるいは $N$ を法とする $V$ の商空間といい、 $V/N$ で表す。

なるほどわかるようなわからないようなわからない。そもそも「商」がよくわからない（爆）。

商集合

商空間の話に入る前に、商集合について言及する¹。まず、自然数 $N$ を $3$ で割ったあまりをmod演算で表すと $N\;{\rm mod}\;3$ と書く。例えば、 $1\;{\rm mod}\;3=1$ 、 $2\;{\rm mod}\;3=2$ 、 $3\;{\rm mod}\;3=0$ 、 $4\;{\rm mod}\;3=1$ 、 $5\;{\rm mod}\;3=2$ 、 $6\;{\rm mod}\;3=0$ なんかがある。この時、あまりが等しい数の集合、例えば $1,4,7,...$ は同値であると言い、これらを同値類と言う。また、 $1,4,7,...$ を3で割ったときのあまりはすべて $1$ であることから、 $1$ を代表元と言い、 $[1]$ と書く。 $N$ を3で割ったあまりは、 $0,1,2$ のいずれかであるため、この時の代表元は $[1]$ , $[2]$ , $[3]$ の３つであることがわかる。これら代表元を要素とする集合を商集合と呼ぶ。要するに、商集合はある集合を代表元で類別した集合ということになる。 f:id:TitanKernel:20190302210855j:plain

一方で、上記の集合は「自然数 $N$ の $\sim$ による商集合」とも言う。これを $N/3$ 、または $N/\sim$ と書く。ここで、 $\sim$ は同値関係と呼ばれる関係を表しており、上記の例では $3$ が同値関係を表している。同値類 $1,4,7,...$ は同値関係で結びついていて、 $1\sim 4$ と書くことができる。途中で、「商集合はある集合を代表元で類別した集合」といったが、「商集合はある集合を同値関係 $\sim$ で類別した集合」とも言える。

商空間

とうことでそろそろ本題の商空間の話をしたい。商空間というのは、ざっくり言うと商集合の概念を空間に広げたものである。

商集合まではその要素間の関係は特に考慮していなかった。例えば、 $[1]$ , $[2]$ , $[3]$ の3要素はお互いに特に関係がない。商空間は、その要素間の関係が記述できる。具体的には商空間はベクトル空間の性質をそのまま持っている。

（執筆途中）

余談：グラスマン多様体 $G(k,V)$

ところで皆様はグラスマン多様体というのもをご存知ですか？私は知りませんよ。あなたが知ってるんです、Wikipedia先輩。

In mathematics, the Grassmannian $Gr(k, V)$ is a space which parametrizes all $k$ -dimensional linear subspaces of the $n$ -dimensional vector space $V$ .

要するに、グラスマン多様体 $G(k,V)$ は $n$ 次元ベクトル空間 $V$ 内に存在する $k$ 次元の部分空間すべての集合（空間）として定義されています。ちなみに次元数を明確にして $G(k,n)$ としても良いです。

ここで注目すべきは $G(k,V)$ 上の１点が部分空間であるということです。これはまさに商空間の概念です。 $V/N$ は、 $N$ に属する全てのベクトルを $[N]$ につぶして得られる空間でした。この時、 $[N]$ は $N$ の代表元（ベクトル）であり、すなわち部分空間 $N$ が1点 $[N]$ になったということを表しています。 $G(k,V)$ はこの1点に限らず、 $V$ 内の考えうる全ての部分空間を点として表して構成される空間です。グラスマン多様体は商多様体とも呼ばれており、高次の概念であることが分かります。

このグラスマン多様体は数学的に研究されているだけではなく、工学分野へも応用されています。 ~~私が知ってる~~代表的なものは機械学習、特に分類タスクを解くような識別技術への応用です。グラスマン多様体は非線形な空間であるため、単純に線形分離できないような複雑な識別境界を持つような他クラス分類問題を高精度に解くことができることで知られています。個人的には、この技術がデータを部分空間とする場合に適しており、ベクトルをデータとする通常の機械学習技術とは随分毛色が異なるという点でとても興味深いです。このような技術についてはまたいつか記事を書きたいと思います。

なぜなら商空間は商集合に空間の概念を導入したものだからね。↩

連続最適化手法を実装する際に役立つ参考サイトをまとめる

目的：連続最適化手法（制約なし最適化）を手っ取り早く実装したいから、その時の参考サイトをまずはまとめておきたいよ。
結論：幾つかのサイトをまとめるたよ。

参考サイト一覧

直線探索法

非線形共役勾配法(直線探索付き)
Python NumPy サンプルコード: Newton 法の直線探索

最急降下法

Haskell （と Python3）で最急降下法
Python3で多変数関数の最急降下法を実装
Pythonで最急勾配法を実装し、グラフを描く

ニュートン法

機械学習のためのニュートン法 (1 変数から多変数まで)
Pythonで数値解析ニュートン法
Newton法（数値計算プログラムを書き直そうシリーズ）
Pythonで2変数関数に対してニュートン法を用いる

準ニュートン法

準ニュートン法による最適化Pythonサンプルコード
共役勾配法によるコスト関数最適化（Scipy）

共役勾配法

共役勾配法で連立方程式を解く
共役勾配法による非線形最適化MATLAB & Pythonサンプルプログラム
Pythonで数値解析数値微分の誤差収束

自然勾配法

自然勾配法関連のメモ（コードなし）
ロジスティック回帰の自然勾配降下法（R実装）

最適化法比較（コード無し）

2.7. 数学的最適化: 関数の最小値を求める
最急降下法とニュートン法を用いた最適化
最適化手法についてー勾配法，ニュートン法，準ニュートン法などー

素人の素人による素人のための学び舎

商空間とは何か～商集合から余談：グラスマン多様体まで～（テスト投稿をそろそろ済ませるよ。）

概要

参考