なぜ『図解 線形代数: ストラング流直感的理解』は分かりやすいのか？従来の線形代数との決定的な違い

大学で習った線形代数、正直つまらなかった記憶はないだろうか。
しかしAI時代の線形代数はまったく別物だ。
正方行列中心から長方形へ、ゴールも固有値分解から特異値分解へ。
本記事では、図解 線形代数: ストラング流直感的理解を元に、その違いと本質をわかりやすく解説する。

【参考】
図解 線形代数: ストラング流直感的理解 (近代科学社Digital) | 平鍋 健児 |本 | 通販 | Amazon

世界標準MIT教科書 ストラング:教養の線形代数

世界標準MIT教科書 ストラング:線形代数とデータサイエンス

世界標準MIT教科書 ストラング 微分方程式と線形代数

世界標準MIT教科書 ストラング:計算理工学 | ギルバート ストラング |本 | 通販 | Amazon

線型代数学 (数学選書 (1)) (数学選書 1) | 佐武 一郎 |本 | 通販 | Amazon

【1】「図解 線形代数: ストラング流直感的理解」が出版された。
僕もレビューアとして手伝えたので、出版が凄く嬉しい。

僕が大学生の時に使った佐竹一郎の線形代数本（線型代数学 (数学選書 (1))）よりも実践的で分かりやすいと思う。
線形代数のゴールは、昔はジョルダン標準化だったが、現代は特異値分解。
ここから画像の特徴量抽出につながる。
また、昔の線形代数の対象は、正方形の行列だったが、現代では、長方形で縦長や横長の様々な行列に変化した。
AI時代では、線形代数の理解が鍵を握る。
そのアイデアを自分なりに解説してみる。

【2】一般に高校生や大学生は、線形代数を習得するが面白くないだろうと思う。
なぜこんな書き方で計算する必要があるのか、理由がいまいち納得できないからだ。

一般に線形代数は連立方程式を解くための手法の一つに過ぎないと思う。
しかし、単にそれだけではないのだ。

「図解 線形代数: ストラング流直感的理解」は他の巷の線形代数本と違うのか？
それは2つある。

【3】1つ目は、線形代数で対象とする行列が、昔は正方形の行列ばかりだったが、AIが主流の現代では、長方形の行列のように何でもありになったことだ。

昔の線形代数は、量子力学に出てくるエルミート行列にしても、相対性理論のテンソルにしても、基本は正方形だ。
次元数を揃えるのでそうなるわけだ。

しかし、現代では、線形代数は画像を対象に使う。
縦長だったり横長だったりする画像が普通なので、線形代数も正方形でなく長方形が一般的だ。
すると、従来の線形代数のやり方では通用しない場面も多い。
行列のRankを考えると、次元数が少なく、連立方程式でも無数の解が出る場合も出てくる。

よって、昔の線形代数に慣れた人ほど、ストラング本の線形代数を読むと正直面食らうと思う。
昔の線形代数は量子力学のために利用する。
今の線形代数は、データサイエンスや画像の特徴量抽出、機械学習のために使う。
その時に、行列の対象が正方形から長方形へ変わっているからだ。

【4】2つ目は、線形代数のゴールが昔はジョルダン標準化だったが、AIが主流の現代では、特異値分解であることだ。

昔は、正方行列を以下に対角化可能な状態へ変形することに労力をかけていた。
その理由は、行列の積が出る場面が多く、手作業で計算するにはできるだけ対角行列に近い行列に変形しておきたかったからだ。
僕には、昔の線形代数は正直面白くなかった。
ひたすら計算をいかに楽にするか、という点だけ考えるばかりで、線形代数の意義が感じられなかったからだ。

線形代数が一番効果的に使われる分野は、物理学における量子力学だろう。
波動関数を計算する時に、固有値分解を使う。
場の量子論へ向かう過程で、|φ>、<φ|みたいな基底を作って計算する。
そういうお作法みたいに感じる。

しかし、AI全盛の時代では、線形代数の利用対象が、従来の物理学から今は画像処理やAIに変わりつつある。
特に、画像処理の背後では線形代数を使うのが一般的だ。
その画像処理の計算もPythonでプログラミングできてしまう。

佐竹一郎の線形代数本（線型代数学 (数学選書 (1))）のように、線形代数のゴールは固有値分解の最終形であるジョルダン標準形だった。
しかし、AI全盛の時代では、線形代数のゴールは特異値分解になる。
特異値分解があるからこそ、画像圧縮、特徴量抽出の計算が楽になる。
Pythonなら、U, S, VT = np.linalg.svd(X)　の一文だけで特異値分解できる。

たとえば、下記ページから、画像圧縮の特異値分解では、せいぜい100の固有値ぐらいで見た目が変わらない事が分かる。
画像を2倍以上圧縮しても人間の目では判断がつかないレベルになる。

SVD-Demo: Image Compression

個人的には、高校生や大学生の頃に、線形代数の計算の中に、特異値分解を知ることができたら良かったと思う。
そうすれば、画像処理の計算から入って、最終的には機械学習や深層学習の計算に触れることができただろう。
さらに、そこからLLMを自ら計算して作り出すところまでいったかもしれない。

そんな時代を考えると、時代の環境変化に追随して、自分の古い知識や価値観を捨てて、新たな知見を探す旅を恐れてはいけないと思う。

【5】「図解 線形代数: ストラング流直感的理解」の良さは、2つある。
1つは、行列をベクトルの足し算に分解するイメージが湧くこと。
2つ目は、マトリクスワールドの絵で直感的に行列のシュルを理解できることだ。

本がカラフルなのもいい。

【6】AIに必要な線形代数を理解するために、線形代数の攻略マップを描いてみた。
線形代数の攻略マップのイメージはこんな感じ。

the-map-to-conquer-linear-algebra-for-it-engineer-b102from akipii ogaoga

高校生や大学生の頃に習った線形代数と、AI全盛の時代の線形代数は異なると理解した方がいい。
ポイントは2つだ。

AI時代の線形代数は長方形の行列を対象にする
1つ目は、行列は正方行列がメインではなく、長方形の行列が対象になることだ。
理由は、画像を行列に表す時、画像のサイズはいつも正方形とは限らないからだ。
むしろ、縦長だったり横長だったり、長方形のケースが一般的だ。

よって、従来の正方行列に関する対角化、固有値分解の考え方だけでは通用しない。
したがって、A＝LU、A＝CRのように、任意の長方形行列を積分解して、rankを落としたり、正方行列に直したり、色々工夫する。

線形代数を理解するためのゴールは特異値分解だ
2つ目は、線形代数を理解するためのゴールは、固有値分解ではなく、特異値分解だ。

AIでは画像処理で特徴量抽出により、教師なし学習で概念を把握する。
その画像処理では、画像はRGBでMｘNの行列成分で表示されて、特異値分解により画像圧縮して情報量を減らす。
また特徴量は、特異値分解によって得られた固有値、実際は特異値によって判別される。

特異値分解に行くまでの道筋はこんなイメージだ。
基本は実数の世界で考えるので、実数の行列で考える。

任意の行列Aは、AA^{T}が必ず対称行列になるために、対称行列の世界にマッピングする。
直交行列は、線形独立なベクトルから成る行列と見なせばいい。

すると、スペクトル分解により、任意の対称行列は直交行列を組み合わせて、対角化可能になる。
さらに、対称行列の中から半正定値行列を選べば、固有値は必ず０以上の実数になる。

そこから、任意の行列を「必ず半正定値行列のスペクトル分解に帰着させる仕組み」を考えれば、特異値分解になる。
そんな流れ。
たぶん上記の考え方を使えば、スムーズに行くはずと思う。

【7】世界標準MIT教科書 ストラング:教養の線形代数 | Gilbert Strang, 松崎 公紀, 平鍋 健児はとても良い本なのだが、たくさんの内容が書かれていて、最短ルートで本当に知りたい内容を理解するのに時間がかかる。
だからこそ、図解 線形代数: ストラング流直感的理解でまずイメージを理解した方が手際よく読み進められると思う。