数理科学10月号「生成AIのしくみと数理 新しい知能はどこまでわかっているのか」を買った。様々なモデルについての解説があり、非平衡熱力学、ボルツマンマシンは学生のときかじった。ただTransformerも拡散モデルもなんでこんなシンプルなのに複雑なことができるのかが分からん…

生成AIは漠然としかアルゴリズムを知らないので網羅的に解説されているのはとても参考になる。

アマゾンリンク：https://amzn.to/3TSu0zz

内容は：

巻頭言　岡野原大輔
生成AIの登場と発展　岡野原大輔
生成モデルの基礎と主要なモデル　宮戸　岳
エネルギーベースモデル　～ ボルツマン，ホップフィールド ～　唐木田　亮
拡散モデルの理論　鈴木大慈
拡散モデルやその周辺と非平衡熱力学との接点　伊藤創祐
大規模言語モデル　岡崎直観
大規模言語モデルとIn-Context学習の構成　得居誠也
生成AIと倫理・法・社会　工藤郁子

で、物理を専攻していた私には非平衡熱力学、フォッカープランク方程式、ランジュバン方程式やボルツマンマシンなど昔やっていたこととの関係が書かれていて興味ぶかい。

ただ、Transformerについては以前も学んだことがあるものの、なんでこんな簡単なモデルでLLMとかあんなに複雑なことができるのか全く分からない…この特集読んでもわからなかった…

岡野原さんが書かれていた多様体仮説（世の中の興味あるデータは見かけ上の次元よりずっと少ないパラメータで表現できる空間に分布している）が正しいということなのかな。人間の思考も考えているよりずっとシンプルなような気もする。