« 高周波・RFニュース 2024年10月1日 iFixitがiPhone 16 Pro MaxのMain Logic Board上のチップ解説、2024 International Conference on Microwave and Millimeter Wave Technology資料公開、3つ折りスマホHuawei Mate XT分解動画 | トップページ | 高周波・RFニュース 2024年10月2日 QualcommとSTMicroelectronicsがWireless IoTで提携、YoleがRF front-end市場は2029年に$23.1Bになると予測、Infineonが20GbpsのUWBペリフェラルコントローラ発表、SiversがFull Duplex arrayでCHIPS法から資金、NTTドコモとSamsungのAI協業 »

2024年10月 2日 (水)

数理科学10月号「生成AIのしくみと数理 新しい知能はどこまでわかっているのか」を買った。様々なモデルについての解説があり、非平衡熱力学、ボルツマンマシンは学生のときかじった。ただTransformerも拡散モデルもなんでこんなシンプルなのに複雑なことができるのかが分からん…

生成AIは漠然としかアルゴリズムを知らないので網羅的に解説されているのはとても参考になる。

20241001-173731

アマゾンリンク:https://amzn.to/3TSu0zz

内容は:

巻頭言 岡野原大輔
生成AIの登場と発展 岡野原大輔
生成モデルの基礎と主要なモデル 宮戸 岳
エネルギーベースモデル ~ ボルツマン,ホップフィールド ~ 唐木田 亮
拡散モデルの理論 鈴木大慈
拡散モデルやその周辺と非平衡熱力学との接点 伊藤創祐
大規模言語モデル 岡崎直観
大規模言語モデルとIn-Context学習の構成 得居誠也
生成AIと倫理・法・社会 工藤郁子

で、物理を専攻していた私には非平衡熱力学、フォッカープランク方程式、ランジュバン方程式やボルツマンマシンなど昔やっていたこととの関係が書かれていて興味ぶかい。

ただ、Transformerについては以前も学んだことがあるものの、なんでこんな簡単なモデルでLLMとかあんなに複雑なことができるのか全く分からない…この特集読んでもわからなかった…

岡野原さんが書かれていた多様体仮説(世の中の興味あるデータは見かけ上の次元よりずっと少ないパラメータで表現できる空間に分布している)が正しいということなのかな。人間の思考も考えているよりずっとシンプルなような気もする。

« 高周波・RFニュース 2024年10月1日 iFixitがiPhone 16 Pro MaxのMain Logic Board上のチップ解説、2024 International Conference on Microwave and Millimeter Wave Technology資料公開、3つ折りスマホHuawei Mate XT分解動画 | トップページ | 高周波・RFニュース 2024年10月2日 QualcommとSTMicroelectronicsがWireless IoTで提携、YoleがRF front-end市場は2029年に$23.1Bになると予測、Infineonが20GbpsのUWBペリフェラルコントローラ発表、SiversがFull Duplex arrayでCHIPS法から資金、NTTドコモとSamsungのAI協業 »

学問・資格」カテゴリの記事

日記・コラム・つぶやき」カテゴリの記事

書籍・雑誌」カテゴリの記事

コメント

コメントを書く

(ウェブ上には掲載しません)

« 高周波・RFニュース 2024年10月1日 iFixitがiPhone 16 Pro MaxのMain Logic Board上のチップ解説、2024 International Conference on Microwave and Millimeter Wave Technology資料公開、3つ折りスマホHuawei Mate XT分解動画 | トップページ | 高周波・RFニュース 2024年10月2日 QualcommとSTMicroelectronicsがWireless IoTで提携、YoleがRF front-end市場は2029年に$23.1Bになると予測、Infineonが20GbpsのUWBペリフェラルコントローラ発表、SiversがFull Duplex arrayでCHIPS法から資金、NTTドコモとSamsungのAI協業 »

最近の記事

2025年2月
            1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28  

最近のコメント

無料ブログはココログ
フォト