数理科学10月号「生成AIのしくみと数理 新しい知能はどこまでわかっているのか」を買った。様々なモデルについての解説があり、非平衡熱力学、ボルツマンマシンは学生のときかじった。ただTransformerも拡散モデルもなんでこんなシンプルなのに複雑なことができるのかが分からん…
生成AIは漠然としかアルゴリズムを知らないので網羅的に解説されているのはとても参考になる。
アマゾンリンク:https://amzn.to/3TSu0zz
内容は:
巻頭言 岡野原大輔
生成AIの登場と発展 岡野原大輔
生成モデルの基礎と主要なモデル 宮戸 岳
エネルギーベースモデル ~ ボルツマン,ホップフィールド ~ 唐木田 亮
拡散モデルの理論 鈴木大慈
拡散モデルやその周辺と非平衡熱力学との接点 伊藤創祐
大規模言語モデル 岡崎直観
大規模言語モデルとIn-Context学習の構成 得居誠也
生成AIと倫理・法・社会 工藤郁子
で、物理を専攻していた私には非平衡熱力学、フォッカープランク方程式、ランジュバン方程式やボルツマンマシンなど昔やっていたこととの関係が書かれていて興味ぶかい。
ただ、Transformerについては以前も学んだことがあるものの、なんでこんな簡単なモデルでLLMとかあんなに複雑なことができるのか全く分からない…この特集読んでもわからなかった…
岡野原さんが書かれていた多様体仮説(世の中の興味あるデータは見かけ上の次元よりずっと少ないパラメータで表現できる空間に分布している)が正しいということなのかな。人間の思考も考えているよりずっとシンプルなような気もする。
« 高周波・RFニュース 2024年10月1日 iFixitがiPhone 16 Pro MaxのMain Logic Board上のチップ解説、2024 International Conference on Microwave and Millimeter Wave Technology資料公開、3つ折りスマホHuawei Mate XT分解動画 | トップページ | 高周波・RFニュース 2024年10月2日 QualcommとSTMicroelectronicsがWireless IoTで提携、YoleがRF front-end市場は2029年に$23.1Bになると予測、Infineonが20GbpsのUWBペリフェラルコントローラ発表、SiversがFull Duplex arrayでCHIPS法から資金、NTTドコモとSamsungのAI協業 »
「学問・資格」カテゴリの記事
- 高周波・RFニュース 2025年2月14日 Microwave Journal今月号で透明アンテナ、6Gタワー、月面用アンテナなど、Keysightが6GでEUと提携、TDKが日本酒の味わいを視覚化&車載PoC用巻き線インダクタ、QualcommがSnapdragon 6 Gen 4 Mobile発表(2025.02.14)
- 高周波・RFニュース 2025年2月13日 iFixitがSamsung Galaxy S25 ultraを分解、ぐりぐり回せる3D CTモデルに、Spirentの5G Outlook レポート、QualcommのオンデバイスAIホワイトペーパー、InfineonがCoolSiC™ MOSFETs 650 Vの Q-DPAKとTOLLパッケージで発表(2025.02.13)
- 高周波・RFニュース 2025年2月12日 GSAが5G standaloneウェビナー開催、CTIAと5G americasがケーブルに対抗してSpectrum for Broadband Competitionで連携、NXPがエッジAIのKinaraを買収、PBKreviewsがSamsung Galaxy S25/plus/ultra全部分解していて5Gミリ波AiPは全部1個(2025.02.12)
「日記・コラム・つぶやき」カテゴリの記事
- 高周波・RFニュース 2025年2月14日 Microwave Journal今月号で透明アンテナ、6Gタワー、月面用アンテナなど、Keysightが6GでEUと提携、TDKが日本酒の味わいを視覚化&車載PoC用巻き線インダクタ、QualcommがSnapdragon 6 Gen 4 Mobile発表(2025.02.14)
- 高周波・RFニュース 2025年2月13日 iFixitがSamsung Galaxy S25 ultraを分解、ぐりぐり回せる3D CTモデルに、Spirentの5G Outlook レポート、QualcommのオンデバイスAIホワイトペーパー、InfineonがCoolSiC™ MOSFETs 650 Vの Q-DPAKとTOLLパッケージで発表(2025.02.13)
- 高周波・RFニュース 2025年2月12日 GSAが5G standaloneウェビナー開催、CTIAと5G americasがケーブルに対抗してSpectrum for Broadband Competitionで連携、NXPがエッジAIのKinaraを買収、PBKreviewsがSamsung Galaxy S25/plus/ultra全部分解していて5Gミリ波AiPは全部1個(2025.02.12)
「書籍・雑誌」カテゴリの記事
- Interface 2025年3月号 仕事のための生成AI 画像による異常検出&ローカルLLM作りを買った。確かに外観検査で不良品の画像を大量に集めるのは難しいのでそれを生成AI(Stable Diffusion)で作れたらいいな。付録は共通テストでも出た情報Iに役立つプログラム入門。(2025.01.29)
- 「愚かな薔薇」(恩田陸さん)上下巻、面白くて一気に読んだ。磐座という地で行われるキャンプに少年少女たちが集められる冒頭から想像もできない展開に。帯の通り、ホラー、ファンタジー、SF、青春小説の要素がうまく一体化している。あの物理の概念をこう使うのは初めて見た!(2025.02.06)
- 数理科学2025年1月号 原子核・ハドロン物理学の探究 “強い力”がもたらす物理の世界を買ってきた。QCDの歴史からカイラル量子異常、カラー閉じ込め、エキゾチックハドロン、中性子星など多くの話題が載ってます。格子QCDで核力計算できるのとElectron-Ion Colliderが面白かった。(2025.01.31)
- 「トライロバレット」(佐藤究さん)を読んだ。すごかった。三葉虫に魅せられた高校生がいじめの標的にされ、一方、戦争帰りの金物屋の店主は高校の上を軍用ヘリが飛んでいるという幻聴に悩まされ…一体これがどうつながるのか?と思ったら帯通り「少年は、変身した。」ヒーローに。(2025.01.16)
- Newton2025年2月号の特集は量子力学100年。プランク、アインシュタインから始まり量子電磁力学、BSC、トランジスタと言った話題や昨日NHKでもやっていた量子もつれや量子コンピュータなど様々な話題が2ページずつわかりやすく書かれている。今年はこの特集の本多いな。(2024.12.30)
« 高周波・RFニュース 2024年10月1日 iFixitがiPhone 16 Pro MaxのMain Logic Board上のチップ解説、2024 International Conference on Microwave and Millimeter Wave Technology資料公開、3つ折りスマホHuawei Mate XT分解動画 | トップページ | 高周波・RFニュース 2024年10月2日 QualcommとSTMicroelectronicsがWireless IoTで提携、YoleがRF front-end市場は2029年に$23.1Bになると予測、Infineonが20GbpsのUWBペリフェラルコントローラ発表、SiversがFull Duplex arrayでCHIPS法から資金、NTTドコモとSamsungのAI協業 »
コメント