遅ればせながら日経サイエンス2023年5月号のChatGPT特集号を買って読んでみた。CNNとかRNNとかちょっと試したことのある程度ですが、Transformer, Attensionが肝だということはなんとなくわかった。。がなんであんなに自然な会話にできるのかよけいわからなくなった。
機械学習はTensorflowとかをちょっといじってDNN、CNN、RNNを試したことがあるレベルの素人同然の私ですが、日経サイエンスでChatGPT特集してたのを思い出して買ってきた。圏論の話も出てるし。
しかし歴史と何をやっているかの雰囲気は分かったものの、そのTransformer, Attensionというのでなんであんなにうまくいくのかよくわからん。。。言ってもまあそこまで突飛なことをやっているとかではないし、さらに思考とは全く関係のないように見えるし。。。実は脳の内部で似たようなことをやっているのかもしれないが。
呪文の話(Let's think step by step.)とか入れ子の話もなかなか面白かった。
が、もしかしたらもう改善されているのかもしれない。出版までの時間で進化しているかも。
とりあえずこの詳解ディープラーニング第二版でTransformerとAttensionをもうちょっと見てみよう。
« 高周波(RF・マイクロ波・ミリ波・5G)関連ニュース(4/18) IEEE Microwave MagazineはIMS2023特集でUCSDの研究紹介、Microwave Magazineはアンプ&オシレータ特集でTWTやGaNアンプ、東芝の超小型シンクロトロン、Next G Allianceの6Gホワイトペーパー、など。 | トップページ | Visual Basic (VB.NET)でC#用の数値計算ライブラリMath.NET Numericsを使う(8)特異値分解(SVD)、主成分分析(PCA)を計算してみる »
「書籍・雑誌」カテゴリの記事
- 浜村渚の計算ノート 10さつめ ラ・ラ・ラ・ラマヌジャンを読んだ。九章算術、ベクトル、四元数、電卓、そしてラマヌジャン!タクシー数も1+2+3+…=-1/12もいろんな公式も出てきます。カプレカー数も。高精度計算サイトkeisan.casio.jpにUPしているものとも関連していてよかった。(2023.09.26)
- ブックキーパー 脳男(上・下巻)を一気に読んだ。しかし鈴木一郎の影が薄い…新しく始まるシリーズの序章的な感じもするので仕方ない?その代わりに毎日コスプレ?を着替える若き女性警視 鵜飼縣が活躍。(2023.09.12)
- アンデッドガール・マーダーファルス4(青崎有吾さん)を読んだ。今回は鴉夜・津軽・静句の過去篇で5編の短編集。特に鴉夜がなぜ不死になったかの経緯が…あの作品からか!でも清涼院流水さんの作品も思い出したり。実在の人物もでてきたり面白い。(2023.09.04)
- 「君に読ませたいミステリがあるんだ」(東川篤哉さん)を読んだ。鯉ヶ窪学園シリーズで、帯に「この”大仕掛け(トリック)”を見破れますか?」と読者への挑戦状がある。そしてその謎が…全然想像していたのと違ってましたがなるほど!と驚く。(2023.09.11)
« 高周波(RF・マイクロ波・ミリ波・5G)関連ニュース(4/18) IEEE Microwave MagazineはIMS2023特集でUCSDの研究紹介、Microwave Magazineはアンプ&オシレータ特集でTWTやGaNアンプ、東芝の超小型シンクロトロン、Next G Allianceの6Gホワイトペーパー、など。 | トップページ | Visual Basic (VB.NET)でC#用の数値計算ライブラリMath.NET Numericsを使う(8)特異値分解(SVD)、主成分分析(PCA)を計算してみる »
コメント