遅ればせながら日経サイエンス2023年5月号のChatGPT特集号を買って読んでみた。CNNとかRNNとかちょっと試したことのある程度ですが、Transformer, Attensionが肝だということはなんとなくわかった。。がなんであんなに自然な会話にできるのかよけいわからなくなった。

機械学習はTensorflowとかをちょっといじってDNN、CNN、RNNを試したことがあるレベルの素人同然の私ですが、日経サイエンスでChatGPT特集してたのを思い出して買ってきた。圏論の話も出てるし。

しかし歴史と何をやっているかの雰囲気は分かったものの、そのTransformer, Attensionというのでなんであんなにうまくいくのかよくわからん。。。言ってもまあそこまで突飛なことをやっているとかではないし、さらに思考とは全く関係のないように見えるし。。。実は脳の内部で似たようなことをやっているのかもしれないが。

呪文の話（Let's think step by step.)とか入れ子の話もなかなか面白かった。

が、もしかしたらもう改善されているのかもしれない。出版までの時間で進化しているかも。

とりあえずこの詳解ディープラーニング第二版でTransformerとAttensionをもうちょっと見てみよう。