サイエンスとサピエンス

気になるヒト、それに気なる科学情報の寄せ集め

LLM(大規模言語モデル)への幾つかのコメント

その一、エモティコンは言語なのだろうか?

 顔文字だけでchatGPTと会話が成立するように訓練できるたら、愉快だ。

それな( ´-ω-)σ 

 

その二、大規模言語モデル言語学とどう関係するのだろうか?

 言語学の対象は「音韻」による言語が対象なはずだ。文字は後付けなのだ。

だからLLMは文字記号処理版の言語モデルであるというのが正しいのだろう。

つまり、chatGPTはため息や笑いは発しようもないのだ。顔文字は別名エモティコンというが情動からでる発声やサインは扱えないのではないか。

 

その三、LLMは言葉の出現確率を算出する予測モデルの一種だ。それを会話の間で更新ししながら、アドリブで文章が生成される。

 これは大脳がやっていることをうまくモデル化しているのかもしれない。

ライミング効果はLLMの定式化で確率頻度の更新の一種として説明できるだろう。心理的バイアスも説明可能なのではないだろうか。

 パラメータの数が1700億っていうchatGPT3の規模感は大脳言語野の神経細胞の結合の数に匹敵する。GPT4ではこの十倍だと言われている。

 だけどね、個人的にべき乗則で倍々ゲームでパラメータの数を増大させて高機能化するというのは、なんかいただけない話しだと思う。

 

その四、フレーム問題は解かれたか? デネットなどがAI論争で指摘していたような状況判断のビッグバンは免れているように思える。記号処理としての言語の範囲では、そうTOM(心の理論)も想定できるかもしれない。

 であるけれど重要な局面で妄想を抱かれるリスクがある。そもそも妄想がいかなる理由で生じるかもわからないときている。航空管制官にはなれそうもない。

 

【参考文献】

 

 

 数学に弱いGPT3というのが面白かった!

 

このテーマに格好の書籍があった。主題はアルゴリズムのバイアス。それを取り上げて最新の動向を教えてくれる。アメリカはAI実用化を先行させて様々な問題を引き起こしている。