大規模言語モデルは文字通り深層学習のDeeperで規模が破格なモデルです。
GPTの系列を見てもその内部パラメータや訓練データの数値の大きさは圧倒的です。しかも、年々増加しているわけですね。
|
LLM製品 |
公開年 |
訓練データ量 |
パラメータ数 |
|
GPT-1 |
2018 |
約30億トークン |
１２０,０００,０００ |
|
GPT-2 |
2019 |
約２８０億トークン |
１,５００,０００,０００ |
|
GPT-3 |
2020 |
約４０００億トークン |
１７,５０００,０００,０００ |
|
2022 |
約７８００億トークン |
５４,００００,０００,０００ |
|
|
GPT-4 |
2023 |
（非公開；約１兆トークン） |
（非公開：数千億～数兆） |
このパラメータ数の大勢を占めるのが、ニューラルネットワークの結合定数wです。
それをイメージ的にこんな感じですね。
階層化されたニューロンに相当するノードを結ぶ線が無数にある。その線には重みｗが一つ一つ割り当てられている。ｗは訓練データによる一連の学習により自律生成されるわけです。
ここで注目したいのはネットワークの階層性がフラクタル的に見えることです。
そしてフラクタルといえば「べき乗」性です。実際に、大規模言語モデルはその規模と性能にべき乗則が成立しています。
ところで、ジップも言語の統計的性質においてべき乗則を発見していました。
その辺の経緯は田中美知子先生がLLM登場以前に研究成果を発表されていて、容易に学べます。
LLMのネットワーク構造がバラバシのネットワーク理論的にみて、どう計量化できるかも興味深いです。これはすでに研究結果があるのでしょう。
人の言語機能との類似性がこれほどまでにLLMで実現されてしまいました。
ですが、脳のニューラルネットはLLMのネットワークとかなり異なるのではないかと推察しています。
でもフラクタル性はどういう機構かは未知ですが、LLMにも脳にもあるようですね。
