確率的オウム

確率的オウム（かくりつてきオウム、英語: stochastic parrot）は、機械学習による大規模言語モデルはもっともらしい言語を生成できるものの、処理対象の言語の意味を理解してはいないという理論を説明する比喩である[1][2]。この用語はエミリー・M・ベンダーによって作られた[2][3]。2021年の人工知能研究論文「On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜 」（日本語: 確率的オウムの危険性について: 言語モデルは大きすぎるか?）において、ベンダー、ティムニット・ゲブル、アンジェリーナ・マクミラン-メジャー、マーガレット・ミッチェル (科学者)（英語版）によって発表された[4]。

起源と定義

この用語は、ベンダー、ティムニット・ゲブル、アンジェリーナ・マクミラン-メジャー、およびマーガレット・ミッチェル（偽名「シュマーガレット・シュミッチェル」を使用）による論文「On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜」で初めて使われた[4]。 筆者らは、巨大な大規模言語モデル (LLM) がもたらしうる環境的あるいは経済的なコストや、説明不可能な未知の危険なバイアスを持っている可能性、また虚偽の作成に使われる可能性を指摘した[5]。さらには、LLMは学習対象に含まれる概念を理解できないのだと主張した[5]。 ゲブルとミッチェルはこの論文を発表したことでGoogleを解雇されたとされ、Googleの従業員による抗議を引き起こした[6][7]。

「確率的オウム」という訳語のなかの「確率的」の英語表記「stochastic」は、「推測に基づく」または「ランダムに決定された」ということを意味する古代ギリシャ語の「stokhastikos」に由来する[8]。「オウム」は、LLMが意味を理解せず単に言葉を繰り返しているということを指す[8]。

ベンダーらの論文では、LLMが意味を考慮せずに単語や文を確率的に連鎖しているだけであるため、単なる「確率的オウム」なのだと主張されている[4]。

機械学習の専門家であるリンドホルムらによると、この比喩は次の二つの重要な問題を示すものである[1][2]。

• LLMは訓練されたデータに依存しており、単にデータセットの内容を確率的に繰り返しているに過ぎない。
• 出力は訓練データに基づいて生成されているのであり、LLMは自分が間違ったことや不適切なことを言っているかどうかを理解していない。

リンドホルムらは、質の低いデータセットやその他の制限により、機械学習に基づくシステムが危険なほど間違った結果を生み出すことがありうると指摘している[1]。

使用

2021年7月に、アラン・チューリング研究所（英語版）がベンダーらの論文[4]に関する基調講演とパネルディスカッションを開催した[9]。2023年5月 (2023-05)現在^[update]、同論文は1,529の出版物で引用されている[10]。「確率的オウム」という用語は、法学[11]、文法[12]、ナラティブ[13]、および人文学の分野の出版物で使用されている[14]。著者らは、GPT-4のような大規模言語モデルに基づくチャットボットの危険性についての懸念を引き続き抱いている[15]。

確率的オウムは現在、AI懐疑論者が機械が出力の意味を理解していないことを指すために使用される造語であり、時には「AIに対する侮辱」として解釈される[8]。この用語はOpenAIのCEOであるサム・アルトマンが皮肉を込めて「i am a stochastic parrot and so r u (ぼくも君たちも確率的オウムじゃないか)」とツイートしたことでさらに広まった[8]。「確率的オウム」は、「ChatGPT」や「LLM」といった言葉を押しのけて、2023年のアメリカ方言学会によるAI関連の年間最優秀語に選ばれた[8][16]。

この用語は、一部の研究者によって、LLMは膨大な量の訓練データを通じて人間のようなもっともらしいテキストを生成するパターン処理システムであると説明するために使われる。しかし、LLMは言語を実際に理解していると主張する研究者も存在する[17]。

議論

一部の大規模言語モデル(LLM)、例えばChatGPTは人間らしい会話を可能としている[17]。このような技術の進展により、LLMが言語を本当に理解しているのか、単に「オウム返し」をしているだけなのかという議論が深まっている。

主観的経験

人間の心の中では、言葉や言語は自分が経験したものに対応しているが[18]、LLMの言葉は単に学習データに含まれる言葉やパターンと対応しているだけかもしれない[19][20][4]。確率的オウムという概念の支持者は、LLMが実際には言語を理解できないと結論付けている[19][4]。

ハルシネーションと間違い

LLMが架空の情報を事実として提示する傾向もそういった主張を裏付けている[18]。この現象はハルシネーション（幻覚）と呼ばれ、LLMが現実とは異なる情報を堂々と生成する現象である[19][20][18]。LLMが事実と虚構を区別できないことを根拠に、言葉を現実世界の理解と結び付けられていないのだという主張がある[19][18]。さらに、LLMは言語の意味理解が必要な複雑・曖昧な文法を解釈できないことがよくある[19][20]。Sabaらの例を借りると、次のようなプロンプトである[19]。

テーブルから落ちた濡れた新聞が私の好きな新聞だ。でも最近、私の好きな新聞が編集者を解雇したので、もう読みたくなくなるかもしれない。2文目で「私の好きな新聞」を「テーブルから落ちた濡れた新聞」に置き換えられますか?

LLMはこれに対して肯定的に応答し、2つの文脈で「新聞」の意味が異なることを理解できなかった。1つ目では物体を、2つ目では組織を指している[19]。このような失敗に基づき、LLMを確率的オウムに過ぎないと結論付けるAI専門家が存在する[19][18][4]。

ベンチマークと実験

LLMが確率的オウムであるという主張に対する反論のひとつは、推論力、常識、言語理解に関するベンチマーク結果を持ち出すものである。2023年には、一部のLLMがSuperGLUEなど様々な言語理解テストで良好な結果を示した[20][21]。このようなテストとLLMの応答の自然さから、2022年の調査では51%のAI専門家が、十分なデータを与えられればLLMが言語を真に理解できると考えている[20]。

ある研究者はChatGPT-3での実験を行った結果、このモデルは確率的オウムなのではなく、重大な推論能力の制限があるだけだと主張した[17]。プロンプトに含まれる情報に基づいて将来の出来事を予測する上では、モデルは首尾一貫しており有益な情報を提供していた[17]。また、ChatGPT-3はプロンプトの文面に含まれないユーザの意図（サブテキスト）を解釈できることが多々あった。しかし、論理や推論、特に空間認識を伴うプロンプトにおいて頻繁に失敗する[17]。モデルの応答の質が様々であることから、LLMは特定のタスクでは何らかの「理解」を持っているものの、その他のタスクでは確率的オウムのように振る舞うことが示唆される[17]。

解釈可能性

LLMが何かを理解しているかどうかを調べる別の手法は「機構的解釈可能性 (英語: mechanistic interpretability)」と呼ばれるものである。これはLLMをリバースエンジニアリングして、内部でどのように情報を処理しているかを分析する手法で、一例としてOthello-GPTについての研究がある。これは、小さなTransformerをトレーニングさせてオセロの合法手を予測させるものである。このモデルの内部ではオセロの盤面が線形表現されていることが分かっており、その表現を変更すると予測される合法手が正しく変わる[22][23]。

別の例として、小規模なTransformerにプログラミング言語Karelで書かれたコンピュータプログラムを学習させた研究がある。Othello-GPTの例と同様に、このモデルはKarelプログラムの意味論に関する内部表現を獲得し、この表現を変更すると出力が適切に変化した。さらに、このモデルは訓練データセットよりも平均して短いプログラムを正しく生成可能だった[24]。

推論のショートカット

人間の言語理解能力をテストするために作られたテストをLLMに使うと、テキストデータ内の偶発的な相関関係によって実際よりも良い結果が出ることがある[25]。人間のような理解をするのではなく、データ内の無関係な相関関係を捉えてしまう「ショートカット学習」を起こすのである[26]。2019年に行われた実験で、GoogleのBERT言語モデルに議論理解タスクが与えられた。2つの文から議論とより一致しているほうを選ばせるもので、以下がその一例である[20][27]。

議論: 重罪人にも投票権を与えるべきだ。17歳で車を盗んだ人間からは一生涯市民権を剥奪する、ということは認めるべきではない。
文A: 自動車重窃盗は重罪である。
文B: 自動車重窃盗は重罪ではない。

研究者は、「ではない (not)」のような特定の語をヒントとして言語モデルが正解を導いていることを発見した。そうした単語が含まれれば完璧に近い成績だが、ヒントとなる語を外すとランダムな選択になってしまう[20][27]。このような問題と、知性を定義する難しさから、LLMの理解能力を示すベンチマークにはすべて欠陥があり、理解を装った「ショートカット」を許してしまっていると主張されることがある。

関連項目

• 中国人の部屋
• カットアップ
• 無限の猿定理
• 生成AI
• マルコフ連鎖

注釈

1. ^ Lindholm et al. 2022, pp. 322–3.
2. ^ Uddin, Muhammad Saad (2023年4月20日). “Stochastic Parrots: A Novel Look at Large Language Models and Their Limitations” (英語). https://towardsai.net/p/machine-learning/stochastic-parrots-a-novel-look-at-large-language-models-and-their-limitations 2023年5月12日閲覧。 
3. Weil, Elizabeth (2023年3月1日). “You Are Not a Parrot”. ニューヨーク. https://nymag.com/intelligencer/article/ai-artificial-intelligence-chatbots-emily-m-bender.html 2023年5月12日閲覧。. 
4. ^ Bender, Emily M.; Gebru, Timnit; McMillan-Major, Angelina; Shmitchell, Shmargaret (2021-03-01). “On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜”. Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency. FAccT '21. New York, NY, USA: Association for Computing Machinery. pp. 610–623. doi:10.1145/3442188.3445922. ISBN 978-1-4503-8309-7 
5. ^ Hao, Karen (2020年12月4日). “We read the paper that forced Timnit Gebru out of Google. Here’s what it says.” (英語). MIT Technology Review. 2021年10月6日時点のオリジナルよりアーカイブ。2022年1月19日閲覧。
6. Lyons, Kim (2020年12月5日). “Timnit Gebru’s actual paper may explain why Google ejected her” (英語). The Verge. 2024年4月25日閲覧。
7. Taylor, Paul (2021年2月12日). “Stochastic Parrots” (英語). London Review of Books. 2023年5月9日閲覧。
8. ^ Zimmer, Ben. “‘Stochastic Parrot’: A Name for AI That Sounds a Bit Less Intelligent” (英語). WSJ. https://www.wsj.com/arts-culture/books/stochastic-parrot-a-name-for-ai-that-sounds-a-bit-less-intelligent-789372f5 2024年4月1日閲覧。 
9. Weller (2021).
10. “Bender: On the Dangers of Stochastic Parrots”. Google Scholar. 2023年5月12日閲覧。
11. Arnaudo, Luca (April 20, 2023). Artificial Intelligence, Capabilities, Liabilities: Interactions in the Shadows of Regulation, Antitrust – And Family Law. doi:10.2139/ssrn.4424363. 
12. Bleackley, Pete; BLOOM (2023). “In the Cage with the Stochastic Parrot”. Speculative Grammarian CXCII (3). https://specgram.com/CXCII.3/07.bloom.cage.html 2023年5月13日閲覧。. 
13. Gáti, Daniella (2023). “Theorizing Mathematical Narrative through Machine Learning.”. Journal of Narrative Theory (Project MUSE) 53 (1): 139–165. doi:10.1353/jnt.2023.0003. 
14. Rees, Tobias (2022). “Non-Human Words: On GPT-3 as a Philosophical Laboratory”. Daedalus 151 (2): 168–82. doi:10.1162/daed_a_01908. JSTOR 48662034. 
15. Goldman, Sharon (March 20, 2023). “With GPT-4, dangers of 'Stochastic Parrots' remain, say researchers. No wonder OpenAI CEO is a 'bit scared'” (英語). VentureBeat. 2023年5月9日閲覧。
16. Corbin, Sam (2024年1月15日). “Among Linguists, the Word of the Year Is More of a Vibe” (英語). The New York Times. ISSN 0362-4331. https://www.nytimes.com/2024/01/15/crosswords/linguistics-word-of-the-year.html 2024年4月1日閲覧。 
17. ^ Arkoudas, Konstantine (2023-08-21). “ChatGPT is no Stochastic Parrot. But it also Claims that 1 is Greater than 1” (英語). Philosophy & Technology 36 (3): 54. doi:10.1007/s13347-023-00619-6. ISSN 2210-5441. https://doi.org/10.1007/s13347-023-00619-6. 
18. ^ Fayyad, Usama M. (2023-05-26). “From Stochastic Parrots to Intelligent Assistants—The Secrets of Data and Human Interventions”. IEEE Intelligent Systems 38 (3): 63–67. doi:10.1109/MIS.2023.3268723. ISSN 1541-1672. https://ieeexplore.ieee.org/document/10148666. 
19. ^ Saba, Walid S. (2023). “Stochastic LLMS do not Understand Language: Towards Symbolic, Explainable and Ontologically Based LLMS”. In Almeida, João Paulo A.; Borbinha, José; Guizzardi, Giancarlo et al. (英語). Conceptual Modeling. Lecture Notes in Computer Science. 14320. Cham: Springer Nature Switzerland. pp. 3–19. arXiv:2309.05918. doi:10.1007/978-3-031-47262-6_1. ISBN 978-3-031-47262-6 
20. ^ Mitchell, Melanie; Krakauer, David C. (2023-03-28). “The debate over understanding in AI's large language models” (英語). Proceedings of the National Academy of Sciences 120 (13): e2215907120. arXiv:2210.13966. Bibcode: 2023PNAS..12015907M. doi:10.1073/pnas.2215907120. ISSN 0027-8424. PMC 10068812. PMID 36943882. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC10068812/. 
21. Wang, Alex; Pruksachatkun, Yada; Nangia, Nikita; Singh, Amanpreet; Michael, Julian; Hill, Felix; Levy, Omer; Bowman, Samuel R. (2 May 2019). "SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems" (英語). arXiv:1905.00537 [cs.CL]。
22. Li, Kenneth; Hopkins, Aspen K.; Bau, David; Viégas, Fernanda; Pfister, Hanspeter; Wattenberg, Martin (2023-02-27), Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task, arXiv:2210.13382 
23. Li, Kenneth (2023年1月21日). “Large Language Model: world models or surface statistics?” (英語). The Gradient. 2024年4月4日閲覧。
24. Jin, Charles; Rinard, Martin (2023-05-24), Evidence of Meaning in Language Models Trained on Programs, arXiv:2305.11169 
25. Choudhury, Sagnik Ray; Rogers, Anna; Augenstein, Isabelle (2022-09-15), Machine Reading, Fast and Slow: When Do Models "Understand" Language?, arXiv:2209.07430 
26. Geirhos, Robert; Jacobsen, Jörn-Henrik; Michaelis, Claudio; Zemel, Richard; Brendel, Wieland; Bethge, Matthias; Wichmann, Felix A. (2020-11-10). “Shortcut learning in deep neural networks” (英語). Nature Machine Intelligence 2 (11): 665–673. arXiv:2004.07780. doi:10.1038/s42256-020-00257-z. ISSN 2522-5839. https://www.nature.com/articles/s42256-020-00257-z. 
27. ^ Niven, Timothy; Kao, Hung-Yu (2019-09-16), Probing Neural Network Comprehension of Natural Language Arguments, arXiv:1907.07355