「LLMは何をどのように記憶しているか」乾 健太郎　ムハンマド・ビン・ザイード人工知能大学（MBZUAI, UAE）・教授 transcript

皆さん、こんにちは。え、今アブダビから 接続しております犬井と申します。あの、 アブダビのですね、ええ、MBZUIと いう大学によりまして、これあの人工知能 の世界で初めての人口知能のあの、専門の 大学に、あの、3年前に東北台からあの、 移りまして、今そちらで、え、拠点を置い て、え、活動しております。あの、東北 代理権にも、あの、席を残しながら今3 拠点で、え、自然言語処理の研究を進めて おります。え、ちょっと待ってください。 え、本日はあのLLMはあのどのように何 をどのようにですね、しているかという タイトルでお話ししたいと思います。ま、 副題にありますようにLLMの内部基 、ま、今どこまで進んでいるか、ま、その 一部をですね、え、お話ししたいと思い ます。どうぞよろしくお願いいたします。 [鼻息] えっと、まず、あの、お話の出発点です けれども、あの、もうこれはいろんな方々 が報告されていると思いますが、ま、LL も今、あの、多くのベンチマークで 人間並みあるいは人間を超えるような パフォーマンスを示していると。で、あの 、ま、こうしたグラフがですね、あの、 たくさん生産されています。ま、一方で、 え、テストに正解できるかということと、 あの、実際に理解しているかということは 、あの、必ずしも同じではないと、え、 評価に使ったデータがですね、どっからか 漏れていたり、あの、個体そのものを、 丸覚えしてしまったりということも、あの 、起こりるわけです。え、モデルが大きく なればなるほど、データが大きくなれば なるほど、こうしたあの問題をなかなか 避けることができない。え、つまりあの 性能の評価の数字を見てるだけではですね 、LLMが何をどう理解してるかという ことは十分に分からないということであり ます。これがあの本日の出発点です。では あのそもそもえと、え、例えば言葉で言え ば言葉が分かるということはどういうこと なのか、え、少し具体的な例であの考えて え、みたいと思います。あの、これはもう 20年ずっと使ってる同じ例なんです けれども、あの、庭に洗濯物干した途端に 雨が降ってきた。え、これを聞いた時に私 の頭の中ではですね、あの、何が起こっ てるかと、え、ま、もちろんいろんなこと が起こってると思うんですけれども、重要 なこととして、え、その洗濯物を乾かすと いうのはどういうことなのか、それは 乾かすためだとか、え、洗濯物が乾くには 晴れてないといけないとかですね。ま、 そうした、あの、常識的な知識を色々早起 する。え、それから、ま、そうした知識を 使ってですね、あの、話の中身をこう 再構成すると、え、こう洗濯物が干したで も雨が降ってきただからかわからかった。 え、というようなですね、[鼻息]え、 やり直さないといけないというようなです ね、え、道筋を再構成すると、え、そして 最後にあの実際にはこう語られていない、 ま、がっかりしたという気持ちまでですね 、業界として受け取ると、え、私たちは この知識を思い出して話を再構成して業界 を読むという3つをですね、ごく自然に やっている。え、これをはですね、あの、 ま、言語を理解するということは、 いろんな側面を持ってるわけですけれども 、最終的に究極的には、あの、これが、 あの、本だという風に、あの、多くの人 考えてると思いますし、私も考えており ます。では、あの、このLLMはですね、 この123をやるためにの何かを実際に 持っているのかと、実際こういうことが できているのかと、え、世界についての 知識持って、え、それを再構成して シミュレーションをすると、あるいは予測 するというような、あ、そういう仕組みが LLMの中にあるのか、もしあるとすれば 、ま、それはどこに、どのようにできてい て、え、あるいはそのボトルネックはどこ にあるのかというような、あの、それを こう明らかにすることがですね、え、最初 の言語は、え、言語モデルがあの、ま、 言語を理解してるか、あるいは世界を、え 、言語を通じてですね、え、理解してるの かということに対する、あの、答えを与え ていくという風に考えています。え、ま、 こうしたこういう手がかりですね、あの、 LLMの内部を、あの、少し見ていきたい と思います。最初の問はLLMはあの世界 の知識をどこにどのように記憶しているか ということで、ま、例としてあの有名人の 生まれを取り上げますと、え、 例バラコーマが何人に生まれたかとか、 アインシュタは何人に生まれたかという ような、ま、その有名人についてですね、 え、その生まれ年を正しく答えることが できます。で、あの、それぞれの入力を、 ま、LLMはですね、え、ま、内部でもこ 、ベクトルにこう変換するして変換した、 ま、そのベクトルをに計算をこうね、重ね ていくわけですけれども、ま、そうした 内部表現からですね、えっと、こう、 生まれの情報を、あの、こう読み取ると、 あの、読み出すということを考えます。え 、内部はあのベクトルでして、その ベクトルからあのそれぞれのですね、え、 生まれ年を、ま、読み出すようなこう怪奇 をすると。で、そうすると、えっと、 生まれの情報がですね、このLLMの内部 の、ま、ある構造の中にですね、いわば あの数直線のような形でですね、え、 きちんとあの並んでこうあの刻まれてると いうことが分かりました。の1点1点は それぞれあの有名人の点なんですけれども あの表現なんですけどもこれをま今2次元 の軸に落とし込んだ時にあの生まれ年の 古い人からですね向かってですね滑らかな 1本線が並んでいる様子が[笑い]分かり ます。で、あの、こういうことは、え、 生まれ年の話だけではありません。で、 あの、人口とか、あの、標とかですね、え 、こうした、あの、移戸系度などについて も、ま、同様の構造が見つかって、え、 おります。で、あの、数値の構造が、ま、 一応こう数直線のような形でですね、え、 内部にあるということは見えたわけです けれども、ま、その構造が本当にLLMが 実際にこう答えを出す時に使われているの かというのはまた別の問題です。で、これ を確かめるために、例えば先ほどあの、 捕まえたですね、え、内部表現ですね、え 、この数直線を、え、こう実際に内部で こう書き換えるベクトルをその数直線に 沿って、え、書き換えるということをやり ます。ま、そうした介入実験をやるわけ ですね。で、こうLLMの内部にある記憶 、先ほどの記憶の部分ですね、え、を、ま 、あの、こう数直線に向かってですね、え 、生まれ年の方向に、え、こうずらします と、え、実際元々例えばカールポッパーの 生まれ年は1902年なわけですけれども 、あの、それがこうだんだん生まれ年が こう後ろの方にずれていくと、あの、同じ 質問に対して、え、違う答えをモデルが 出すようになります。え、逆の方にこう ずらすと1681年のようにこう前にずれ ます。ま、つまり少なくともこの例はです ね、例ではですね、こう見つかった構造を いじると、ま、それに応じて実際の出力も こう変わってくるう、このことから 見つかった構造が、ま、単なる副産物では なくてですね、え、実際にLLMが、ま、 答えを出す際に、え、使っている、あ、 少なくとも関わっているということが 分かります。ま、ここまでであの、数値 属性の知識については、ま、あの、一部、 少なくとも一部については、あの、内部に 綺麗な構造があって、え、それが出力にも 実際に関わっているということまで、ま、 確認できました。 えっと、で、この数値についてはですね、 あの、内部に見えてきたわけですけれども 、では他の知識の他の種類の知識はどうか と、え、こちらにいくつかあの例を上げ ましたけれども、あの、点[鼻息]のよう にまとまっているものとか、先ほどの 数直線とか、え、曜日のようにですね、 こう輪になってるようなものとか、ま、 様々な関係のこう追ですね。え、それから こう回層になってるようなもの、えっと、 細かいことは言いませんけれども、 それぞれのあの知識の種類ごとにですね、 え、それぞれこう異なる形というのがこう 見つかってきています。あの、このうち2 つの例だけあの紹介します。1つ目はあの ようなですね、名前にまつわる曖昧さと 表記の揺れの話です。えっと、バラック オバマと言われた時にですね、え、あ、あ 、違う、オバマと言われた時に、え、それ が誰を指すかというのは文脈によってこう 変わるとバラクオバマかもしれないし、 あの、他の人物かもしれない。え、逆に、 あの、同じ人物であってもですね、あの、 バラクオマと呼ばれることもあれば、あの 、別の呼び方をされることもある。え、ま 、これを調べたところですね、え、先ほど のようにあのLLの内部表現を取り出して 、え、こう調べていくわけですけれども、 え、こうしたエンティティ、人物とか組織 に関する知識はですね、比較的こう少ない 、え、次元、え、つまりこう簡単な次元の 、ま、簡単な空間の中にですね、え、 うまくこう表現されている、埋め込まれて いるということがあの分かってきています 。ま、あの、同じ人物はですね、え、同じ 、同じ名前のですね、別人はですね、こう 、あの、その空間の中で離れたところに あってですね、え、同じ人物の別の呼び方 はこう近くなるようにですね、え、内部で こう整理されているということが、ま、 分かってきました。ま、つまり名前の曖昧 さと表記の揺れというですね、世界の側に ある構造と、え、リレムの内部表現の構造 がですね、ある程度こ対応しているという ことであります。 えっと、2つ目はあの概念の上位会のよう なですね、え、関係ですね、回層です。え 、動物という上位概念の下にですね、え、 鳥とかあの入類といった会の概念がある わけですけども、こうした回層概念をも 調べてみますと、内部ではあのやはり規則 な、あの、規則的な構造を持っていると いうことがあの分かってえ、きています。 [鼻息]ま、具体的にはですね、あの、定 次元の整形部、先形なあの、部分空間、 つまりシンプルな形の空間の中に回層関係 がこうまとまって現れてくると、え、 さらにあの興味深いのですね、え、場所に ついての回層とか、えっと、それからあの 、人物についての回層とかですね、え、 様々なあの、えっと、意味の領域が違う 回層がですね、え、似たようがあ、構造の パターンであの表現されているということ が分かってきています。 え、ここまで、ま、いくつかあの例を踏み きましたけれども、一度整理しますと、 あの、分かってきたこととしましては、え 、人物とか組織のようなエンティですね、 それから単純な、え、事実関係から先ほど のあの生まれ年のようなですね、え、数値 情報とか上位換期関係のような回層的な、 あ、情報分類、え、こうしたものについて はですね、内部に規則的な構造が、ま、 徐々に見つかってきています。 一方でほとんど分かっていないことももう まだまだたくさんありまして、え、例えば そのインフルエンザにかかると熱が出ると いうような条件因関係ですね。え、 やっぱりはドイツのあの人でないという ような、ま、否定とか反事実う的な情報、 え、取を飛ぶけれどもペは飛べないという ようなですね、え、一般速、え、それから コーヒーの入れ方のようですね。え、手順 とか行為についての知識、え、え、こうし た、あの、え、より複雑なですね、でも あの最初の、え、選択物の例のようにです ね、え、こうした複雑な知識があの言語の 理解あるいは世界の理解にあの必要だと いう風に考えられるわけですけれども、ま 、こうしたより複雑なあの知識が内部で どう表現されていて、どう使われるか使わ れているかとまだほとんど分かってないと 、え、というのがあの現状です。 え、それからあのもう1つ重要な点はです ね、あの内部表現を読む、これ専門的には あのプロビングと言いますけれども、え、 これは比較的やりやすいということが 分かっています。一方で、え、その表現を こう制御する、え、ステアリングと言い ますけれども、あの、その表現を、えっと 、制御するというのその表現を使ってです ね、あの、え、モデル全体のこの振る舞い ですね、例えば答えを制御するというよう な、あの、ことは、あの、ま、読むことと は別次元ですね、はかにはかに難しいと いうことも分かってきています。あの、 例えば先ほどの生まれ年のようにですね、 あの、一部の限られた例ではできるんです けども、これでも、あの、この単純な例で もですね、本当はあんまり綺麗にこう制御 できていないと、え、逆側に動かしても ですね、そんなに綺麗にあの時代が下がっ ていかない。時代が遡っていかない。え、 こんな風にですね、あの、え、ま、あの、 内部表現を操作して、え、あの、え、 モデルの振る舞が変わるようなところまで 内部表現がきちんと理解している、え、 いうところまではまだ全然行ってないと、 ええ、いうことが言えると思います。で、 ま、ここであの、え、神経科学の1つの 教訓が思い出されるわけですけれども、ま 、初期の神経科学ではおばあちゃん ニューロンのようなですね、1つの入論が なんか1つの概念に対応しているという ことを示すような結果がたくさんたくさん 報告されて、ま、皆狂的にあの受け止めた わけですけれども、あの、え、これ、ま、 非常にえっとこう単純で魅力的なんです けども、分かりやすいんですけれども、 あの、あことになって、え、現在はですね 、それは過剰な単純化だったということが 、あの、もうコンセンサンスとして得られ ています。で、あの、実は私たちも同じ罠 にはまっているかもしれません。え、 つまり見つけやすくってこう説明しやすい 構造だけを見ている可能性があるという ことです。読み取れることとですね、え、 制御できることは別だと、え、この点を あの強調しておきたいと思います。 えっと、では、あの、これがですね、具体 的に一体何が問題なのかと。あの、重要な ポイントは内部がこう少し見えてきた ぐらいではですね、信頼性十分にこう保証 できないと、え、いうことです。うん。 例えば、あの、誤った答えをですね、内部 表現を見て、あの、確実に見分けるという ことはもう本当にまだまだ難しいいうこと が、ま、分かってきています。ま、知識を こう内部で内部表現でこう修正するという ようなこともですね、え、このなかなか 難しいですし、何かこう安全対策をですね 、え、この内部表現を、えっと、いじって 、え、やるというようなこともですね、 まだまだなかなかできてないと。え、 [咳払い] 問題はですね、ま、内部基上をどこまで 理解できれば、あの、十分と言えるのかと いうこと自体についてのまだしっかりした 理論があ、ないということで、ま、この 辺り理論的な研究とですね、経験的、記述 的な研究の両面を進めていく必要があると 、まだまだあるんだという風に考えてい ます。じゃあ私たち何をすべきかと、あの 、AI例えばあの、教育の現場では何をす べきだのか。[鼻息]あの、ま、えっと、 実のポイントは、あの、最もらしい説明が できるということと、ま、モデルが本当に 理解してるかどうかということは、あの、 同じでないということを改めて、あの、 確認しておく必要があるということであり ます。あの、内部機場の研究というのは ですね、どこでAIをこう信頼してよく、 どこではあの出点の確認とかあの人間の 確認検証が必要なのかということをこう 明らかにするためのあの、ま、基盤を作る ような研究なんだという風にな位置づけな んだという風にあの考えていただければ あの良いかと思っております。え、 [鼻息]ということで、あの、まとめは こんな感じなんですけれども、あの、1点 目はLLMの内部には、あ、規則的に整義 された知識表現があるということですが、 ま、あので、その少なくともその一部は あの実際に答えを出すために使われている んだと。え、ただし、あの、解明できたの は本当にまだあの、一部で、え、もっと こうやっていく必要があるということで、 あの、え、読み取れることとですね、え、 安定して、え、それがあの、制御できたり 、あるいはその信頼性、え、の担保に つがっていくというようなことの間には ですね、まだ大きな隔だりがあると、え、 いうことを、ま、この講演のメッセージと して締めくりたいと思います。え、ご成聴 いただきありがとうございました。