記号接地問題
記号（言葉・概念）が実世界の意味とどう結びつくかの問題。Harnad (1990) が定式化。LLM は言語記号間の関係を学習するが、記号を実世界に接地 (ground) する身体的経験を持たない。
問題の核心
「猫」という単語の意味を辞書で引くと、別の単語の組み合わせで説明される。その説明に使われた単語もまた辞書で引ける。記号が記号を参照する循環から、どうやって実世界に着地するのか？
人間は視覚・触覚・嗅覚を通じて猫の実体を経験し、それが「猫」という記号に接地を与える。
関連する脳領域
| 領域 | 機能 | 接地への寄与 |
|---|---|---|
| 一次感覚野 (V1, A1, S1) | 生の感覚入力 | 記号に対応する知覚表象の源泉 |
| 後部頭頂葉 | 空間認知、自己と物体の位置関係 | 「ここにある猫」と「あそこにある猫」の区別 |
| 小脳 | 運動制御、タイミング | 操作可能性 (affordance) の学習 |
| 島皮質 | 内受容感覚 | 身体状態との結合（「熱い」を感じて「熱い」を理解する） |
LLM と接地
| 観点 | 人間 | LLM |
|---|---|---|
| 意味の源泉 | 身体経験 + 言語 | 言語のみ（テキストコーパスの統計的共起） |
| 空間認知 | 自分の身体を基準に構成 | なし |
| 能動的探索 | 環境を操作して学ぶ | 受動的に与えられたデータから学ぶ |
| 内受容 | 身体状態が認知に影響 | なし。「疲れる」「痛い」が存在しない |
マルチモーダル化は解決するか
画像・音声の追加は感覚入力の一部を補うが、3つの本質的限界がある:
- 能動性の欠如: 見るだけで触れない。環境を操作して結果を観察する学習ループがない
- 身体の不在: 空間内の自己位置、操作可能性 (affordance) が欠ける
- 内受容の不在: 身体状態のフィードバック（疲労、痛み、快不快）が認知に影響を与える経路がない
Harnad の3種類の表象
| 種類 | 説明 | LLM |
|---|---|---|
| アイコン的表象 | 感覚パターンの内的写し | マルチモーダルで部分的に獲得 |
| カテゴリ的表象 | 不変特徴の抽出による分類 | embedding 空間での分類として一部達成 |
| 記号的表象 | 記号同士の関係の体系 | これだけを学習している |
Links
- The Symbol Grounding Problem (Harnad, 1990)
- Dissociating language and thought in large language models (Mahowald et al., 2024)
関連
- 形式的 vs 機能的言語能力 — 接地の欠如は機能的言語能力の限界と直結
- 心の理論 — 他者理解も身体的共感に依存する部分がある