委任は多数決に勝てるのか？ — 論文要約
原題: When Does Delegation Beat Majority? A Delegation-Based Aggregator for Multi-Sample LLM Inference
著者: Yasushi Sakai, Allen Song, Kent Larson（MIT Media Lab）
一言でいうと
LLM に同じ質問を何度も答えさせて集約するとき、定番の「多数決」は各サンプルが持つ情報の一部を捨てている。それを「委任型投票（PPV）」で拾い上げると、多数決より精度が上がる、という研究。
背景と問題意識
LLM で推論タスクを解くとき、同じ質問に対して何度もサンプリングし、答えを集約する self-consistency（多数決）が標準的な手法になっている。シンプルで強力だが、多数決は各サンプルが持つ2つの信号を無視している。
-
文字レベルの不確実性（letter entropy）
何度も聞いて同じ答えに全員一致したサンプル・グループは、答えが割れたものより信頼できる。この「まとまり具合」は無料で得られる信頼度の手がかり。 -
推論の幾何構造（reasoning geometry）
各サンプルの推論テキストを埋め込みベクトルを求めると、意味空間上の位置がわかる。同じ答えでも「似た理由でたどり着いた」のか「バラバラの理由で偶然一致した」のかを区別できる。多数決はこれを見ていない。
提案手法：PPV（Propagational Proxy Voting）
液体民主主義（誰かに投票を委任できる仕組み）を応用し、サンプルのグループを「投票者（delegate）」とみなして票を伝播させる。各投票者には2つのレバーがある。
- When（いつ自分の票を保持するか） … グループのエントロピーで制御。まとまっている（低エントロピー）ほど自分の答えに票を残す。
- Whom（残りの票を誰に委任するか） … 質問ごとに中心化した埋め込みベクトルのコサイン類似度で制御。推論が似ている投票者へ委任する。
これらを遷移行列に組み込み、その定常分布が最終的な合意（コンセンサス）を決める。学習不要・正解ラベル不要で動く。
具体的な設定: 質問ごとに128サンプルを16グループ（各8サンプル）に分割 → 各グループのエントロピーと埋め込み重心を計算 → 委任行列を作って伝播。
主な結果
MMLU-Pro（Qwen3-1.7B、質問あたり128サンプル、全12,032問）での実験。
| 手法 | 全問 | 非自明な問題のみ |
|---|---|---|
| 多数決（majority） | 40.7% | 28.0% |
| PPV（confidence モード） | 42.2% | 30.2% |
| オラクル（理論上限） | 44.7% | 33.9% |
- 非自明な問題で +2.24 ポイント 改善。統計的にも有意（McNemar 検定 p ≈ 1.0×10⁻¹⁴）。
- 多数決とオラクルの差（約6ポイント）のうち 約38%を教師なしで埋めた。
決定的だった要素
- When（エントロピー）が主役。Whom 側に凝った「品質スコア」を掛けても効果はほぼゼロ、むしろ25設定中11で悪化した。伝播そのものが暗黙的に品質をフィルタリングしてくれる。
- 埋め込みの「質問ごとの中心化」が必須。生のコサインは [+0.88, +0.99] に張り付いて役に立たないが、中心化すると [−0.68, +0.64] に広がり識別力が出る。これを外すと PPV はただの多数決に劣化する。
具体例：多数決がひっくり返る瞬間
ある哲学の問題では 10対6 で誤答 D が多数派だったが、PPV は正解 I を選んだ。理由は幾何構造。10人の D 派は「バラバラの推論」（まとまりのないクラスタ）、6人の I 派は「似た推論」（きれいにまとまったクラスタ）。委任される票が一貫性のある少数派へ集中し、多数派を逆転させた。
まとめ
Self-consistency は「2つの無料の信号」をテーブルに置き去りにしている。文字レベルのエントロピーと中心化埋め込みコサインを PPV に流し込むことで、教師なしのまま多数決を有意に上回る集約手法が得られる。要点は「強いスカラー信号（エントロピー）に投資し、埋め込みは票のルーティングだけに使う」という設計思想。
[参考]パネル:
