委任は多数決に勝てるのか？ — 論文要約

原題: When Does Delegation Beat Majority? A Delegation-Based Aggregator for Multi-Sample LLM Inference
著者: Yasushi Sakai, Allen Song, Kent Larson（MIT Media Lab）

一言でいうと

LLM に同じ質問を何度も答えさせて集約するとき、定番の「多数決」は各サンプルが持つ情報の一部を捨てている。それを「委任型投票（PPV）」で拾い上げると、多数決より精度が上がる、という研究。

背景と問題意識

LLM で推論タスクを解くとき、同じ質問に対して何度もサンプリングし、答えを集約する self-consistency（多数決）が標準的な手法になっている。シンプルで強力だが、多数決は各サンプルが持つ2つの信号を無視している。

  1. 文字レベルの不確実性（letter entropy）
    何度も聞いて同じ答えに全員一致したサンプル・グループは、答えが割れたものより信頼できる。この「まとまり具合」は無料で得られる信頼度の手がかり。

  2. 推論の幾何構造（reasoning geometry）
    各サンプルの推論テキストを埋め込みベクトルを求めると、意味空間上の位置がわかる。同じ答えでも「似た理由でたどり着いた」のか「バラバラの理由で偶然一致した」のかを区別できる。多数決はこれを見ていない。

提案手法：PPV（Propagational Proxy Voting）

液体民主主義（誰かに投票を委任できる仕組み）を応用し、サンプルのグループを「投票者（delegate）」とみなして票を伝播させる。各投票者には2つのレバーがある。

  • When（いつ自分の票を保持するか） … グループのエントロピーで制御。まとまっている（低エントロピー）ほど自分の答えに票を残す。
  • Whom（残りの票を誰に委任するか） … 質問ごとに中心化した埋め込みベクトルのコサイン類似度で制御。推論が似ている投票者へ委任する。

これらを遷移行列に組み込み、その定常分布が最終的な合意（コンセンサス）を決める。学習不要・正解ラベル不要で動く。

具体的な設定: 質問ごとに128サンプルを16グループ（各8サンプル）に分割 → 各グループのエントロピーと埋め込み重心を計算 → 委任行列を作って伝播。

主な結果

MMLU-Pro（Qwen3-1.7B、質問あたり128サンプル、全12,032問）での実験。

手法 全問 非自明な問題のみ
多数決（majority） 40.7% 28.0%
PPV（confidence モード） 42.2% 30.2%
オラクル（理論上限） 44.7% 33.9%
  • 非自明な問題で +2.24 ポイント 改善。統計的にも有意（McNemar 検定 p ≈ 1.0×10⁻¹⁴）。
  • 多数決とオラクルの差（約6ポイント）のうち 約38%を教師なしで埋めた。

決定的だった要素

  • When（エントロピー）が主役。Whom 側に凝った「品質スコア」を掛けても効果はほぼゼロ、むしろ25設定中11で悪化した。伝播そのものが暗黙的に品質をフィルタリングしてくれる。
  • 埋め込みの「質問ごとの中心化」が必須。生のコサインは [+0.88, +0.99] に張り付いて役に立たないが、中心化すると [−0.68, +0.64] に広がり識別力が出る。これを外すと PPV はただの多数決に劣化する。

具体例：多数決がひっくり返る瞬間

ある哲学の問題では 10対6 で誤答 D が多数派だったが、PPV は正解 I を選んだ。理由は幾何構造。10人の D 派は「バラバラの推論」（まとまりのないクラスタ）、6人の I 派は「似た推論」（きれいにまとまったクラスタ）。委任される票が一貫性のある少数派へ集中し、多数派を逆転させた。

まとめ

Self-consistency は「2つの無料の信号」をテーブルに置き去りにしている。文字レベルのエントロピーと中心化埋め込みコサインを PPV に流し込むことで、教師なしのまま多数決を有意に上回る集約手法が得られる。要点は「強いスカラー信号（エントロピー）に投資し、埋め込みは票のルーティングだけに使う」という設計思想。

補足：少数派が多数決に勝つ条件（導出）

上の「ひっくり返る瞬間」を、一票が分割できる単純化したモデルで形式化すると、少数派の選択が最終的に多数派を上回る条件が出せる（手書きノートの書き起こし）。

設定

n 人いるとして、2つの選択肢があるとする。このとき、多数派が k 人いて、少数派が m 人いたとする。

k + m = n
k > m
  • 多数派の選択を P_A、少数派の選択を P_B
  • 多数派の集合を A、少数派の集合を B とする

一票が分割出来るとして、票は任意の時に {A, B, P_A, P_B} のいずれかにあり、票の流れは A, B から出る。

遷移（行 = 移動元、列 = 移動先）:

        A      B
  A     s_A    t_B
  B     t_A    s_B
  P_A   α_A
  P_B          α_B

で、各行について s_x + t_x + α_x = 1。

条件を行った時の最終的な票は

M_A = k·a + m·b
  • a は A の票が A に残る確率
  • b は B の票が A に残る確率

ちなみに M_A + M_B = n。

a, b を解く

ここで a は:

a = α_A + s_A·a + t_A·b
b = s_B·b + t_B·a

s_A = 1 - t_A - α_A なので:

a = α_A + (1 - t_A - α_A)·a + t_A·b

b について:

b - s_B·b = t_B·a
b(1 - s_B) = t_B·a
b = t_B·a / (1 - s_B)          ( 1 - s_B = 1 - (1 - t_B - α_B) = α_B + t_B )
b = t_B / (α_B + t_B) · a       … ①

① を a の式に代入:

a = α_A + (1 - t_A - α_A)·a + t_A · t_B/(α_B + t_B) · a

a について整理:

a - (1 - t_A - α_A)·a - t_A·t_B/(α_B + t_B)·a = α_A
a·( 1 - (1 - t_A - α_A) - t_A·t_B/(α_B + t_B) ) = α_A
a·( t_A + α_A - t_A·t_B/(α_B + t_B) ) = α_A
a·( (t_A + α_A)(α_B + t_B) - t_A·t_B ) = (α_B + t_B)·α_A

           α_B + t_B
a = ─────────────────────────────────── · α_A
    (t_A + α_A)(α_B + t_B) - t_A·t_B

分母を D とおく:

D = (t_A + α_A)(α_B + t_B) - t_A·t_B

したがって:

a = (α_B + t_B)/D · α_A

b = t_B/(α_B + t_B) · (α_B + t_B)/D · α_A
  = t_B/D · α_A

M_A と勝敗条件

M_A = k · (α_B + t_B)/D · α_A + m · t_B/D · α_A
    = α_A·( k(α_B + t_B) + t_B·m ) / D

少数派が勝つ、つまり M_B > M_A なので（左辺 L は M_B の分子）:

  α_B·( m(α_A + t_A) + k·t_A )         α_A·( k(α_B + t_B) + t_B·m )
  ────────────────────────────  >  ────────────────────────────
              D                                  D
       └────── L ──────┘

両辺 D を払って左辺 L を展開:

L = α_B·( m(α_A + t_A) + k·t_A )
  = α_B·( m·α_A + m·t_A + k·t_A )
  = α_B·( m·α_A + (m + k)·t_A )
  = m·α_A·α_B + n·t_A·α_B          ( m + k = n )

右辺も同様に k·α_A·t_B + m·α_A·t_B = (k+m)·α_A·t_B = n·α_A·t_B なので、不等式は:

m·α_A·α_B + n·t_A·α_B  >  k·α_A·α_B + n·t_B·α_A
n·( t_A·α_B - t_B·α_A )  >  k·α_A·α_B - m·α_A·α_B
n·( t_A·α_B - t_B·α_A )  >  (k - m)·α_A·α_B

    t_A·α_B - t_B·α_A
n · ─────────────────  >  k - m
        α_A·α_B

結論

n·( t_A/α_A - t_B/α_B )  >  k - m

多数派と少数派の差 k - m が、上の左辺より小さければ、少数派の選択 P_B が最終的に多数派の選択 P_A を上回る。委任先の偏り（t/α の非対称）が人数差を打ち消す、というのがさっきの 10 対 6 の逆転の中身。

[参考]パネル:

元ネタ: https://arxiv.org/abs/2606.08098

lang:janametekippvresearch