# AI研究のスキマ、三たび：ゲーム盤の読み替えとして読み直す

- 著者：小川 修一郎（デザイン研究者／デザインコンサルタント）https://jamjet-iqbal.com/
- 初出：2026-07-19、更新：2026-07-20
- 正規の URL（HTML）：https://jamjet-iqbal.com/notes/ai-research-gaps-problem-definition/
- 英語版：https://jamjet-iqbal.com/en/notes/ai-research-gaps-problem-definition/（Markdown：https://jamjet-iqbal.com/en/notes/ai-research-gaps-problem-definition.md）
- 言語：ja
- キーワード：AI, research-gaps, problem-definition, problematization, meta-science, benchmarks, evaluation, research-questions, record-keeping, abduction

> AI研究のスキマを探した二本の姉妹ノート（七つのフレームのカタログと、A–G運用シートによる再訪）を、Problem Definition（ゲーム盤の操作）という第三の生成器で読み直す論考。AI研究のゲーム盤を成功認定、測定、単位、終点、観測位置、ノイズ、記録制度の七項で出典つきで書き出し、盤外へ押し出されたものから最も不自然な三つの非対称を選ぶ。七つのフレームがそれぞれ盤面のどの操作だったかを対応づけ、対称性反転が盤面書き換えの一種（非対称二項に特化した操作）であることを示す。再訪ノートで降格された二候補（認知多様性と非西洋認識論、盲点の自己地図化）を再審し、降格が A–G シート自身の成功確定装置（反証可能性と最小観測量）による認定だったことを明示して、種別確定は維持しつつ「別の型では強い問い」として復権させる。変換表をスケール則に当てると内生的スケール則と同じ空隙に出ることを確認し、独立な生成器の収束を空隙が人工物でないことの弱い証拠とする。最後に成功確定装置と記録制度を単位とする問題文とRQを二つ生成し（いずれも先行研究の被覆未確認のスキマ候補）、生成器の分業（Problem Definition が生成し、A–G が検収する）で閉じる。参照文献17件。

## 同じ対象へ三たび戻る

同じ対象に三度目に戻るのは、対象が変わったからではなく、道具が変わったからである。

[AI研究のスキマはどこにあるか：枠組みを組み替えて見つける七つの空隙](https://jamjet-iqbal.com/notes/ai-research-gaps-abduction/) は、AI研究の自明な前提を一つずつ反転し、七つのフレームでスキマを探した。
[AI研究のスキマ、再訪：対称性完成型と被覆型を選り分け、内生的スケール則を掘り当てる](https://jamjet-iqbal.com/notes/ai-research-gaps-revisited/) は、その反転を A から G の運用シートに落とし、七つを対称性完成型とそれ以外に選り分けた。
どちらの道具も、「どの前提を反転するか」を出発点に置いていた。

今回の道具は、出発点が違う。
問うのは、そもそも何が「スキマ」として数えられてきたか、それを決めている盤面は何か、である。
[Problem Definition の思考法：既存研究のゲーム盤を読み替える](https://jamjet-iqbal.com/notes/problem-definition-metagame/) が整理した Problem Definition の型集は、前提の反転ではなく、領域が暗黙に固定している認定の体系（何を現象とみなし、何を単位とし、何を成功の証拠とし、どこを終点とするか）の書き換えを操作の単位にする。
問いの立て方の研究では、文献の空白を埋める gap-spotting と、前提そのものに挑む problematization が区別されてきた[^sandberg][^alvesson]。
姉妹ノート二本は後者を実演したが、その実演自身がどんな認定基準の上に立っていたかは、まだ問うていなかった。
この生成器で同じ対象を読み直すと、前の二本が見せなかったものが三つ見える。
七つのフレームの正体、降格された二候補の再審、そして生成器そのものの分業である。

[^sandberg]: Sandberg, J. & Alvesson, M. (2011). Ways of constructing research questions: gap-spotting or problematization? *Organization* 18(1):23–44. https://doi.org/10.1177/1350508410372151
[^alvesson]: Alvesson, M. & Sandberg, J. (2011). Generating Research Questions Through Problematization. *Academy of Management Review* 36(2):247–271. https://doi.org/10.5465/amr.2009.0188

## AI研究のゲーム盤を書き出す（Step 1）

生成プロトコルの最初の仕事は、盤面を疑わずに書き写すことである。
AI研究の盤面は、出典で裏の取れる範囲で、次のように書ける。

- **目的と成功の認定**：最頻の価値は性能、汎化、定量的証拠、効率、新規性である。高被引用ML論文100本の価値分析で、社会的必要との接続を正当化する論文は15%、負の潜在影響を論じる論文は1%だった[^birhane]。
- **測るもの**：少数の「general」ベンチマークが汎用能力の代理として神聖視されるが、その枠づけは construct validity を欠く[^raji]。測れるものだけを見る傾向は、分野の内側から古くから警告されてきた[^wagstaff]。
- **比較の単位**：一つのモデル、一人のユーザー、一つのタスク、一時点。使われるデータセット自体も、少数のエリート機関発のものに集中している[^koch]。
- **終点**：テスト時点。配備後の時間経過は評価の外にある。
- **観測位置**：系の外に立つ研究者。LLM が文献レビューや査読を担い、道具が研究過程の内側に入り込んでも、この想定は保たれたままである[^messeri]。
- **ノイズ**：否定的結果と失敗。受け皿は本会議トラックではなく散発的なワークショップにとどまり[^icbinb]、data leakage のような失敗様態の体系化は例外に属する[^kapoor][^pineau]。
- **記録制度**：論文とリーダーボードが分野の記憶であり、そこに載らない探索は残らない。

この盤面の証拠は、姉妹ノートが使ったものと同じである。
違いは並べ方にある。
前の二本はこれらを「反転すべき前提」として読んだが、ここでは「盤面の定数」として読む。
定数として並べると、次の手（何が盤外にあるか）が機械的に打てるようになる。

[^birhane]: Birhane, A., Kalluri, P., Card, D., Agnew, W., Dotan, R., Bao, M. (2022). The Values Encoded in Machine Learning Research. *FAccT '22*. https://doi.org/10.1145/3531146.3533083
[^raji]: Raji, I. D., Bender, E. M., Paullada, A., Denton, E., Hanna, A. (2021). AI and the Everything in the Whole Wide World Benchmark. *NeurIPS 2021 D&B*. https://arxiv.org/abs/2111.15366
[^wagstaff]: Wagstaff, K. L. (2012). Machine Learning that Matters. *ICML 2012*. https://arxiv.org/abs/1206.4656
[^koch]: Koch, B., Denton, E., Hanna, A., Foster, J. G. (2021). Reduced, Reused and Recycled: The Life of a Dataset in Machine Learning Research. *NeurIPS 2021 D&B*. https://arxiv.org/abs/2112.01716
[^messeri]: Messeri, L. & Crockett, M. J. (2024). Artificial intelligence and illusions of understanding in scientific research. *Nature* 627(8002):49–58. https://doi.org/10.1038/s41586-024-07146-0
[^icbinb]: ICBINB ("I Can't Believe It's Not Better!") NeurIPS Workshop (2020, 2021, 2023). 2020 proceedings: https://proceedings.mlr.press/v137/
[^kapoor]: Kapoor, S. & Narayanan, A. (2023). Leakage and the reproducibility crisis in machine-learning-based science. *Patterns* 4(9):100804. https://doi.org/10.1016/j.patter.2023.100804
[^pineau]: Pineau, J. et al. (2021). Improving Reproducibility in Machine Learning Research. *JMLR* 22(164):1–20. https://www.jmlr.org/papers/v22/20-303.html

## 盤外に押し出されたものと、最も不自然な非対称（Step 2 と Step 3）

盤面の各項には、対になる盤外がある。
失敗した実験、採用されなかった設計、否定的結果、配備後の劣化と適応、評価装置自身の来歴、モデル生成物のデータへの還流、ベンチマークに載らない能力。
どれも観測不能だから捨てられたのではない。
盤面の認定基準が「数えないもの」に分類したから、記録されずにいる。

この盤外リストから、最も不自然な非対称を三つ選ぶ。

第一に、モデルの成功は記録されるが、失敗した探索は記録されない。
出版文化の値づけが性能と新規性に偏っていること[^birhane]と、否定的結果の受け皿が周縁にとどまること[^icbinb]が、この非対称の制度的な支えである。

第二に、モデルは評価されるが、評価装置を成功確定装置として認定する制度は評価されない。
ベンチマークの妥当性への批判は存在する[^raji]。
だが、ある尺度がいつどのようにして成功確定の権限を獲得し、いつ失うのかという権限の来歴そのものを説明対象にした研究は、批判とは別の仕事である。

第三に、訓練データは測られるが、モデル出力がデータへ還流する経路は評価の単位に入らない。
還流の帰結（model collapse）は実証されている[^shumailov]のに、還流の経路自体は依然として盤外にある。

[^shumailov]: Shumailov, I. et al. (2024). AI models collapse when trained on recursively generated data. *Nature* 631(8022):755–759. https://doi.org/10.1038/s41586-024-07566-y

## 七つのフレームは、盤面のどの操作だったか

盤面の語彙が手に入ると、姉妹ノートの七つのフレームを別の解像度で言い直せる。
それぞれのフレームは、盤面のどの項を書き換える操作だったのか。

| フレーム | 盤面の操作 |
|---|---|
| 1 時間地平 | 時間幅と終点の変更 |
| 2 研究の再帰性 | 観測位置の変更（研究者を盤上に載せる） |
| 3 生態としてのAI | 比較単位の変更（個体から系へ） |
| 4 非知の非対称 | ノイズの再認定（失敗を診断装置へ） |
| 5 認知多様性 | 正当な観測位置と成功認定の変更（誰の視点か） |
| 6 認識論の一元性 | 成功確定装置の文化的来歴を問う |
| 7 盲点の自己地図化 | 記録制度そのものの対象化 |

七つすべてが、メタ変換表のいずれかの行に落ちる。
つまり二つの生成器は別物ではない。
対称性の反転は、盤面の一項（非対称に置かれた二項）に特化した書き換えであり、Problem Definition はその上位の操作族にあたる。
AI という分野自身の問題設定が技術的実践に埋め込まれた前提に縛られている、という指摘は、分野の内側からも早くからあった[^agre]。
七つのフレームは、その指摘を個別の盤面操作として実行したものだと言える。

ただし、上位であることは強いことを意味しない。
反転には D と G（カテゴリを越えた構造対応と、最小の観測量）という検収基準が付いていた。
盤面の書き換えそのものには、検収基準がない。
この差が、次の再審で効いてくる。

[^agre]: Agre, P. E. (1997). Toward a critical technical practice: Lessons learned in trying to reform AI. In G. C. Bowker, S. L. Star, W. Turner & L. Gasser (Eds.), *Social Science, Technical Systems, and Cooperative Work: Beyond the Great Divide* (pp. 131–157). Lawrence Erlbaum Associates. 全文: https://pages.gseis.ucla.edu/faculty/agre/critical.html

## 降格された二候補を、盤面の語彙で再審する

再訪ノートは、認知多様性と非西洋認識論（フレーム5と6）を「性質の転位ではなく被覆の拡張」として、盲点の自己地図化（フレーム7）を「G の観測量が書けない」として降格した。
種別の確定としては、この判定はいまも維持できる。
被覆の拡張は対称性完成ではないし、観測量を書けない候補は反証可能な仮説にならない。

だが、盤面の語彙で言い直すと、降格の意味が一段はっきりする。
A–G シートは、反証可能性と最小観測量を「盲点」の成功確定装置に据えていた。
つまりシート自身が一つのゲーム盤であり、G を書けるものだけを「数えられる盲点」として認定していた。
落ちた二候補が落ちたのは、問いとして弱いからではなく、あのシートの認定基準に適合しなかったからである。
フレーム5と6は、「誰の視点を正当な観測位置とみなすか」という盤面書き換えとして正当に強い。
フレーム7は、「記録制度そのものを対象化する」書き換えとして正当に強い。
再訪ノートの判定に、この一行を追記するのが再審の結論になる。
対称性完成型の盲点ではない、は維持する。
そのうえで、Problem Definition の別の型としては強い問いである、を加える。

この再審は、再訪ノートの選別を覆さない。
選別の装置が何を数え、何を数えないかを、装置の外から明示しただけである。
装置の外に立てるのは、今回の生成器が「成功確定装置を問う」型（型2）を持っているからであり、その型を A–G シート自身に適用した結果がこの節である。

## 変換表を当てると、同じ穴に出る

生成器が違えば違う穴が開くはずだ、という疑いには、逆向きの証拠が一つある。

メタ変換表の三つの行、「時点評価 → 時間的連鎖」「データ → データを生成した記録制度」「ゲーム内行動 → ゲーム成立条件」を、スケール則の研究に当ててみる。
スケール則は、各スケールでの一時点の性能測定を単位とし、訓練データを所与とみなし、データがどこから来るかを盤外に置いてきた。
三行の変換はどれも、モデルの出力が次のデータを生む経路を盤上に載せろ、と告げる。
これは、再訪ノートが対称性反転で掘り当てた**内生的スケール則**（入力分布の外生性を反転し、生成物比率を内生の状態変数として閉ループを書く）と同じ場所である。
合成データ比率を外生の混合パラメータとして扱うスケール則の研究[^dohmatob]と、還流の帰結の実証[^shumailov]と反例[^gerstgrasser]が既出であり、残る空隙が比率の内生化の一点にあることも、再訪ノートの限定と一致する。

独立な二つの生成器が同じ空隙へ収束した。
これは、その空隙が生成器の癖が作った人工物ではないことの、弱いが無視できない証拠になる。
弱い、と言うのは、二つの生成器を回したのが同じ著者であり、視座の共有を排除できないからである。

[^dohmatob]: Dohmatob, E., Feng, Y., Yang, P., Charton, F., Kempe, J. (2024). A Tale of Tails: Model Collapse as a Change of Scaling Laws. *ICML 2024*. *arXiv:2402.07043*. https://arxiv.org/abs/2402.07043
[^gerstgrasser]: Gerstgrasser, M. et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. *arXiv:2404.01413*. https://arxiv.org/abs/2404.01413

## 新しい問題文を二つ生成する（Step 4 と Step 5）

盤面の非対称は、確認だけで終わらせず問題文へ変換する。
形式は決まっている。
既存研究はXを前提としてYを説明してきた。しかし、その前提ではZを識別できない。
以下の二つは、この形式で盤面の非対称から機械的に生成した候補であり、先行研究の被覆をこのノートでは確認していない。
確認済みのスキマではなく、次の収集で検証すべきスキマ候補として置く。

第一の問題文は、第二の非対称（評価装置は評価されない）から出る。

> 既存研究はベンチマーク成績を能力の証拠として前提し、モデル間の優劣を説明してきた。しかし、その前提では、ある尺度が成功を確定する権限をいつ獲得し、いつ失うのかを識別できない。

RQ：ベンチマークが成功確定装置としての権限を獲得し、更新され、放棄される過程は、どの記録（リーダーボードの採用と廃止、論文の引用、企業の採用基準）によって再構成できるか。
ベンチマークの来歴を対象にしたメタサイエンス研究がどの程度存在するかは未確認である。 `[要一次検証]`

第二の問題文は、第一の非対称（失敗した探索は記録されない）から出る。

> 既存研究は公開された成功（論文、モデル、リーダーボード登録）を分野の産出として前提し、進捗を説明してきた。しかし、その前提では、棄却された探索がどこで捨てられ、分野が何を学び損ねたかを識別できない。

RQ：分野の記録制度は、どの探索を可視化し、どの探索を不可視化するか。その選別は、何をノイズとして捨てる規約に依存しているか。
出版バイアスと否定的結果の研究（フレーム4の証拠群）との重複範囲は未確認である。 `[要一次検証]`

二つの候補はフレーム4と7の言い直しに見えるかもしれない。
だが違いは単位にある。
フレーム4は非知の体系化の不在を、フレーム7は自己地図化の方法の不在を指した。
ここでの二つは、モデルでも方法でもなく、認定と記録の制度そのものを説明対象に据える。
変換表の「データ → データを生成した記録制度」「主体 → 主体を形成する装置」の行が、単位のこの移動を駆動している。

## 生成器の分業

三本のノートの道具は、役割が違う。

Problem Definition の型集は、問いを生成する。
生成は速く、盤面さえ書ければ機械的に候補が出る。
だが、出てきた候補の強さを保証する基準を持たない。
A–G の運用シートは、問いを検収する。
検収は厳しく、通った候補は反証可能な仮説になる。
だが、G を書けない型の問い（被覆、公正、制度の来歴）を数えられない。

だから分業になる。
盤面の書き換えで問いを作り、対称性完成型に落ちる候補はシートで反証可能性まで落とし込む。
シートに載らない型の候補には、その型に固有の検収基準（史料への到達可能性、制度データからの再構成可能性など）を別途立てる。
検収を欠いた生成は候補の量産に流れ、生成を欠いた検収は空転する。

残る開いた問いは、検収装置の側にある。
対称性完成型には F と G があった。
制度の来歴を問う型の問いに、同じ強さの反証条件を与える装置は何か。
それが立たない限り、この第三の生成器で作った問いは、強く見えて検収できない候補のまま積み上がる。
その装置の設計は、次の収集と検討に残す。

## 関連ノート

- [Problem Definition の思考法：既存研究のゲーム盤を読み替える](https://jamjet-iqbal.com/notes/problem-definition-metagame/) — 本ノートが使う生成器の整理（十の型、メタ変換表、生成プロトコル）
- [AI研究のスキマはどこにあるか：枠組みを組み替えて見つける七つの空隙](https://jamjet-iqbal.com/notes/ai-research-gaps-abduction/) — 第一の生成器（前提の反転）による七つのフレームのカタログ
- [AI研究のスキマ、再訪：対称性完成型と被覆型を選り分け、内生的スケール則を掘り当てる](https://jamjet-iqbal.com/notes/ai-research-gaps-revisited/) — 第二の道具（A–G 運用シート）による選別と、内生的スケール則の生成
- [AI研究のスキマ、四たび：反転族の外から見る](https://jamjet-iqbal.com/notes/ai-research-gaps-method-pluralism/) — 三つの生成器を「二項反転の一族」と見立て、族の外の手法（GMA、TRIZ、PSM、Cynefin）で読み直した続編
- [能力はモデルの中にあるのか：AI評価の関係論的存在論と文脈依存性の検定](https://jamjet-iqbal.com/notes/ai-capability-relational-ontology/) — シートの全項目が埋まった最強候補の単独深掘り

## 参照文献

方法の出典、および盤面の記述の証拠として実在を確認した文献を DOI/URL つきで示す。
盤面の証拠のうち姉妹ノートから引き継いだものは、姉妹ノートでの確認状態（一部 `[要一次検証]` つき）をそのまま引き継ぐ。

### 方法（Problem Definition、problematization、批判的技術実践）

- Alvesson, M. & Sandberg, J. (2011). Generating Research Questions Through Problematization. *Academy of Management Review* 36(2):247–271. https://doi.org/10.5465/amr.2009.0188
- Sandberg, J. & Alvesson, M. (2011). Ways of constructing research questions: gap-spotting or problematization? *Organization* 18(1):23–44. https://doi.org/10.1177/1350508410372151
- Agre, P. E. (1997). Toward a critical technical practice: Lessons learned in trying to reform AI. In G. C. Bowker, S. L. Star, W. Turner & L. Gasser (Eds.), *Social Science, Technical Systems, and Cooperative Work: Beyond the Great Divide* (pp. 131–157). Lawrence Erlbaum Associates. https://pages.gseis.ucla.edu/faculty/agre/critical.html
- Dorst, K. (2011). The Core of 'Design Thinking' and Its Application. *Design Studies* 32(6):521–532. https://doi.org/10.1016/j.destud.2011.07.006
- Dorst, K. (2015). *Frame Innovation: Create New Thinking by Design*. MIT Press. ISBN 9780262324311.
- Kuhn, T. S. (1962). *The Structure of Scientific Revolutions*. University of Chicago Press. ISBN 0-226-45808-3.

### 盤面の記述の証拠

- Birhane, A., Kalluri, P., Card, D., Agnew, W., Dotan, R., Bao, M. (2022). The Values Encoded in Machine Learning Research. *FAccT '22*. https://doi.org/10.1145/3531146.3533083
- Raji, I. D., Bender, E. M., Paullada, A., Denton, E., Hanna, A. (2021). AI and the Everything in the Whole Wide World Benchmark. *NeurIPS 2021 D&B*. https://arxiv.org/abs/2111.15366
- Wagstaff, K. L. (2012). Machine Learning that Matters. *ICML 2012*. https://arxiv.org/abs/1206.4656
- Koch, B., Denton, E., Hanna, A., Foster, J. G. (2021). Reduced, Reused and Recycled: The Life of a Dataset in Machine Learning Research. *NeurIPS 2021 D&B*. https://arxiv.org/abs/2112.01716（定量値は `[要一次検証]`）
- Messeri, L. & Crockett, M. J. (2024). Artificial intelligence and illusions of understanding in scientific research. *Nature* 627(8002):49–58. https://doi.org/10.1038/s41586-024-07146-0
- Kapoor, S. & Narayanan, A. (2023). Leakage and the reproducibility crisis in machine-learning-based science. *Patterns* 4(9):100804. https://doi.org/10.1016/j.patter.2023.100804
- Pineau, J. et al. (2021). Improving Reproducibility in Machine Learning Research. *JMLR* 22(164):1–20. https://www.jmlr.org/papers/v22/20-303.html
- ICBINB ("I Can't Believe It's Not Better!") NeurIPS Workshop (2020, 2021, 2023). https://proceedings.mlr.press/v137/

### スケール則と生成物の還流（内生的スケール則との収束確認）

- Shumailov, I. et al. (2024). AI models collapse when trained on recursively generated data. *Nature* 631(8022):755–759. https://doi.org/10.1038/s41586-024-07566-y
- Dohmatob, E., Feng, Y., Yang, P., Charton, F., Kempe, J. (2024). A Tale of Tails: Model Collapse as a Change of Scaling Laws. *ICML 2024*. *arXiv:2402.07043*. https://arxiv.org/abs/2402.07043
- Gerstgrasser, M. et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. *arXiv:2404.01413*. https://arxiv.org/abs/2404.01413

### 未検証事項（`[要一次検証]`）

- 第一のRQ候補（ベンチマークの権限の来歴）について、ベンチマークの社会学やメタサイエンス側の先行研究の被覆範囲。
- 第二のRQ候補（記録制度による探索の選別）について、出版バイアスと否定的結果の既存研究との重複範囲。
- Koch et al. (2021) の定量値（少数機関への使用集中の程度）。姉妹ノートの確認状態を引き継ぐ。