Shuichiro Ogawa
English

Notes ・ updated 2026-07-20

同じ対象へ三たび戻る

同じ対象に三度目に戻るのは、対象が変わったからではなく、道具が変わったからである。

ai-research-gaps-abduction は、AI研究の自明な前提を一つずつ反転し、七つのフレームでスキマを探した。 ai-research-gaps-revisited は、その反転を A から G の運用シートに落とし、七つを対称性完成型とそれ以外に選り分けた。 どちらの道具も、「どの前提を反転するか」を出発点に置いていた。

今回の道具は、出発点が違う。 問うのは、そもそも何が「スキマ」として数えられてきたか、それを決めている盤面は何か、である。 problem-definition-metagame が整理した Problem Definition の型集は、前提の反転ではなく、領域が暗黙に固定している認定の体系（何を現象とみなし、何を単位とし、何を成功の証拠とし、どこを終点とするか）の書き換えを操作の単位にする。 問いの立て方の研究では、文献の空白を埋める gap-spotting と、前提そのものに挑む problematization が区別されてきた12。 姉妹ノート二本は後者を実演したが、その実演自身がどんな認定基準の上に立っていたかは、まだ問うていなかった。 この生成器で同じ対象を読み直すと、前の二本が見せなかったものが三つ見える。 七つのフレームの正体、降格された二候補の再審、そして生成器そのものの分業である。

AI研究のゲーム盤を書き出す（Step 1）

生成プロトコルの最初の仕事は、盤面を疑わずに書き写すことである。 AI研究の盤面は、出典で裏の取れる範囲で、次のように書ける。

  • 目的と成功の認定：最頻の価値は性能、汎化、定量的証拠、効率、新規性である。高被引用ML論文100本の価値分析で、社会的必要との接続を正当化する論文は15%、負の潜在影響を論じる論文は1%だった3。
  • 測るもの：少数の「general」ベンチマークが汎用能力の代理として神聖視されるが、その枠づけは construct validity を欠く4。測れるものだけを見る傾向は、分野の内側から古くから警告されてきた5。
  • 比較の単位：一つのモデル、一人のユーザー、一つのタスク、一時点。使われるデータセット自体も、少数のエリート機関発のものに集中している6。
  • 終点：テスト時点。配備後の時間経過は評価の外にある。
  • 観測位置：系の外に立つ研究者。LLM が文献レビューや査読を担い、道具が研究過程の内側に入り込んでも、この想定は保たれたままである7。
  • ノイズ：否定的結果と失敗。受け皿は本会議トラックではなく散発的なワークショップにとどまり8、data leakage のような失敗様態の体系化は例外に属する910。
  • 記録制度：論文とリーダーボードが分野の記憶であり、そこに載らない探索は残らない。

この盤面の証拠は、姉妹ノートが使ったものと同じである。 違いは並べ方にある。 前の二本はこれらを「反転すべき前提」として読んだが、ここでは「盤面の定数」として読む。 定数として並べると、次の手（何が盤外にあるか）が機械的に打てるようになる。

盤外に押し出されたものと、最も不自然な非対称（Step 2 と Step 3）

盤面の各項には、対になる盤外がある。 失敗した実験、採用されなかった設計、否定的結果、配備後の劣化と適応、評価装置自身の来歴、モデル生成物のデータへの還流、ベンチマークに載らない能力。 どれも観測不能だから捨てられたのではない。 盤面の認定基準が「数えないもの」に分類したから、記録されずにいる。

この盤外リストから、最も不自然な非対称を三つ選ぶ。

第一に、モデルの成功は記録されるが、失敗した探索は記録されない。 出版文化の値づけが性能と新規性に偏っていること3と、否定的結果の受け皿が周縁にとどまること8が、この非対称の制度的な支えである。

第二に、モデルは評価されるが、評価装置を成功確定装置として認定する制度は評価されない。 ベンチマークの妥当性への批判は存在する4。 だが、ある尺度がいつどのようにして成功確定の権限を獲得し、いつ失うのかという権限の来歴そのものを説明対象にした研究は、批判とは別の仕事である。

第三に、訓練データは測られるが、モデル出力がデータへ還流する経路は評価の単位に入らない。 還流の帰結（model collapse）は実証されている11のに、還流の経路自体は依然として盤外にある。

七つのフレームは、盤面のどの操作だったか

盤面の語彙が手に入ると、姉妹ノートの七つのフレームを別の解像度で言い直せる。 それぞれのフレームは、盤面のどの項を書き換える操作だったのか。

フレーム盤面の操作
1 時間地平時間幅と終点の変更
2 研究の再帰性観測位置の変更（研究者を盤上に載せる）
3 生態としてのAI比較単位の変更（個体から系へ）
4 非知の非対称ノイズの再認定（失敗を診断装置へ）
5 認知多様性正当な観測位置と成功認定の変更（誰の視点か）
6 認識論の一元性成功確定装置の文化的来歴を問う
7 盲点の自己地図化記録制度そのものの対象化

七つすべてが、メタ変換表のいずれかの行に落ちる。 つまり二つの生成器は別物ではない。 対称性の反転は、盤面の一項（非対称に置かれた二項）に特化した書き換えであり、Problem Definition はその上位の操作族にあたる。 AI という分野自身の問題設定が技術的実践に埋め込まれた前提に縛られている、という指摘は、分野の内側からも早くからあった12。 七つのフレームは、その指摘を個別の盤面操作として実行したものだと言える。

ただし、上位であることは強いことを意味しない。 反転には D と G（カテゴリを越えた構造対応と、最小の観測量）という検収基準が付いていた。 盤面の書き換えそのものには、検収基準がない。 この差が、次の再審で効いてくる。

降格された二候補を、盤面の語彙で再審する

再訪ノートは、認知多様性と非西洋認識論（フレーム5と6）を「性質の転位ではなく被覆の拡張」として、盲点の自己地図化（フレーム7）を「G の観測量が書けない」として降格した。 種別の確定としては、この判定はいまも維持できる。 被覆の拡張は対称性完成ではないし、観測量を書けない候補は反証可能な仮説にならない。

だが、盤面の語彙で言い直すと、降格の意味が一段はっきりする。 A–G シートは、反証可能性と最小観測量を「盲点」の成功確定装置に据えていた。 つまりシート自身が一つのゲーム盤であり、G を書けるものだけを「数えられる盲点」として認定していた。 落ちた二候補が落ちたのは、問いとして弱いからではなく、あのシートの認定基準に適合しなかったからである。 フレーム5と6は、「誰の視点を正当な観測位置とみなすか」という盤面書き換えとして正当に強い。 フレーム7は、「記録制度そのものを対象化する」書き換えとして正当に強い。 再訪ノートの判定に、この一行を追記するのが再審の結論になる。 対称性完成型の盲点ではない、は維持する。 そのうえで、Problem Definition の別の型としては強い問いである、を加える。

この再審は、再訪ノートの選別を覆さない。 選別の装置が何を数え、何を数えないかを、装置の外から明示しただけである。 装置の外に立てるのは、今回の生成器が「成功確定装置を問う」型（型2）を持っているからであり、その型を A–G シート自身に適用した結果がこの節である。

変換表を当てると、同じ穴に出る

生成器が違えば違う穴が開くはずだ、という疑いには、逆向きの証拠が一つある。

メタ変換表の三つの行、「時点評価 → 時間的連鎖」「データ → データを生成した記録制度」「ゲーム内行動 → ゲーム成立条件」を、スケール則の研究に当ててみる。 スケール則は、各スケールでの一時点の性能測定を単位とし、訓練データを所与とみなし、データがどこから来るかを盤外に置いてきた。 三行の変換はどれも、モデルの出力が次のデータを生む経路を盤上に載せろ、と告げる。 これは、再訪ノートが対称性反転で掘り当てた内生的スケール則（入力分布の外生性を反転し、生成物比率を内生の状態変数として閉ループを書く）と同じ場所である。 合成データ比率を外生の混合パラメータとして扱うスケール則の研究13と、還流の帰結の実証11と反例14が既出であり、残る空隙が比率の内生化の一点にあることも、再訪ノートの限定と一致する。

独立な二つの生成器が同じ空隙へ収束した。 これは、その空隙が生成器の癖が作った人工物ではないことの、弱いが無視できない証拠になる。 弱い、と言うのは、二つの生成器を回したのが同じ著者であり、視座の共有を排除できないからである。

新しい問題文を二つ生成する（Step 4 と Step 5）

盤面の非対称は、確認だけで終わらせず問題文へ変換する。 形式は決まっている。 既存研究はXを前提としてYを説明してきた。しかし、その前提ではZを識別できない。 以下の二つは、この形式で盤面の非対称から機械的に生成した候補であり、先行研究の被覆をこのノートでは確認していない。 確認済みのスキマではなく、次の収集で検証すべきスキマ候補として置く。

第一の問題文は、第二の非対称（評価装置は評価されない）から出る。

既存研究はベンチマーク成績を能力の証拠として前提し、モデル間の優劣を説明してきた。しかし、その前提では、ある尺度が成功を確定する権限をいつ獲得し、いつ失うのかを識別できない。

RQ：ベンチマークが成功確定装置としての権限を獲得し、更新され、放棄される過程は、どの記録（リーダーボードの採用と廃止、論文の引用、企業の採用基準）によって再構成できるか。 ベンチマークの来歴を対象にしたメタサイエンス研究がどの程度存在するかは未確認である。 [要一次検証]

第二の問題文は、第一の非対称（失敗した探索は記録されない）から出る。

既存研究は公開された成功（論文、モデル、リーダーボード登録）を分野の産出として前提し、進捗を説明してきた。しかし、その前提では、棄却された探索がどこで捨てられ、分野が何を学び損ねたかを識別できない。

RQ：分野の記録制度は、どの探索を可視化し、どの探索を不可視化するか。その選別は、何をノイズとして捨てる規約に依存しているか。 出版バイアスと否定的結果の研究（フレーム4の証拠群）との重複範囲は未確認である。 [要一次検証]

二つの候補はフレーム4と7の言い直しに見えるかもしれない。 だが違いは単位にある。 フレーム4は非知の体系化の不在を、フレーム7は自己地図化の方法の不在を指した。 ここでの二つは、モデルでも方法でもなく、認定と記録の制度そのものを説明対象に据える。 変換表の「データ → データを生成した記録制度」「主体 → 主体を形成する装置」の行が、単位のこの移動を駆動している。

生成器の分業

三本のノートの道具は、役割が違う。

Problem Definition の型集は、問いを生成する。 生成は速く、盤面さえ書ければ機械的に候補が出る。 だが、出てきた候補の強さを保証する基準を持たない。 A–G の運用シートは、問いを検収する。 検収は厳しく、通った候補は反証可能な仮説になる。 だが、G を書けない型の問い（被覆、公正、制度の来歴）を数えられない。

だから分業になる。 盤面の書き換えで問いを作り、対称性完成型に落ちる候補はシートで反証可能性まで落とし込む。 シートに載らない型の候補には、その型に固有の検収基準（史料への到達可能性、制度データからの再構成可能性など）を別途立てる。 検収を欠いた生成は候補の量産に流れ、生成を欠いた検収は空転する。

残る開いた問いは、検収装置の側にある。 対称性完成型には F と G があった。 制度の来歴を問う型の問いに、同じ強さの反証条件を与える装置は何か。 それが立たない限り、この第三の生成器で作った問いは、強く見えて検収できない候補のまま積み上がる。 その装置の設計は、次の収集と検討に残す。

関連ノート

参照文献

方法の出典、および盤面の記述の証拠として実在を確認した文献を DOI/URL つきで示す。 盤面の証拠のうち姉妹ノートから引き継いだものは、姉妹ノートでの確認状態（一部 [要一次検証] つき）をそのまま引き継ぐ。

方法（Problem Definition、problematization、批判的技術実践）

  • Alvesson, M. & Sandberg, J. (2011). Generating Research Questions Through Problematization. Academy of Management Review 36(2):247–271. https://doi.org/10.5465/amr.2009.0188
  • Sandberg, J. & Alvesson, M. (2011). Ways of constructing research questions: gap-spotting or problematization? Organization 18(1):23–44. https://doi.org/10.1177/1350508410372151
  • Agre, P. E. (1997). Toward a critical technical practice: Lessons learned in trying to reform AI. In G. C. Bowker, S. L. Star, W. Turner & L. Gasser (Eds.), Social Science, Technical Systems, and Cooperative Work: Beyond the Great Divide (pp. 131–157). Lawrence Erlbaum Associates. https://pages.gseis.ucla.edu/faculty/agre/critical.html
  • Dorst, K. (2011). The Core of ‘Design Thinking’ and Its Application. Design Studies 32(6):521–532. https://doi.org/10.1016/j.destud.2011.07.006
  • Dorst, K. (2015). Frame Innovation: Create New Thinking by Design. MIT Press. ISBN 9780262324311.
  • Kuhn, T. S. (1962). The Structure of Scientific Revolutions. University of Chicago Press. ISBN 0-226-45808-3.

盤面の記述の証拠

スケール則と生成物の還流（内生的スケール則との収束確認）

  • Shumailov, I. et al. (2024). AI models collapse when trained on recursively generated data. Nature 631(8022):755–759. https://doi.org/10.1038/s41586-024-07566-y
  • Dohmatob, E., Feng, Y., Yang, P., Charton, F., Kempe, J. (2024). A Tale of Tails: Model Collapse as a Change of Scaling Laws. ICML 2024. arXiv:2402.07043. https://arxiv.org/abs/2402.07043
  • Gerstgrasser, M. et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv:2404.01413. https://arxiv.org/abs/2404.01413

未検証事項（[要一次検証]）

  • 第一のRQ候補（ベンチマークの権限の来歴）について、ベンチマークの社会学やメタサイエンス側の先行研究の被覆範囲。
  • 第二のRQ候補（記録制度による探索の選別）について、出版バイアスと否定的結果の既存研究との重複範囲。
  • Koch et al. (2021) の定量値（少数機関への使用集中の程度）。姉妹ノートの確認状態を引き継ぐ。

Footnotes

  1. Sandberg, J. & Alvesson, M. (2011). Ways of constructing research questions: gap-spotting or problematization? Organization 18(1):23–44. https://doi.org/10.1177/1350508410372151 ↩

  2. Alvesson, M. & Sandberg, J. (2011). Generating Research Questions Through Problematization. Academy of Management Review 36(2):247–271. https://doi.org/10.5465/amr.2009.0188 ↩

  3. Birhane, A., Kalluri, P., Card, D., Agnew, W., Dotan, R., Bao, M. (2022). The Values Encoded in Machine Learning Research. FAccT ‘22. https://doi.org/10.1145/3531146.3533083 ↩ ↩2

  4. Raji, I. D., Bender, E. M., Paullada, A., Denton, E., Hanna, A. (2021). AI and the Everything in the Whole Wide World Benchmark. NeurIPS 2021 D&B. https://arxiv.org/abs/2111.15366 ↩ ↩2

  5. Wagstaff, K. L. (2012). Machine Learning that Matters. ICML 2012. https://arxiv.org/abs/1206.4656 ↩

  6. Koch, B., Denton, E., Hanna, A., Foster, J. G. (2021). Reduced, Reused and Recycled: The Life of a Dataset in Machine Learning Research. NeurIPS 2021 D&B. https://arxiv.org/abs/2112.01716 ↩

  7. Messeri, L. & Crockett, M. J. (2024). Artificial intelligence and illusions of understanding in scientific research. Nature 627(8002):49–58. https://doi.org/10.1038/s41586-024-07146-0 ↩

  8. ICBINB (“I Can’t Believe It’s Not Better!”) NeurIPS Workshop (2020, 2021, 2023). 2020 proceedings: https://proceedings.mlr.press/v137/ ↩ ↩2

  9. Kapoor, S. & Narayanan, A. (2023). Leakage and the reproducibility crisis in machine-learning-based science. Patterns 4(9):100804. https://doi.org/10.1016/j.patter.2023.100804 ↩

  10. Pineau, J. et al. (2021). Improving Reproducibility in Machine Learning Research. JMLR 22(164):1–20. https://www.jmlr.org/papers/v22/20-303.html ↩

  11. Shumailov, I. et al. (2024). AI models collapse when trained on recursively generated data. Nature 631(8022):755–759. https://doi.org/10.1038/s41586-024-07566-y ↩ ↩2

  12. Agre, P. E. (1997). Toward a critical technical practice: Lessons learned in trying to reform AI. In G. C. Bowker, S. L. Star, W. Turner & L. Gasser (Eds.), Social Science, Technical Systems, and Cooperative Work: Beyond the Great Divide (pp. 131–157). Lawrence Erlbaum Associates. 全文: https://pages.gseis.ucla.edu/faculty/agre/critical.html ↩

  13. Dohmatob, E., Feng, Y., Yang, P., Charton, F., Kempe, J. (2024). A Tale of Tails: Model Collapse as a Change of Scaling Laws. ICML 2024. arXiv:2402.07043. https://arxiv.org/abs/2402.07043 ↩

  14. Gerstgrasser, M. et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv:2404.01413. https://arxiv.org/abs/2404.01413 ↩

← Notes 一覧 ・ ホーム