Notes ・ updated 2026-07-20
自分の作った地図を、精緻化した規律で測り直す
方法を鍛えたら、まず自分の過去の産物にそれを向ける。
姉妹ノート ai-research-gaps-abduction は、AI研究の未踏領域を、前提を反転させる七つのフレームで探した。 あのカタログは、ド・ブロイの対称性完成という発見法の、最初の粗い適用だった。 片側だけ認められている非対称を反転し、閉じられていない反対側にスキマを見る。 手つきは一つでも、七つのフレームは強さも種類もそろっていなかった。
そこで本ノートは、同じ発見法を運用シートへ落とし込み、その規律で前回のカタログを再訪する。 運用シートは、一つの盲点候補を A から G の七項目で書き切ることを求める。 Aは反転する常識、Bはモデルと測定のどちらを主語に置くかの入替、Cは異分野からの構造対応の元となる対(粒子と波のような)、Dはその構造対応をカテゴリを越えて一対一で書けるか、Eは反転が予測する経験的条件、Fは反証を与える検定、Gは非古典性や臨界を示す最小の観測量である。 七項目が全部埋まる候補ほど、対称性完成型の盲点として強い。 埋まらない項目があれば、その候補は別種の課題として降格する。
規律で測り直すと、カタログは三つに分かれる。 全項目が埋まる最強の一つ、対称性完成型で生き残る数個、そして対称性テストに落ちて降格する数個である。 降格は失格ではない。 公正や被覆の正当な課題ではあるが、対称性を反転して閉じる型の盲点ではない、という種別の確定である。 そのうえで、規律は新しい盲点を一つ生成する。
この再訪も仮説であって、確証ではない。 選別も生成も、著者の視座が照らせた範囲の判断にすぎない。
反転する常識を、まず並べて書き出す(運用シートA)
規律の最初の項目は、反転する常識を明示することだった。 AI研究が測定装置ごと身にまとっている前提を、疑わずに並べる。
- モデルは能力をもち、評価はそれを外から測るだけである。
- データからモデルが生じるのは一方向で、モデルがデータを作り返すことは無視してよい。
- 研究者はAIの系の外に立つ中立な観察者である。
- 評価は一時点のスナップショットで足りる。
- モデルは個体として、一人のユーザーと一つのタスクで孤立して評価できる。
- 分野は成功と SOTA を出版し、失敗と非知は副次である。
- 評価に立ち会うユーザーは、識字済みの標準的な成人である。
- 知識は英語圏と西洋を中心に組み立てられ、そこで通用する概念は普遍である。
- 学習(訓練)と推論(テスト)は、別の過程である。
- スケール則は、入力(データとパラメータ)から性能への外生固定分布の上の単調写像である。
十個ある。 どれも装置の設計仕様に刻まれていて、装置の内側からは問いにくい。 規律は、この一覧の各項目に対して B から G を埋めにいく。 埋まり方で、盲点の種別が決まる。
全項目が埋まる、ただ一つの最強候補(第1群)
シートが完全に埋まる候補は、前回のカタログに一つだけあった。
能力の関係論的存在論である(詳細は ai-capability-relational-ontology)。 A(反転する常識)は「モデルは能力をもち評価は測るだけ」。 B(入替)は、モデルの重みと測定文脈を、内在と外来に切り分ける非対称の反転である。 どちらも出力を条件づける入力なのだから、重みだけを能力の在処と特権化する根拠はない。 C(構造対応の対)は、古典物理の粒子と量子の波、そして能力と誘発文脈である。 D(カテゴリ越境の一対一対応)は、古典測定と量子測定の構造対応として書ける。 古典測定は各対象に確定した真値を仮定し、量子測定は両立しない文脈にまたがる相関を単一の値割当で辻褄合わせできない。 能力測定をこの構造に写すと、真値を仮定する評価観と、文脈が能力を共構成する評価観の対比が、一対一に対応する。 E(経験的条件)は、両立しない誘発文脈(プロンプト設計、順序、足場)にまたがると能力割当が非古典になる、という予測である。 F(反証を与える検定)は、能力測定における非古典的な文脈依存性(contextuality)の検定である。 G(最小の観測量)は、不両立文脈にまたがる相関の非古典性、すなわち単一の確定的な能力割当では再現できない構造の度合いである。
A から G が全部埋まる候補は、前回のカタログではこれだけだった。 [証拠水準:著者の推定]
だからこの一つは、続編で単独に深掘りする対象になった。
本ノートの仕事は、残りをこの基準で選り分けることである。
対称性完成型で生き残る四つ(第2群)
シートが全部は埋まらないが、B と C の反転が明瞭で、対称性完成型として立つ候補が四つある。 どれも短く、生き残る理由だけを書く。
第一に、時間地平である。
A は「評価はスナップショットで足りる」。
反転すると、AI は月から年の単位で人間と制度に住みつき、両者が互いを作り替える。
F(検定)は、能力そのものの縦断的な drift を測ることになる。
生成物が将来の訓練に還流すると分布の裾が消えて多様性が不可逆に劣化する model collapse は、この drift の系レベルの一形態として、すでに実測されている1。
時間地平は、静的と持続の非対称を反転する型として生き残る。 [証拠水準:状況証拠]
第二に、研究の再帰性である。
A は「研究者は系の外の観察者」。
反転すると、観察の道具(着想、レビュー、査読を担う LLM)が観察対象と同じ素材でできている。
観察者と被観察者の非対称を反転する型で、これも生き残る。 [証拠水準:著者の推定]
第三に、生態としてのAIである。
A は「モデルは個体として評価できる」。
反転すると、多数のモデルと人間と制度が一つの系をなす。
個体と生態系の非対称を反転する型である。 [証拠水準:著者の推定]
第四に、学習と推論の二重性である。
A は「訓練とテストは別の過程」。
反転の足場は既にある。
文脈内学習が forward pass のなかで勾配降下と機構的に等価だという結果が、複数の研究で示されている2。
機構が同じでも、train と test の切れ目が存在論的に同じものだという主張は別で、そこがまだ踏まれていない。
train と test の切れ目はフレーム依存の人工物だ、という反転が、対称性完成型として立つ。 [証拠水準:著者の推定]
対称性テストに落ちて降格する二つ(第3群)
ここが、この再訪の最大の追加である。 前回のカタログに入れた候補のうち二つは、規律の D で落ちる。 有効な課題ではあるが、対称性完成型の盲点ではない。 正直に降格し、その理由を書き残す。
一つめは、認知多様性ユーザーと非西洋認識論である。
前回はこれを、既定ユーザーの符号化を反転するフレームとして立てた。
だが D(カテゴリを越えた構造対応の一対一対応)を書こうとすると、対応が書けない。
関係論的存在論では、粒子の性質が波の性質へ「転位」するように、内在する能力が関係へ転位した。
性質そのものが場所を移す構造対応だった。
認知多様性と非西洋認識論の課題は、これと形が違う。
標準的成人や英語圏を既定に置いた評価を、非標準の認知や非西洋の認識論へ広げるのは、能力の在処を転位させる操作ではない。
既定の標本や被覆を広げる操作である。
性質の転位ではなく被覆の拡張なので、古典と量子のような一対一の構造対応が書けない。
だから対称性完成型の盲点ではない。 [証拠水準:著者の推定]
これは課題の重要性を下げる判断ではない。 既定ユーザーの符号化は大規模に実証された正当な公正の問題であり3、非西洋の倫理枠組みの工学的操作化は現に手薄である。 本ノートが確定するのは種別だけである。 これらは被覆と公正の課題であって、対称性を反転して閉じる型のスキマではない。
二つめは、盲点の自己地図化である。
前回はこれを、分野が自らの陰画を再帰的に地図化するフレームとして立てた。
だが G(非古典性や臨界を示す最小の観測量)が書けない。
分野の盲点を地図化する道具そのものが自らの陰画を持つ、という後退は、反証を与える最小の検定に落ちない。
何を観測すれば「盲点の地図化に成功した」と言えるのかが、定義できない。
G が空欄のまま埋まらないので、これは運用シート上の盲点候補ではなく、メタな反省の課題として降格する。 [証拠水準:著者の推定]
降格した二つに共通するのは、正当な問題でありながら、対称性の反転という一つの発見法の射程の外にある、という点だった。 この選別自体が、前回のカタログに規律が加えた最大のものである。
新しい盲点を生成する:スケール則の開ループ仮定(運用シートで一つ埋め切る)
規律は、既存候補の選別だけでなく、新しい盲点の生成にも使える。 運用シートの十個の常識のうち、最後の一つを埋め切ってみせる。
A(反転する常識)はこうだった。 スケール則は、入力(データとパラメータ)から性能への、外生固定分布の上の単調写像である。 モデルは所与のデータ分布から学ぶのであって、モデルがそのデータ分布を作り返すことはない、という一方向を暗黙に置く。
B(入替)は、この一方向の原因と結果を入れ替える操作である。 「A は B の結果」を「A は B の条件」に反転する。 常識では、能力はデータの結果だった。 反転すると、能力の産出物が将来のデータを生む条件になる。 モデルが生成した文章や画像が公開され、次世代の訓練コーパスに無視できない割合で混じるなら、能力の出力が入力分布を書き換える。 入力から性能への開いた矢印が、性能から入力へ折り返して閉じる。 外生固定の分布が、内生可動の分布になる。
C(構造対応の対)と D(カテゴリ越境の一対一対応)を、二つの異分野から借りる。
借り先の妥当性は、Gentner の構造対応理論が保証する。
アナロジーは表層の属性ではなく、関係の体系(systematicity)を写すときにだけ有効だ、という基準である4。
一つめの借り先は、進化生物学のニッチ構築である。
生物が環境を改変し、その改変が自らと子孫の選択圧を変える、という有機体と環境の相互構成を、Odling-Smee, Laland, Feldman が進化の一過程として定式化した5。
関係の体系の対応はこうなる。
元の枠組みでは、入力は外生のデータ、出力は能力、分布は固定である。
反転後は、条件が能力、産物がデータ、分布が内生可動になる。
生物がニッチを作り返すように、モデルがデータ環境を作り返す。
二つめの借り先は、制御工学の正帰還ループである。
出力が入力へ同符号で戻ると、系は固定点から離れて発散または不安定化する。
能力の出力がデータ入力へ戻り、その入力が次の能力を条件づける環は、開ループの単調写像ではなく、正帰還を含む閉ループ系として書ける。
どちらの対応も、表層ではなく関係の体系のレベルで一対一に写る。 [証拠水準:著者の推定]
E(経験的条件)は、反転が破れを予測する条件を名指す。 AI 生成物が訓練分布の無視できない割合を占め、後続世代がそれを摂取する条件で、外生性の仮定が破れる。 この条件自体は既に観測されている。 生成モデルが自らの出力を摂取し続ける自己消費ループが品質と多様性を劣化させる MAD(model autophagy disorder)は、画像生成で実証された6。
F(反証を与える検定)は、内生的スケール則が古典的スケール則と分岐する点を突く。 外生固定分布を仮定する古典的スケール則は、生成物比率が上がってもデータ量さえ増やせば性能が単調に伸びる、と予測する。 内生的スケール則は、生成物比率という内生変数がある閾値を超えると係数が変わり単調性が崩れる、と予測する。 だから、生成物比率を上げてもスケール則の係数と能力が不変にとどまるなら、内生的スケール則は棄却される。
G(臨界を示す最小の観測量)は、この分岐の臨界点である。
片側の兆候は既にある。
分布を置換する再帰では collapse が起きる1。
反例も既にある。
生成物を実データに置換せず累積すれば collapse は回避され、テスト誤差は反復回数によらず有限の上界を持つ7。
置換なら崩れ、累積なら崩れないのだから、崩れる領域と崩れない領域のあいだに臨界がある。
最小の観測量は、この二領域を分ける生成物比率の閾値、そこでスケール係数が折れる点である。 [証拠水準:状況証拠]
十個の常識の最後の一つが、A から G で埋まった。 これが、規律が新しく生成した盲点である。
新規性はどこにあり、どこにないのか
生成した盲点が魅力的に見えるときほど、既出との境界を厳密に引かねばならない。 ここは特に慎重を要する。 スケール則と合成データの交差は、近年きわめて活発に研究されているからだ。
model collapse は既出である(前掲1)。 自己消費ループと MAD も既出である(前掲6)。 累積による回避も既出である(前掲7)。 そして最も近いのが、スケール則そのものを合成データのもとで書き換えた研究群である。 Dohmatob らは、合成データが訓練コーパスに入るとスケール則が劣化し、世代とともに係数が変わることを定式化した8。 続く研究で、合成データの割合がごく小さくても collapse が起き、データ量を増やしても性能が伸びない強い collapse を、スケール則のパラダイム内で示した9。 つまり「合成データ比率を変数とするスケール則」は、すでに書かれている。 ニッチ構築の比喩も、AI とデータ環境の共進化を語る文脈に散在する。
だから、新規は次の一点だけに厳密に限定する。
Dohmatob らのスケール則では、合成データの割合は外から与える混合パラメータである。
実験者が「合成を何割混ぜるか」を外生的に設定し、その各設定でスケール則がどう変わるかを測る。
比率は、開いた矢印の入力側にとどまっている。
残る新規は、この比率を外から与える混合パラメータではなく、モデル自身の能力の産出物が生む内生の状態変数として扱い、能力からデータへ、データから次の能力へ折り返す環を閉じて書く一点である。
外生性の仮定そのものを反転の対象にし、スケール則の入力分布を能力の関数として内生化する。
比率を実験者のつまみから系の状態変数へ移すこの一歩が、開ループと閉ループの違いに対応する。
「合成データ比率を変数とするスケール則」から「比率を能力が内生的に駆動する閉ループのスケール則」への移設だけが、まだ埋められていない片側である。 [証拠水準:著者の推定]
「内生的スケール則」という語が既に命名されていないかは確認した。 確立した術語としては見つからないが、命名が空いていることと、下にある動態が未踏であることは別である。 だから新規性を語の有無に置かない。 下にある動態のうち、外生性の反転と閉ループ化の一歩だけを新規とし、それ以外(collapse、比率依存のスケール則、累積回避)はすべて既出として前景化する。
この一点も、確証された事実ではない。
生成物比率を系の状態変数として明示的に駆動し、係数の折れる臨界を測る確証実験を待つ、反証可能な仮説である。 [証拠水準:著者の推定]
規律を自らに向けることの限界
この再訪が加えたものは三つあった。 第1群と第2群を第3群から選り分けたこと、降格の理由を種別として確定したこと、そして十個目の常識から内生的スケール則という盲点を生成したことである。 選別は反証可能性を上げ、生成は新しい検定を一つ足した。
だが、規律を自らの過去の産物に向けるこの手つきにも、閉じない片側が残る。 運用シートの A から G という七項目の分節そのものが、著者の視座が選んだ枠である。 別の分節を選べば、第3群に落とした候補が生き残り、生き残った候補が落ちるかもしれない。 規律で測る道具は、まさにその規律自身の分節を測れない。
だから閉じずに一つ問いを残す。 内生的スケール則の臨界が実測され、係数の折れる比率が見つかったとして、その臨界は固定した定数なのか、それとも系がニッチを作り替えるたびに動く可動点なのか。 ニッチ構築の対応が字義どおりなら、閾値そのものが能力の産物によって動くはずだ。 臨界が動くなら、それを測る検定もまた、測るそばから対象を変えてしまう。 この自己言及がどこで止まるのか、あるいは止まらないのかは、本ノートの手には負えない。
関連ノート
- ai-research-gaps-abduction — 本ノートが再訪する、七つのフレームのカタログ
- ai-capability-relational-ontology — 全項目が埋まる第1群の候補を、ド・ブロイ的な対称性完成で単独に深掘りした続編
参照文献
方法の出典、および各主張の証拠として実在を確認した文献を DOI/URL つきで示す。
書誌の一部が未確定または本文到達が未達のものには [要一次検証] を付す。
方法(対称性完成と構造対応という発見法)
- de Broglie, L. (1924). Recherches sur la théorie des quanta. 博士論文、パリ大学。(原論文PDFへの直接到達は
[要一次検証]、構図と提出日は複数二次源で確認) - Davisson, C. & Germer, L. H. (1927). The Diffraction of Electrons by a Crystal of Nickel. Physical Review 30(6):705–740. https://doi.org/10.1103/PhysRev.30.705
- Stanford Encyclopedia of Philosophy. Symmetry and Symmetry Breaking. https://plato.stanford.edu/entries/symmetry-breaking/
- Gentner, D. (1983). Structure-Mapping: A Theoretical Framework for Analogy. Cognitive Science 7(2):155–170. https://doi.org/10.1207/s15516709cog0702_3
- Popper, K. (1959). The Logic of Scientific Discovery. Hutchinson.(反証可能性を科学の境界基準とする。1934年独語版 Logik der Forschung の英訳)
選別された既存候補(第2群と第3群)
- Shumailov, I. et al. (2024). AI models collapse when trained on recursively generated data. Nature 631(8022):755–759. https://doi.org/10.1038/s41586-024-07566-y
- von Oswald, J. et al. (2023). Transformers Learn In-Context by Gradient Descent. arXiv:2212.07677. https://arxiv.org/abs/2212.07677
- Garg, S. et al. (2022). What Can Transformers Learn In-Context? arXiv:2208.01066. https://arxiv.org/abs/2208.01066
- Septiandri, A. A., Constantinides, M., Tahaei, M., Quercia, D. (2023). WEIRD FAccTs. ACM FAccT 2023. https://arxiv.org/abs/2305.06415
生成した盲点(内生的スケール則)と既出との境界
- Odling-Smee, F. J., Laland, K. N., Feldman, M. W. (2003). Niche Construction: The Neglected Process in Evolution. Princeton University Press (Monographs in Population Biology 37). ISBN 9780691044378.
- Alemohammad, S. et al. (2023). Self-Consuming Generative Models Go MAD. arXiv:2307.01850(ICLR 2024). https://arxiv.org/abs/2307.01850
- Gerstgrasser, M. et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv:2404.01413. https://arxiv.org/abs/2404.01413
- Dohmatob, E., Feng, Y., Yang, P., Charton, F., Kempe, J. (2024). A Tale of Tails: Model Collapse as a Change of Scaling Laws. ICML 2024. arXiv:2402.07043. https://arxiv.org/abs/2402.07043
- Dohmatob, E., Feng, Y., Subramonian, A., Kempe, J. (2024). Strong Model Collapse. arXiv:2410.04840. https://arxiv.org/abs/2410.04840
未検証事項([要一次検証])
本文および参照文献で書誌が未確定、または本文への到達が未達のものを集約する。
- de Broglie (1924) 原論文PDFへの直接到達(構図と提出日は複数二次源で一貫確認)。
- Gentner (1983) の本文(DOI 10.1207/s15516709cog0702_3 と書誌は複数二次源で一致、出版社版本文はペイウォール、著者所属のPDFは 403)。
- Odling-Smee et al. (2003) の本文詳細(書誌 ISBN は複数二次源で一致、原著本文には未到達)。
Footnotes
-
Shumailov, I. et al. (2024). AI models collapse when trained on recursively generated data. Nature 631(8022):755–759. https://doi.org/10.1038/s41586-024-07566-y 生成物の再帰的還流で分布の裾が消え多様性が不可逆に劣化することを実証。 ↩ ↩2 ↩3
-
von Oswald, J. et al. (2023). Transformers Learn In-Context by Gradient Descent. arXiv:2212.07677. https://arxiv.org/abs/2212.07677 / Garg, S. et al. (2022). What Can Transformers Learn In-Context? arXiv:2208.01066. https://arxiv.org/abs/2208.01066 文脈内学習が forward pass 内の勾配降下と機構的に等価であることの議論。 ↩
-
Septiandri, A. A. et al. (2023). WEIRD FAccTs: How Western, Educated, Industrialized, Rich, and Democratic is FAccT? ACM FAccT 2023. https://arxiv.org/abs/2305.06415 公正研究の人間被験者研究の大半が西洋、特に米国の参加者に依存することを実証。 ↩
-
Gentner, D. (1983). Structure-Mapping: A Theoretical Framework for Analogy. Cognitive Science 7(2):155–170. https://doi.org/10.1207/s15516709cog0702_3 アナロジーが表層属性でなく関係の体系(systematicity)を写すときに有効だとする構造対応理論。 ↩
-
Odling-Smee, F. J., Laland, K. N., Feldman, M. W. (2003). Niche Construction: The Neglected Process in Evolution. Princeton University Press (Monographs in Population Biology 37). ISBN 9780691044378. 有機体が環境を改変し選択圧を変える相互構成を進化の一過程として定式化。 ↩
-
Alemohammad, S. et al. (2023). Self-Consuming Generative Models Go MAD. arXiv:2307.01850(ICLR 2024). https://arxiv.org/abs/2307.01850 生成物を再摂取する自己消費ループが品質か多様性を劣化させる(MAD)ことを画像生成で実証。 ↩ ↩2
-
Gerstgrasser, M. et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv:2404.01413. https://arxiv.org/abs/2404.01413 合成データを実データに置換せず累積すれば collapse を回避しテスト誤差が反復回数によらず有限の上界を持つことを証明。 ↩ ↩2
-
Dohmatob, E., Feng, Y., Yang, P., Charton, F., Kempe, J. (2024). A Tale of Tails: Model Collapse as a Change of Scaling Laws. ICML 2024. arXiv:2402.07043. https://arxiv.org/abs/2402.07043 合成データが混入するとスケール則が劣化し世代とともに係数が変わることを定式化。 ↩
-
Dohmatob, E., Feng, Y., Subramonian, A., Kempe, J. (2024). Strong Model Collapse. arXiv:2410.04840. https://arxiv.org/abs/2410.04840 合成データ比率がごく小さくても collapse が起きデータ量増加が性能を伸ばさないことをスケール則のパラダイム内で示す。 ↩