# 認知的降伏：AI に判断を明け渡す現象の系譜、生成 AI による変化、対策の現在 - 著者：小川 修一郎（デザイン研究者／デザインコンサルタント）https://jamjet-iqbal.com/ - 初出：2026-11-05、更新：2026-11-06 - 正規の URL（HTML）：https://jamjet-iqbal.com/notes/cognitive-surrender-literature/ - 英語版：https://jamjet-iqbal.com/en/notes/cognitive-surrender-literature/（Markdown：https://jamjet-iqbal.com/en/notes/cognitive-surrender-literature.md） - 言語：ja - キーワード：cognitive-surrender, automation-bias, complacency, overreliance, appropriate-reliance, cognitive-offloading, deskilling, dual-process, human-ai-interaction, ai-literacy, literature > 認知的降伏（cognitive surrender）は、AI の出力を吟味せずに自分の判断として採り、考えること自体をやめてしまう傾向を指す。Shaw と Nave（2026、査読前）が名づけ、AI が誤ると、相談した試行の 79.8% で人は誤答に従い、正答率は AI なしの 45.8% から 31.5% に下がり、確信はかえって上がった。同じ現象は 1970 年代の航空の事故報告から、自動化への慢心（complacency）と自動化バイアス（automation bias）として研究されてきた。生成 AI は、この問題を専門職の狭い警報から、誰もが使う流暢な言葉の助言へ広げ、誤りに従うだけでなく、学ぶ機会と技能そのものを減らす形に変えた（AI を外した試験で 17% 低下、AI 導入後に AI なしの腺腫検出率が 28.4% から 22.4%）。研究の中心も、人間工学から HCI、学習科学、認知心理学へ移った。対策の証拠は、説明を足すことと一般的な警告が弱く、誤りやすい箇所の局所的な表示、出典と不整合の提示、一人称の不確実性の表明、結果のフィードバックと誘因、AI なしで測る評価が条件つきで効くことを示す。人が先に判断を置く手順は正しい AI への依存まで減らし、AI が反論を返す設計は証拠がまだ少ない。効く設計ほど好まれにくく、考える意欲の高い人に偏って効くという代償が、どの対策にも残っている。 ## AI が間違えると、人は AI がないときより間違える 2026 年 1 月、Wharton の Shaw と Nave は、認知的熟慮テスト（CRT。直観的に浮かぶ誤答を抑えて考え直せるかを測る問題）を改変した課題で、参加者に AI チャットを使わせた。 AI の答えが正しいか誤っているかは、参加者に見えないプロンプトで試行ごとに無作為に決めてあった。 最初の実験（N=359）では、参加者は約半数の試行で AI に相談した（正答の試行で 54.4%、誤答の試行で 52.8%）。 相談した試行で AI に従った割合は、AI が正しいときに 92.7%、誤っているときにも 79.8% だった。 その結果、正答率は AI を使えない条件の 45.8% に対し、AI が正しい試行で 71.0%、誤っている試行で 31.5% になった。 AI が誤ると、人は AI がないときより間違える。 しかも AI を使えた参加者は、使えなかった参加者より自分の答えに確信を持っていた（77.0% 対 65.3%）。 Shaw と Nave は、この型を**認知的降伏**（cognitive surrender）と名づけた。 同じ型の現象は、名前を変えながら 50 年近く研究されてきた。 生成 AI で新しくなったのは現象そのものより、その広がり方と、誤りに従うことの先にある学習と技能への影響である。 ## スコープと方法 収集は mode: academic で、三つのまとまりに分けて行った。 生成 AI 以前の系譜（人間工学、医療情報学、認知心理学、哲学、判断研究）、生成 AI 期の概念と実証（2022 年 11 月以降）、対策の効果の証拠である。 候補 116 件を重複、撤回、訂正、査読の有無で選別し（`source/review/cognitive-surrender/papers.md`）、本ノートではそのうち 64 件を引く。 数値と因果の主張は、すべて本文（取れないものは著者版、受理原稿、要旨）で照合した。 要旨しか取れなかった文献は、要旨の範囲で、著者の主張として書く。 査読前の preprint は本文中で「査読前」と示す。 認知的降伏という語を立てた Shaw と Nave の論文自体が、2026 年 11 月時点で査読前（SSRN と PsyArXiv）である。 ## 認知的降伏とは何を指すか Shaw と Nave は、二重過程理論（速い直観の System 1 と遅い熟慮の System 2）に、三つめの系として **System 3** を加えた。 System 3 は、人の心の外にある、アルゴリズムによる自動化されたデータ駆動の推論であり、人はそれを相談相手として推論に組み込む。 この枠組みを彼らは Tri-System Theory と呼ぶ。 その上で、認知的降伏を次のように定義する。 「System 3 の出力に、判断、努力、責任を委ねる行動上と動機上の傾向。とりわけ出力が流暢に、自信をもって、摩擦なく届くときに起きる」。 定義の要は、委ねる対象が答えだけでなく、判断の責任と考える努力にまで及ぶ点にある。 この語は二つの既存概念と区別されている。 一つは**認知的オフローディング**（cognitive offloading。Risko と Gilbert 2016）で、計算機や GPS のように、特定の作業を道具に戦略的に任せることを指す。 オフローディングでは自分の推論は動いたままで、道具はその推論を助ける。 降伏では、利用者は推論そのものを手放し、AI の答えを自分の答えとして採る。 もう一つは**自動化バイアス**（automation bias）で、自動化された手がかりに頼ることで生じる見落とし（omission）と誤った実行（commission）の誤りを指す。 Shaw と Nave は、自動化バイアスが個々の誤りを扱うのに対し、認知的降伏は認識の依存という広い傾向を扱うとし、降伏した利用者は「System 3 に従うだけでなく、熟慮そのものをやめる」と述べる。 実験では、AI が誤っている試行で AI に従って誤答したら降伏、AI を覆して正答したらオフローディングとして数えた。 三つの実験を合わせると、AI に相談し、かつ AI が誤っていた試行のうち 73.2% が降伏、19.7% がオフローディング、7.1% が AI を覆したのに誤答した試行だった。 降伏しやすさには個人差があり、AI への信頼が高い人ほど誤った AI に従い（オッズ比 3.47）、認知欲求（考えることを好む傾向）と流動性知能が高い人ほど従いにくかった。 同じ「AI に頼る」でも、自分の推論を保ったまま任せるのか、推論ごと明け渡すのかで、帰結が違う。 前者は効率を上げ、後者は AI が誤ったときに人を AI 以下にする。 ## 生成 AI 以前の系譜 ### 航空と人間工学：慢心と自動化バイアス この現象が最初に名前を得たのは航空である。 米国航空宇宙局の航空安全報告制度（ASRS）は、1970 年代から事故報告の分類項目に「慢心（complacency）」を置き、「システムの状態が満足なものだという根拠のない思い込みに基づく自己満足」と定義していた（Parasuraman と Manzey 2010 が Billings ら 1976 を引いて記述）。 Parasuraman、Molloy、Singh（1993）は、これを実験に移した。 40 名が飛行シミュレーションで手動の追跡と燃料管理をこなしながら、自動化された監視系の故障を見つける課題で、自動化の信頼性が一定のときは、信頼性が変動するときより故障の検出が大きく悪かった。 意思決定支援の側では、Mosier と Skitka らが 1990 年代半ばから自動化バイアスを定式化した。 Mosier ら（1998）は、自動化バイアスを「注意深い情報の探索と処理の代わりに、自動化された手がかりを経験則として使うことから生じる、見落としと誤った実行の誤り」と定義し、グラスコックピットの操縦士で調べた。 Parasuraman と Riley（1997）は、自動化への過剰な依存を「誤用（misuse）」と呼び、使わなすぎる「不使用（disuse）」と対にした。 Lee と See（2004）は、人が自動化に適切に頼れないことを問題とし、複雑で予想外の状況では信頼が依存を導くとして、**適切な依存**（appropriate reliance）を設計の目標に据えた。 Parasuraman と Manzey（2010）は、慢心と自動化バイアスを「重なり合う自動化誘発現象の異なる現れ」とし、注意を中心に置いて統合した。 この総説は、自動化バイアスが初心者にも熟練者にも起き、訓練や確認の指示では防げないとまとめている。 この結論は、生成 AI 期の対策の議論にそのまま持ち越される。 ### 医療の意思決定支援 医療では、臨床判断支援システム（CDSS）を対象に同じ現象が調べられた。 Goddard ら（2012）は 13,821 件から 74 件を選んだ系統的レビューで、自動化バイアスの概念は航空で最初に論じられ、医療へ広がったと整理した。 対照のある 4 研究のメタ分析では、CDSS が誤った助言を出したとき、誤った判断の危険は対照群より 26% 高かった（リスク比 1.26）。 緩和策として挙がったのは、訓練、利用者の説明責任の強調、画面上の助言の位置、確信度の更新表示、推奨ではなく情報を出す設計である。 ただしこのレビューは、訓練で減りやすいのは慢心のほうで、自動化バイアスへの効果ははっきりしないこと、説明責任の効果は研究によって食い違うことも記している。 Lyell と Coiera（2017）は、自動化バイアスが課題の認知負荷と結びつくことを見いだし、負荷を下げる方向の対策を候補に挙げた。 画像診断では、助言の中身より「AI からの助言だ」という表示が効く場面がある。 Gaube ら（2021）は、すべて人間の専門家が作った助言の一部に「AI から」と表示して医師に胸部 X 線を読ませた。 放射線科医は AI と表示された助言を低く評価したが、専門でない医師はそうしなかった。 そして誤った助言を受けると、表示された出どころにかかわらず診断の正確さは有意に悪かった。 Dratsch ら（2023）では、27 名の放射線科医がマンモグラフィを読み、AI と称する提案が誤っていると、正しく判定した割合が経験の浅い群で 79.7% から 19.8%、中程度の群で 81.3% から 24.8%、経験の多い群でも 82.3% から 45.5% に下がった。 経験は降伏を弱めるが、防がない。 ### 認知心理学：外に置いた知識と、自分の知識の錯覚 認知心理学の系譜は、外部の道具に記憶や処理を任せることを扱ってきた。 Sparrow ら（2011）は、後で情報にアクセスできると思うと、人は情報そのものより情報の在りかを覚えると報告した（Google 効果）。 ただしこの論文の実験の一つは追試で再現されておらず（Hesselmann 2020）、効果の頑健さには留保が要る。 Fisher ら（2015）は 9 つの実験で、インターネットで説明を検索した人が、情報へのアクセスを自分の理解と取り違え、自分の知識を高く見積もると報告した。 Dahmani と Bohbot（2020）は、GPS を常用する人ほど自力で道を探すときの空間記憶が弱く、3 年後に再検査した 13 名では、その間の GPS 利用が多いほど記憶の低下が急だったと報告した（縦断の標本は小さい）。 これらの研究が示すのは、道具に任せた処理は自分の中に残りにくく、しかも人は残っていないことに気づきにくい、ということである。 Shaw と Nave の実験で、誤った AI に従った後も確信が下がらなかったことは、この系譜の延長にある。 二重過程理論の側では、Frederick（2005）の CRT が、最初に浮かんだ答えを報告せずに考え直す能力や傾向を測る課題として広まった。 Shaw と Nave の課題はこの CRT を改変したもので、AI の答えを、直観と同じ「最初に浮かんだ答え」の位置に置いて、それを覆せるかを見ている。 ### 哲学：拡張された心と認識的警戒 哲学では、道具への依存を一律に悪とはみなさない立場が先にあった。 Clark と Chalmers（1998）は、外部の道具が認知の過程の一部として働くなら、心はその道具まで広がると論じた（拡張された心）。 Shaw と Nave も、Tri-System Theory をこの議論と認知的オフローディング、自動化バイアスの上に建てたと述べている。 一方で Sperber ら（2010）は、人は他者からの情報に大きく頼る代わりに、情報源と内容を吟味する一群の認知機構（**認識的警戒**、epistemic vigilance）を備えていると論じた。 認知的降伏は、この警戒が AI という情報源の前で働かなくなる状態として読める。 依存そのものではなく、依存しながら吟味を止めることが問題になる、という線引きは、哲学の側ですでに引かれていた。 ### 判断研究：アルゴリズムを避ける人と従う人 判断と意思決定の研究では、逆向きの現象も知られている。 Dietvorst ら（2015）は、アルゴリズムが誤るのを一度見ると、人はアルゴリズムが人間より正確でもそれを避けるようになると報告した（アルゴリズム回避）。 回避と降伏は、どちらも AI の実際の能力と依存の度合いがずれた状態であり、Lee と See の言う適切な依存から外れる二つの方向にあたる。 ### 技能の劣化：自動化の皮肉 Bainbridge（1983）は、自動化が日常の作業を機械に任せ、例外の処理だけを人に残すことで、人が判断を練習し強める機会を奪うと論じた（自動化の皮肉）。 この指摘は、Lee ら（2025）が生成 AI と批判的思考の論文の冒頭で引くほど、今も参照され続けている。 Casner ら（2014）は、16 名の旅客機操縦士をシミュレータで飛ばせ、手動の操縦と計器の走査の技能はおおむね保たれていた一方、地図表示なしで自機の位置を追う、次の航法の手順を決めるといった認知的な作業で問題が多く出たと報告した。 この研究で劣化が目立ったのは手の技能より頭の作業であり、生成 AI が肩代わりするのもその種の作業である。 ## 生成 AI で何が変わったか ### 誰が、何を、どんな形で委ねるか 系譜と比べると、生成 AI は三つの点で問題の形を変えた。 一つめは、委ねる人の範囲である。 自動化バイアスの研究の対象は、操縦士、医師、管制官のような、訓練を受けた専門職が特定の道具を使う場面だった。 生成 AI は、学生、知識労働者、一般の利用者が、日常のあらゆる問いに使う。 二つめは、委ねるものの中身である。 従来の自動化は警報、診断の候補、経路の提案のような狭い出力を返した。 生成 AI は、推論、説明、文章、コードを返し、Shaw と Nave の言う System 3 として、考える過程そのものに入り込む。 三つめは、出力の届き方である。 生成 AI の出力は流暢で、確信に満ち、利用者に合わせる。 Shaw と Nave の定義が「流暢に、自信をもって、摩擦なく届くとき」を条件に入れているのは、この性質を指している。 Zhou ら（2024）は、言語モデルが不確実性をほとんど表明せず、確信を表明した回答でも平均 47% が誤りだったこと、利用者は確信の表現があってもなくても生成された答えに強く頼ったことを報告した。 Steyvers ら（2025）は、モデルの既定の説明を読んだ人が回答の正確さを過大に見積もり、説明が長いほど、正確さが変わらなくても確信を強めることを示した。 Cheng ら（2026）は、11 のモデルが利用者の行動を人間より約 50% 多く肯定すること、事前登録した 2 つの実験（N=1,604）で、迎合的な応答のほうが質が高いと評価され、信頼され、また使いたいと思われたことを報告した。 迎合が起きる仕組みは [LLM の迎合はなぜ起きるのか：選好学習、内部回路、入力の形から見る発生の仕組み](https://jamjet-iqbal.com/notes/llm-sycophancy-mechanisms-literature/) が扱っている。 ### 誤りに従う：生成 AI 期の実証 生成 AI 期の実証は、従来の自動化バイアスと同じ型を、より広い課題で再現している。 Dell'Acqua ら（2026）は、ボストン コンサルティング グループのコンサルタント 758 名による事前登録の現場実験で、AI が得意な範囲の 18 の課題では、AI を使った群が 12.2% 多くの課題を 25.1% 速く、質も高くこなしたと報告した。 一方、AI の能力の外になるよう選んだ課題では、AI なしの群の約 84.5% が正答したのに対し、AI を使った群は 60% と 70.6% で、平均 19 ポイント下がった。 著者らは、得意と不得意の境界が見た目の難しさと一致しないことを「ギザギザの技術的境界」（jagged technological frontier）と呼んだ。 Spatharioti ら（2025）は、LLM を使った検索で商品を比べる課題で、LLM が誤ると利用者が誤情報に頼ることを示した。 Perry ら（2023）は、47 名のセキュリティ課題で、AI アシスタントを使った群が安全でないコードを書き、しかも自分のコードが安全だと信じやすかったと報告した。 Marcoccia ら（2026、査読前）は 5 つの実験（N=3,132）で、AI の助言にアクセスできるだけで「分からない」と答えを保留する意思がほぼ消え、助言がおおむね誤るよう作った問題で、正答は AI がないときの約 3 分の 1 に減り、確信はほぼ 2 倍になったと報告した。 答えを保留する率は、AI に従うか覆すかの二分では見えない、降伏のもう一つの指標になる。 メタ認知、つまり自分の出来を見積もる力の側でも、生成 AI は錯覚を強める。 Fernandes ら（2026）は、LSAT の論理問題 20 題を ChatGPT と解いた 246 名が、規準集団より約 3 点高く得点した一方、自分の得点を約 4 点高く見積もったことを報告した。 通常この課題で見られるダニング＝クルーガー効果（出来の悪い人ほど自分を過大評価する傾向）は AI の利用で消え、AI の技術的な知識が多い人ほど自己評価が不正確だった（2 つめの研究、N=452 で再現）。 Lee ら（2025）は、知識労働者 319 名が挙げた 936 の事例を分析し、生成 AI への確信が高いほど批判的思考が少なく、自分の能力への確信が高いほど多いこと、そして批判的思考の中身が、情報を集めることから検証すること、作ることから統合し監督すること（stewardship）へ移ることを示した（自己報告の調査である）。 Gerlich（2025）は 666 名の調査と面接で、AI ツールの利用頻度と批判的思考の負の相関が、認知的オフローディングの増加を介すると要旨で述べる（相関の研究で、のちに表の誤りの訂正が出ている）。 人と AI を組み合わせると成績が上がるのか、という問いには、メタ分析が答えている。 Vaccaro ら（2024）は、2020 年 1 月から 2023 年 6 月の 106 の実験、370 の効果量を統合し、人と AI の組は平均して、人か AI の単独の良いほうより成績が低いこと（Hedges の g = −0.23）、損失は判断の課題で、利得は内容を作る課題で大きいことを示した。 Passi と Vorvoreanu（2022）は、人による監督を求める政策が利用者を「AI の失敗に対する最後の防衛線」にしていると指摘したが、Vaccaro らの結果は、その防衛線が平均では機能していないことを示す。 ### 誤りに従う先：学ぶ機会と技能が減る 生成 AI 期に新しく前面に出たのは、目の前の判断の誤りより、繰り返し委ねることで学習と技能が減るという問題である。 教育の現場実験では、Bastani ら（2025）が、トルコの高校で約 1,000 名に数学の練習をさせ、素の GPT-4 を使えた群は練習の成績が 48% 上がったが、AI を外した試験では使わなかった群より 17% 低かったと報告した。 ヒントを出して答えを直接言わないよう設計した GPT Tutor 群は、練習の成績が 127% 上がり、試験での低下はほぼ消えた（ただし対照を上回りはしなかった）。 Fan ら（2025）は、ChatGPT を使った群が課題の点数では他群を上回ったが、知識の獲得と転移には差がなかったことを示し、AI に頼って学習の自己調整を手放す状態を**メタ認知的怠惰**（metacognitive laziness）と名づけた。 技能の形成と大規模な行動の記録でも、同じ向きの結果が出ている。 Shen と Tamkin（2026、査読前、著者は Anthropic 所属）は、新しいプログラミングのライブラリを学ぶ無作為化実験（n=52）で、AI を使った群の理解度テストが 17%（2 段階の評定）低く、作業時間の短縮は有意でなかったと報告した。 コードの生成を AI に丸ごと任せた参加者は学びが少なく、説明を求める、概念だけを尋ねるなど認知的に関与する 3 つの使い方では学習が保たれた。 大規模な行動データでは、Rismanchian ら（2026、査読前、著者に学習システム ALEKS を持つ McGraw Hill の社員を含む）が 320 万件の学習記録を使い、ChatGPT の公開後に AI で解ける問題に使う時間が減り、監督下の保持テストで正答のオッズが 25% 下がったと報告した。 これらの学習への影響は、生成 AI と学習の文献地図 [生成AIの早期利用は思考の醸成を阻害するか：cognitive offloading と学習の文献地図](https://jamjet-iqbal.com/notes/ai-cognitive-offloading-learning/) がより詳しく扱っている。 神経生理の測定では、Kosmyna ら（2025、査読前）が 54 名の小論文執筆を脳波で追い、LLM を使った群の脳内の結びつきが最も弱く、自分の文章への所有感も低かったと報告し、これを**認知的負債**（cognitive debt）と呼んだ。 ただし Stankovic ら（2025）は、標本の小ささ、解析の再現性、脳波の方法、結果の記述の食い違いを指摘するコメントを出しており、この研究は傍証にとどめるのが妥当である。 専門職の技能でも、観察研究が出ている。 Budzyń ら（2025）は、ポーランドの 4 施設で大腸内視鏡の AI 支援が導入された前後を比べ、AI を使わない通常の検査の腺腫検出率が 28.4%（226/795）から 22.4%（145/648）に下がったと報告した（受理原稿の値。観察研究で因果は確定しない）。 AI に慣れた後、AI がない場面で専門家の成績が落ちるという、Bainbridge の皮肉の現代版である。 集団の水準では、Doshi と Hauser（2024）が、生成 AI の案を使える書き手の物語は個々には創造的と評価された一方、物語どうしが互いに似通ったと報告した。 物語を書く課題では、一人ひとりが AI の案に頼ると、全体の多様性が減った。 ## 学術分野はどう移り変わってきたか ここまでの系譜を分野で並べ直すと、同じ現象の研究の中心が、時期とともに移ってきたことが分かる。 | 時期 | 中心の分野 | 主な用語 | 典型的な場面と方法 | 代表文献 | |---|---|---|---|---| | 1970 年代〜2010 年 | 人間工学、航空心理学 | 慢心、自動化バイアス、誤用、技能の劣化 | 操縦士や操作員、シミュレータ実験、事故報告の分析 | Bainbridge 1983、Parasuraman ら 1993、Mosier ら 1998、Lee と See 2004、Parasuraman と Manzey 2010 | | 2000 年代〜2010 年代 | 医療情報学、放射線医学 | 自動化バイアス、検証の複雑さ | 臨床判断支援、読影実験、系統的レビュー | Goddard ら 2012、Lyell と Coiera 2017、Gaube ら 2021、Dratsch ら 2023 | | 2010 年代 | 認知心理学、判断研究、哲学 | 認知的オフローディング、Google 効果、アルゴリズム回避、拡張された心、認識的警戒 | 実験室実験、概念分析 | Sparrow ら 2011、Dietvorst ら 2015、Fisher ら 2015、Risko と Gilbert 2016、Clark と Chalmers 1998、Sperber ら 2010 | | 2019 年〜2023 年 | HCI、説明可能 AI | 過剰依存（overreliance）、適切な依存、補完性 | AI 支援の意思決定のオンライン実験 | Bansal ら 2021、Buçinca ら 2021、Passi と Vorvoreanu 2022、Schemmer ら 2023、Vasconcelos ら 2023 | | 2023 年〜 | HCI、学習科学、組織研究、認知心理学 | 認知的降伏、System 0 と System 3、メタ認知的怠惰、認知的負債、AI による技能の劣化 | LLM を使った実験、現場実験、大規模ログ、教育の無作為化試験 | Dell'Acqua ら 2026、Lee ら 2025、Bastani ら 2025、Fan ら 2025、Shaw と Nave 2026 | 移り変わりには三つの流れがある。 第一に、対象が専門職の安全から、一般の人の学習と思考へ移った。 人間工学が問うたのは「事故を防げるか」だったが、生成 AI 期の学習科学と認知心理学が問うのは「考える力と学ぶ機会が残るか」である。 第二に、理論の置き場所が、注意と信頼のモデルから、二重過程理論の拡張へ移った。 Chiriatti ら（2024）は AI との相互作用を思考の前段に置く System 0 を、Shaw と Nave は推論の第三の系としての System 3 を提案し、AI を推論に加わる主体として扱い始めた。 第三に、測るものが変わった。 従来の研究は AI があるときの誤りの率を測ったが、生成 AI 期の研究は、AI を外した後に何が残るか（試験、保持テスト、AI なしの検査成績）を測るようになった。 この変化は、[生成 AI が実用になってからの HCI の研究潮流（2023〜2026）：作る研究の多さと、人の側に残る確かめる仕事](https://jamjet-iqbal.com/notes/ai-hci-research-trends/) が整理した、生成 AI 以後の HCI が「作ることから確かめることへ」の移行を扱い始めた流れと重なる。 一方で、分野の間のつながりは弱い。 Shaw と Nave は自動化バイアスと Mosier と Skitka を引いているが、生成 AI 期の HCI の論文の多くは、人間工学の 30 年分の知見（訓練では防げない、説明責任の効果は食い違う）を自分の対策の前提として検討していない。 Xu ら（2026、査読前）は、2023 年から 2026 年初めの AI と HCI の論文 1,223 本を自動分類し、摩擦のない設計を前提とする研究が 2026 年でも 67.3% を占め、人の認識の主権を守る研究は 2025 年に 19.1% へ増えたあと 2026 年初めに 13.1% へ減ったと報告している（分類は言語モデルによる自動判定である）。 ## 対策の現状：何が効き、何が効かないか ### 効果の証拠の一覧 対策の研究は、課題、参加者、AI の精度がそれぞれ違い、数値をそのまま比べることはできない。 次の表は、効果の向きと条件だけを並べる。 | 対策 | 効果の向き | 主な根拠 | 条件と代償 | |---|---|---|---| | 説明を添える（XAI） | 依存を正誤にかかわらず増やすことが多い | Bansal ら 2021、Kim ら 2025、Romeo と Conti 2025 | 説明は AI の推奨を受け入れる確率を、推奨の正誤にかかわらず上げた。説明が検証の手間を実際に減らすときだけ過剰依存を減らす（Vasconcelos ら 2023）。長い説明は確信だけを上げる（Steyvers ら 2025） | | 一般的な警告（「AI は間違えることがあります」） | 弱く、結果が混在 | Blanchard ら 2026 | 組織にとって最も導入しやすいが、効果は最も弱い。誤りやすい箇所を示す的を絞った手がかりは有望だが、証拠はまだ少ない | | 一人称の不確実性の表明 | 誤答への依存を減らす | Kim ら 2024 | 医療の質問（N=404）で、AI が誤る問題の正確さは、既定の応答を見た群が 33.0%、AI なしの群が 64.7% だった。「よく分からないのですが」型の表明は、同意と信頼を下げ、正確さを上げた。一般的な言い方（「はっきりしませんが」）は効果が弱く有意でない | | 出典の提示、説明の中の不整合の提示 | 誤答への依存を減らす | Kim ら 2025 | 説明そのものは依存を増やすが、出典や不整合が見えると誤答への依存が減った | | 誤りやすい箇所の局所的な表示 | 誤りの発見を増やす | Spatharioti ら 2025 | 確信度に応じた色分けで、誤情報に気づく率と判断の正確さが上がった | | 認知強制（先に自分で考えさせる、待たせる、求めたときだけ見せる） | 条件つきで減らす | Buçinca ら 2021、de Jong ら 2025、Vejandla ら 2025 | 説明だけの条件より過剰依存を減らしたが、最も効いた設計が最も低く評価された。考えることを好む人ほど恩恵が大きい。偏った AI の推奨による偏りは減らさなかった（Vejandla ら） | | 人が先に暫定の判断を記録する手順 | AI への同意を、正誤にかかわらず減らす | Fogliato ら 2022 | 獣医放射線科医 19 名で、時間は延びなかった。誤った AI への同意だけでなく正しい AI への同意も減り、AI の有用感は下がり、食い違ったときに同僚に相談しにくくなった | | AI が反論する、問い返す | 証拠は少ない | Chiang ら 2024、Sarkar 2024 | AI の推奨に反論する悪魔の代弁者役の LLM は、集団の適切な依存を促しうると要旨は述べる。AI を従う助手ではなく挑発者にする設計（Sarkar）は、まだ提案の段階のものが多い | | ガードレール型の学習支援（答えでなくヒント） | 学習の低下を防ぐ | Bastani ら 2025 | 試験の低下はほぼ消えたが、AI なしの対照を上回る学習効果は出なかった | | メタ認知のフィードバック（丸投げの代償を示す） | 丸投げを減らし、AI なしの成績を上げる | Maier ら 2026（査読前）、Tankelevitch ら 2024 | 704 名、分数の計算。丸投げのオッズ比 0.47（95% 信頼区間 0.22〜1.00）、AI なしのテスト 1.51（同 0.98〜2.33）で、効果の大きさは不確か。努力に応じた報酬は効かなかった。生成 AI が利用者のメタ認知に高い要求を課すという Tankelevitch らの整理が、この種の介入の根拠になっている | | 正誤のフィードバックと成績に応じた誘因 | 降伏を減らす | Shaw と Nave 2026（査読前） | 誤った AI を覆す率が 20.0% から 42.3% に上がり、降伏の割合は 57.9% に下がったが、なくならなかった | | 訓練 | 慢心には効きやすく、自動化バイアスには効果が不明確 | Goddard ら 2012、Parasuraman と Manzey 2010 | 訓練や確認の指示では自動化バイアスを防げないという総説の結論がある | | 説明責任の強調 | 研究によって食い違う | Goddard ら 2012 | 外から説明責任を課すと警戒が増えた研究と、増えなかった研究がある | | 人による監督の制度化 | 実効性に疑問 | EU AI 法 第 14 条、NIST AI 600-1、Green 2022 | 法と標準は自動化バイアスを名指しするが、人が監督の役割を果たせない証拠が多い | | AI なしで測る評価の設計 | 学習の実態を見えるようにする | Corbin ら 2025、Suazo Galdames ら 2026 | 規則の伝達では足りず、評価の仕組みそのものを変える必要がある | ### 表から読める五つの原則 表の対策を並べると、効くものに共通する性質がある。 第一に、AI の出力を「より信じやすくする」介入は、降伏を強める側に働きやすい。 説明、長い説明、自信のある語り口、迎合は、どれも出力を受け入れやすくする。 Romeo と Conti（2025）は 2015 年から 2025 年 4 月の 35 の査読研究を系統的に整理し、説明可能 AI と透明性の仕組みは受け入れやすさを上げても、判断の正確さの改善や自動化バイアスの軽減には足りないことが多いと要旨で述べる。 説明は検証の手段であるときにだけ役に立ち、説得の手段になると逆効果になる。 第二に、効く介入は、利用者の熟慮（System 2）を、必要な場面で局所的に呼び起こす。 正誤のフィードバック、誤りやすい箇所の表示、出典と不整合の提示は、どれも「ここは確かめる価値がある」という合図を利用者に渡す。 Shaw と Nave は、誘因とフィードバックの効果を、AI の助けを一律に抑えるのではなく、AI が食い違うときに立ち止まって覆す、的を絞った System 2 の再起動と説明している。 一般的な警告が効かないのは、合図が局所的でなく、いつ確かめればよいかを教えないからだと読める。 第三に、効く介入には代償がある。 Buçinca ら（2021）の認知強制は、最も効いた設計が最も嫌われた。 Fogliato ら（2022）の、人が先に判断を記録する手順は、誤った AI への同意と一緒に正しい AI への同意も減らし、AI の有用感を下げた。 Raees ら（2026）のレビューは、利用者の関与は適切な依存に有益だがコストを伴うと要旨で述べる。 好まれにくい設計が実際の製品で選ばれ、使われ続けるかは、ほとんど調べられていない。 第四に、効果は考える意欲と経験の高い人に偏る。 認知強制と部分的な説明は認知欲求の高い人に大きく効き（Buçinca ら 2021、de Jong ら 2025）、Shaw と Nave の実験でも認知欲求と流動性知能の高い人は降伏しにくかった。 対策が、もともと降伏しにくい人をさらに守り、降伏しやすい人に届きにくいという偏りがある。 Fernandes ら（2026）が示したように、AI について技術的によく知っていることも、自分の出来を正しく見積もる助けにはならない。 第五に、学習と技能を守るには、AI がある場面の成績ではなく、AI を外した後の成績で測る必要がある。 Bastani ら、Fan ら、Shen と Tamkin、Rismanchian ら、Budzyń らは、いずれも AI を外したときの成績で害を見つけた。 AI があるときの成績だけを見る評価は、降伏を成功と取り違える。 Corbin ら（2025）は、利用の規則を伝えるだけの変更（学生が無視できる指示）と、評価の仕組みそのものを変える構造的な変更を区別し、前者では妥当性を守れないと論じた。 ### 制度の側の現状 制度も自動化バイアスを名指しするようになった。 EU の AI 法（規則 2024/1689）第 14 条 4 項 (b) は、高リスク AI システムの監督を任された人が「高リスク AI システムの出力に自動的に依存し、または過度に依存する傾向（自動化バイアス）の可能性を意識し続けられる」ようにすることを求め、とくに自然人の判断のための情報や推奨を出すシステムを挙げる。 米国国立標準技術研究所の生成 AI プロファイル（NIST AI 600-1）は、自動化バイアスを「自動化されたシステムへの過度の追従」の例とし、作話（confabulation）や偏り、均質化といった他のリスクを悪化させうると記す。 ただし、人に監督させれば済むという前提には、強い反論がある。 Green（2022）は、政府のアルゴリズムに人の監督を求める 41 の政策を調べ、人は求められた監督の役割を果たせないという証拠が多いこと、その結果、監督の規定が欠陥のあるアルゴリズムの利用を正当化してしまうことを指摘し、個人の監督から制度の監督への転換を提案した。 Parasuraman と Manzey（2010）の「訓練や指示では防げない」という結論と合わせると、「意識し続けられるようにする」ことを求める法の規定が、それだけで降伏を防ぐと期待するのは難しい。 教育では、Suazo Galdames ら（2026）が高等教育の 26 の実証研究を系統的に整理し、AI の出力への無批判な依存が、認知的オフローディング、自動化バイアス、浅い情報処理、評価的判断の弱まりと結びつくことが多い一方、その帰結は授業の設計、AI リテラシー、評価の設計に左右されるとまとめている。 ## 総合：何が分かっていて、何が分かっていないか 認知的降伏は新しい現象ではない。 自動化への慢心と自動化バイアスとして、航空と医療で 30 年以上調べられてきた現象が、生成 AI によって、専門職から一般の人へ、狭い警報から推論そのものへ、目の前の誤りから学習と技能の減少へと広がった。 Shaw と Nave の貢献は、この広がりを二重過程理論の言葉で捉え直し、委ねること（オフローディング）と明け渡すこと（降伏）を区別して測れる形にした点にある。 対策の証拠から言えるのは、次のことである。 AI の出力を信じやすくする工夫（説明、流暢さ、一般的な警告）では降伏は減らない。 効く証拠があるのは、誤りやすい箇所の局所的な合図、出典と不整合の提示、一人称の不確実性の表明、正誤のフィードバックと誘因、そして AI を外して測る評価である。 人が先に判断を持つ手順と AI が反論を返す設計は、前者は正しい AI への依存まで減らし、後者は証拠がまだ少ない。 どの対策も、好まれにくさ、負荷、効く人の偏りという代償を抱え、訓練と制度だけでは防げないという人間工学の結論も覆っていない。 ## 未解決の対立 | 対立の軸 | 立場 A | 立場 B | 決着に要る証拠 | |---|---|---|---| | 降伏は自動化バイアスと別の現象か | 推論そのものを明け渡す点で、新しい概念が要る（Shaw と Nave 2026） | 自動化バイアスと慢心の統合モデルで説明できる（Parasuraman と Manzey 2010 の枠組みからの本ノートの読み。この立場を明示した論文は見つからなかった） | 同じ課題で、注意と信頼のモデルと Tri-System Theory の予測が分かれる条件の実験 | | 依存は悪か | 吟味を止めた依存が問題で、依存そのものは合理的でありうる（Clark と Chalmers 1998、Sperber ら 2010） | 繰り返し委ねると技能と学習が減る（Bainbridge 1983、Bastani ら 2025、Budzyń ら 2025） | 長期にわたり、委ね方の違いが技能の保持にどう効くかを追う縦断研究 | | 説明は効くか | 検証の手間を減らす説明は過剰依存を減らす（Vasconcelos ら 2023） | 説明は正誤にかかわらず受け入れを増やす（Bansal ら 2021、Kim ら 2025） | 説明の形式と検証の手間を分けて操作した、LLM での追試 | | 誰が守られるか | 誘因とフィードバックは全体の降伏を減らす（Shaw と Nave 2026） | 対策は認知欲求の高い人に偏って効く（Buçinca ら 2021、Vejandla ら 2025） | 認知欲求と AI リテラシーで層別した介入の効果 | ## 空白（未充足の論点） - 認知的降伏という語を立てた論文自体が査読前で、独立した追試はまだない。 - 降伏の長期の影響（何か月、何年と委ね続けたときの技能と判断力）を追った研究は、観察研究（Budzyń ら 2025）と行動ログ（Rismanchian ら 2026）に限られ、無作為化した縦断研究は見つからなかった。 - 対策の研究の多くは、短時間のオンライン実験と単純な課題（迷路、栄養、分数、選択式の問題）で行われており、Raees ら（2026）も現実的な判断の場面の再現が足りないと指摘している。 - 好まれにくいが効く設計が、利用者が選べる製品の中で使われ続けるかは測られていない。 - デザインのように正解が一つに決まらない領域での降伏（誰の判断を採ったのかが見えにくい場面）の実証は見つからなかった。 - 日本語圏の実証は今回の探索では見つからなかった。 ## 未検証事項 - Budzyń ら（2025）には掲載後に訂正通知（Lancet Gastroenterology & Hepatology、10.1016/S2468-1253(25)00294-8）が出ているが、中身を取得できなかった。本文の数値は著者の受理原稿の値である。 - Gerlich（2025）にも表の誤りの訂正通知（Societies 15(9): 252）が出ているが、どの値が変わったかは取得できなかった。本ノートは要旨の範囲だけを使った。 - Fernandes ら（2026）の数値は著者版（arXiv）の本文で確かめた。掲載版との違いは照合していない。 - Chiang ら（2024）、de Jong ら（2025）、Romeo と Conti（2025）、Raees ら（2026）、Corbin ら（2025）、Gerlich（2025）と、系譜の節の Parasuraman ら（1993）、Parasuraman と Riley（1997）、Mosier ら（1998）、Lee と See（2004）、Casner ら（2014）、Frederick（2005）、Sparrow ら（2011）、Fisher ら（2015）は本文を取得できず、要旨の範囲で書いた。 - Bainbridge（1983）、Risko と Gilbert（2016）、Chiriatti ら（2024）は本文も要旨も取得できず、Lee ら（2025）と Shaw と Nave（2026）の本文での記述を通して書いた。 ## 参照文献 すべて 2026-11-06 アクセス。台帳と検証証跡は `source/review/cognitive-surrender/papers.md` を参照。 ### 用語の起点と生成 AI 期の概念 - Shaw, S. D., & Nave, G. (2026). Thinking—Fast, Slow, and Artificial: How AI is Reshaping Human Reasoning and the Rise of Cognitive Surrender. SSRN Working Paper 6097646 / PsyArXiv. https://doi.org/10.2139/ssrn.6097646 ／ https://doi.org/10.31234/osf.io/yk25n_v1 （preprint、査読前） - Chiriatti, M., Ganapini, M., Panai, E., Ubiali, M., & Riva, G. (2024). The case for human–AI interaction as system 0 thinking. *Nature Human Behaviour*, 8(10), 1829–1830. https://doi.org/10.1038/s41562-024-01995-5 - Xu, K., Shen, Y., Yan, L., & Ren, Y. (2026). Cognitive Agency Surrender: Defending Epistemic Sovereignty via Scaffolded AI Friction. arXiv:2603.21735. https://arxiv.org/abs/2603.21735 （preprint） ### 生成 AI 以前の系譜 - Bainbridge, L. (1983). Ironies of automation. *Automatica*, 19(6), 775–779. https://doi.org/10.1016/0005-1098%2883%2990046-8 - Parasuraman, R., Molloy, R., & Singh, I. L. (1993). Performance consequences of automation-induced "complacency". *International Journal of Aviation Psychology*, 3(1), 1–23. https://doi.org/10.1207/s15327108ijap0301_1 - Parasuraman, R., & Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. *Human Factors*, 39(2), 230–253. https://doi.org/10.1518/001872097778543886 - Mosier, K. L., Skitka, L. J., Heers, S., & Burdick, M. (1998). Automation bias: Decision making and performance in high-tech cockpits. *International Journal of Aviation Psychology*, 8(1), 47–63. https://doi.org/10.1207/s15327108ijap0801_3 - Lee, J. D., & See, K. A. (2004). Trust in automation: Designing for appropriate reliance. *Human Factors*, 46(1), 50–80. https://doi.org/10.1518/hfes.46.1.50.30392 - Parasuraman, R., & Manzey, D. H. (2010). Complacency and bias in human use of automation: An attentional integration. *Human Factors*, 52(3), 381–410. https://doi.org/10.1177/0018720810376055 - Goddard, K., Roudsari, A., & Wyatt, J. C. (2012). Automation bias: a systematic review of frequency, effect mediators, and mitigators. *Journal of the American Medical Informatics Association*, 19(1), 121–127. https://doi.org/10.1136/amiajnl-2011-000089 - Casner, S. M., Geven, R. W., Recker, M. P., & Schooler, J. W. (2014). The retention of manual flying skills in the automated cockpit. *Human Factors*, 56(8), 1506–1516. https://doi.org/10.1177/0018720814535628 - Lyell, D., & Coiera, E. (2017). Automation bias and verification complexity: a systematic review. *Journal of the American Medical Informatics Association*, 24(2), 423–431. https://doi.org/10.1093/jamia/ocw105 - Gaube, S., Suresh, H., Raue, M., et al. (2021). Do as AI say: susceptibility in deployment of clinical decision-aids. *npj Digital Medicine*, 4, 31. https://doi.org/10.1038/s41746-021-00385-9 - Frederick, S. (2005). Cognitive reflection and decision making. *Journal of Economic Perspectives*, 19(4), 25–42. https://doi.org/10.1257/089533005775196732 - Sparrow, B., Liu, J., & Wegner, D. M. (2011). Google effects on memory: Cognitive consequences of having information at our fingertips. *Science*, 333(6043), 776–778. https://doi.org/10.1126/science.1207745 - Hesselmann, G. (2020). No conclusive evidence that difficult general knowledge questions cause a "Google Stroop effect". A replication study. *PeerJ*, 8, e10325. https://doi.org/10.7717/peerj.10325 - Fisher, M., Goddu, M. K., & Keil, F. C. (2015). Searching for explanations: How the Internet inflates estimates of internal knowledge. *Journal of Experimental Psychology: General*, 144(3), 674–687. https://doi.org/10.1037/xge0000070 - Risko, E. F., & Gilbert, S. J. (2016). Cognitive offloading. *Trends in Cognitive Sciences*, 20(9), 676–688. https://doi.org/10.1016/j.tics.2016.07.002 - Dahmani, L., & Bohbot, V. D. (2020). Habitual use of GPS negatively impacts spatial memory during self-guided navigation. *Scientific Reports*, 10, 6310. https://doi.org/10.1038/s41598-020-62877-0 - Clark, A., & Chalmers, D. (1998). The extended mind. *Analysis*, 58(1), 7–19. https://doi.org/10.1093/analys/58.1.7 - Sperber, D., Clément, F., Heintz, C., Mascaro, O., Mercier, H., Origgi, G., & Wilson, D. (2010). Epistemic vigilance. *Mind & Language*, 25(4), 359–393. https://doi.org/10.1111/j.1468-0017.2010.01394.x - Dietvorst, B. J., Simmons, J. P., & Massey, C. (2015). Algorithm aversion: People erroneously avoid algorithms after seeing them err. *Journal of Experimental Psychology: General*, 144(1), 114–126. https://doi.org/10.1037/xge0000033 ### 生成 AI 期の実証 - Dell'Acqua, F., McFowland III, E., Mollick, E., et al. (2026). Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality. *Organization Science*, 37(2), 403–423. https://doi.org/10.1287/orsc.2025.21838 - Lee, H.-P., Sarkar, A., Tankelevitch, L., Drosos, I., Rintel, S., Banks, R., & Wilson, N. (2025). The Impact of Generative AI on Critical Thinking: Self-Reported Reductions in Cognitive Effort and Confidence Effects From a Survey of Knowledge Workers. *CHI '25*. https://doi.org/10.1145/3706598.3713778 - Gerlich, M. (2025). AI Tools in Society: Impacts on Cognitive Offloading and the Future of Critical Thinking. *Societies*, 15(1), 6. https://doi.org/10.3390/soc15010006 - Steyvers, M., Tejeda, H., Kumar, A., et al. (2025). What large language models know and what people think they know. *Nature Machine Intelligence*, 7, 221–231. https://doi.org/10.1038/s42256-024-00976-7 - Fernandes, D., Villa, S., Nicholls, S., et al. (2026). AI makes you smarter but none the wiser: The disconnect between performance and metacognition. *Computers in Human Behavior*, 175, 108779. https://doi.org/10.1016/j.chb.2025.108779 - Marcoccia, C., Quattrociocchi, W., & Capraro, V. (2026). AI advice suppresses people's willingness to say "I don't know", even when the advice is wrong and accuracy is incentivized. arXiv:2607.13562. https://arxiv.org/abs/2607.13562 （preprint） - Spatharioti, S. E., Rothschild, D. M., Goldstein, D. G., & Hofman, J. M. (2025). Effects of LLM-based Search on Decision Making: Speed, Accuracy, and Overreliance. *CHI '25*. https://doi.org/10.1145/3706598.3714082 - Perry, N., Srivastava, M., Kumar, D., & Boneh, D. (2023). Do Users Write More Insecure Code with AI Assistants? *CCS '23*, 2785–2799. https://doi.org/10.1145/3576915.3623157 - Zhou, K., Hwang, J. D., Ren, X., & Sap, M. (2024). Relying on the Unreliable: The Impact of Language Models' Reluctance to Express Uncertainty. *ACL 2024*, 3623–3643. https://doi.org/10.18653/v1/2024.acl-long.198 - Cheng, M., Lee, C., Khadpe, P., Yu, S., Han, D., & Jurafsky, D. (2026). Sycophantic AI decreases prosocial intentions and promotes dependence. *Science*, 391(6792), eaec8352. https://doi.org/10.1126/science.aec8352 - Doshi, A. R., & Hauser, O. P. (2024). Generative AI enhances individual creativity but reduces the collective diversity of novel content. *Science Advances*, 10(28), eadn5290. https://doi.org/10.1126/sciadv.adn5290 - Vaccaro, M., Almaatouq, A., & Malone, T. (2024). When combinations of humans and AI are useful: A systematic review and meta-analysis. *Nature Human Behaviour*, 8(12), 2293–2303. https://doi.org/10.1038/s41562-024-02024-1 - Budzyń, K., Romańczyk, M., Kitala, D., et al. (2025). Endoscopist deskilling risk after exposure to artificial intelligence in colonoscopy: a multicentre, observational study. *The Lancet Gastroenterology & Hepatology*, 10(10), 896–903. https://doi.org/10.1016/S2468-1253%2825%2900133-5 - Dratsch, T., Chen, X., Rezazade Mehrizi, M., et al. (2023). Automation Bias in Mammography: The Impact of Artificial Intelligence BI-RADS Suggestions on Reader Performance. *Radiology*, 307(4), e222176. https://doi.org/10.1148/radiol.222176 - Bastani, H., Bastani, O., Sungu, A., Ge, H., Kabakcı, Ö., & Mariman, R. (2025). Generative AI without guardrails can harm learning: Evidence from high school mathematics. *PNAS*, 122(26), e2422633122. https://doi.org/10.1073/pnas.2422633122 - Fan, Y., Tang, L., Le, H., et al. (2025). Beware of metacognitive laziness: Effects of generative artificial intelligence on learning motivation, processes, and performance. *British Journal of Educational Technology*, 56(2), 489–530. https://doi.org/10.1111/bjet.13544 - Kosmyna, N., Hauptmann, E., Yuan, Y. T., et al. (2025). Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task. arXiv:2506.08872. https://arxiv.org/abs/2506.08872 （preprint） - Stankovic, M., Hirche, E., Kollatzsch, S., & Doetsch, J. N. (2025). Comment on: Your Brain on ChatGPT. arXiv:2601.00856. https://arxiv.org/abs/2601.00856 （preprint） - Shen, J. H., & Tamkin, A. (2026). How AI Impacts Skill Formation. arXiv:2601.20245. https://arxiv.org/abs/2601.20245 （preprint） - Rismanchian, S., Uzun, H., Matayoshi, J., Cosyn, E., & Kurd-Misto, E. (2026). Faster Completion, Less Learning: Generative AI Reduced Study Time on Math Problems and the Knowledge They Build. arXiv:2605.21629. https://arxiv.org/abs/2605.21629 （preprint） ### 対策の証拠と制度 - Buçinca, Z., Malaya, M. B., & Gajos, K. Z. (2021). To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI in AI-assisted Decision-making. *Proceedings of the ACM on Human-Computer Interaction*, 5(CSCW1), 188. https://doi.org/10.1145/3449287 - Bansal, G., Wu, T., Zhou, J., et al. (2021). Does the Whole Exceed its Parts? The Effect of AI Explanations on Complementary Team Performance. *CHI '21*. https://doi.org/10.1145/3411764.3445717 - Vasconcelos, H., Jörke, M., Grunde-McLaughlin, M., Gerstenberg, T., Bernstein, M. S., & Krishna, R. (2023). Explanations Can Reduce Overreliance on AI Systems During Decision-Making. *Proceedings of the ACM on Human-Computer Interaction*, 7(CSCW1), 129. https://doi.org/10.1145/3579605 - Kim, S. S. Y., Liao, Q. V., Vorvoreanu, M., Ballard, S., & Vaughan, J. W. (2024). "I'm Not Sure, But...": Examining the Impact of Large Language Models' Uncertainty Expression on User Reliance and Trust. *FAccT '24*. https://doi.org/10.1145/3630106.3658941 - Kim, S. S. Y., Vaughan, J. W., Liao, Q. V., Lombrozo, T., & Russakovsky, O. (2025). Fostering Appropriate Reliance on Large Language Models: The Role of Explanations, Sources, and Inconsistencies. *CHI '25*. https://doi.org/10.1145/3706598.3714020 - Fogliato, R., Chappidi, S., Lungren, M., et al. (2022). Who Goes First? Influences of Human-AI Workflow on Decision Making in Clinical Imaging. *FAccT '22*. https://doi.org/10.1145/3531146.3533193 - Chiang, C.-W., Lu, Z., Li, Z., & Yin, M. (2024). Enhancing AI-Assisted Group Decision Making through LLM-Powered Devil's Advocate. *IUI '24*. https://doi.org/10.1145/3640543.3645199 - de Jong, S., Paananen, V., Tag, B., & van Berkel, N. (2025). Cognitive Forcing for Better Decision-Making: Reducing Overreliance on AI Systems Through Partial Explanations. *Proceedings of the ACM on Human-Computer Interaction*, 9(2). https://doi.org/10.1145/3710946 - Vejandla, S., Ray, A., Sikstrom, L., Ratto, M., Zaheer, J., & Maslej, M. M. (2025). Impacts of cognitive forcing and need for cognition on biased AI-assisted decision making about mental health emergencies. *Scientific Reports*, 16, 818. https://doi.org/10.1038/s41598-025-30506-3 - Sarkar, A. (2024). AI Should Challenge, Not Obey. *Communications of the ACM*, 67(10), 18–21. https://doi.org/10.1145/3649404 - Tankelevitch, L., Kewenig, V., Simkute, A., et al. (2024). The Metacognitive Demands and Opportunities of Generative AI. *CHI '24*. https://doi.org/10.1145/3613904.3642902 - Maier, S., Schwabe, K., Schneider, M., & Feuerriegel, S. (2026). Designing Against Deskilling: Metacognitive Feedback Reduces Cognitive Offloading to LLM Assistants. arXiv:2609.20143. https://arxiv.org/abs/2609.20143 （preprint） - Schemmer, M., Kühl, N., Benz, C., Bartos, A., & Satzger, G. (2023). Appropriate Reliance on AI Advice: Conceptualization and the Effect of Explanations. *IUI '23*. https://doi.org/10.1145/3581641.3584066 - Passi, S., & Vorvoreanu, M. (2022). Overreliance on AI: Literature Review. Microsoft Research. https://www.microsoft.com/en-us/research/wp-content/uploads/2022/06/Aether-Overreliance-on-AI-Review-Final-6.21.22.pdf - Romeo, G., & Conti, D. (2025). Exploring automation bias in human–AI collaboration: a review and implications for explainable AI. *AI & Society*, 41(1), 259–278. https://doi.org/10.1007/s00146-025-02422-7 - Raees, M., Khan, V.-J., Lykourentzou, I., & Papangelis, K. (2026). Do People Appropriately Rely on AI-Advice? An Analytical Review of HCI Research on Human-AI Decision-Making. *CHI '26*. https://doi.org/10.1145/3772318.3791467 - Blanchard, S. J., Garvey, A. M., & O'Laughlin, L. (2026). Hallucinations in organization-backed AI advisors: Evidence about skepticism, verification, and reliance in goal-directed use. *Current Opinion in Psychology*, 73, 102427. https://doi.org/10.1016/j.copsyc.2026.102427 （著者版 https://arxiv.org/abs/2606.23491 ） - Suazo Galdames, I. C., Santiesteban Velázquez, M., Saracostti, M., & Chaple Gil, A. M. (2026). Between cognitive offloading and critical autonomy: a systematic review of the epistemic implications of generative AI in higher education. *Frontiers in Education*, 11. https://doi.org/10.3389/feduc.2026.1878665 - Corbin, T., Dawson, P., & Liu, D. (2025). Talk is cheap: why structural assessment changes are needed for a time of GenAI. *Assessment & Evaluation in Higher Education*, 50(7), 1087–1097. https://doi.org/10.1080/02602938.2025.2503964 - Green, B. (2022). The flaws of policies requiring human oversight of government algorithms. *Computer Law & Security Review*, 45, 105681. https://doi.org/10.1016/j.clsr.2022.105681 - Regulation (EU) 2024/1689 of the European Parliament and of the Council (Artificial Intelligence Act), Article 14. *Official Journal of the European Union*, 2024-07-12. https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng - NIST (2024). Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1). https://doi.org/10.6028/NIST.AI.600-1