制作過程の分析方法と文脈的補助：批判的事例法・省察記述・デザイン教育史をめぐる文献地図

記録が残らないものをどう分析するか

制作の過程を分析したいと思ったとき、最初にぶつかるのは、過程そのものが手元に残っていないという事実である。完成した成果物は残る。だが、どこでつまずき、何を試し、どこで方針を変えたかは、本人が書き留めないかぎり消えていく。

過程を後から辿るには、行為そのものを外から観察して記録する道と、本人に振り返って書いてもらいその記述を読む道の、二つの入口がある。前者は観察の設計を、後者は省察の設計と、書かれた記述をどう読むかの設計を要求する。

この文献地図は、その二つの入口に立つ方法論を三つの系譜として並べる。 批判的事例法（critical incident technique, CIT）は、効果の際立った出来事を系統的に集める観察側の古典である。 構造化された省察（guided reflection）は、振り返りを課題として意図的に設計する側の枠組みである。 反省記述の質評価（reflective writing analysis）は、書かれた省察を要素に分けて評価する側の方法である。どれも「制作の過程と振り返りをどう記録し分析するか」という一つの問いに、別々の答えを出している。

方法の紹介だけでは足りない。過程を分析する研究は、そもそも過程を可能にする条件のうえに成り立つからだ。だからこの地図の後半では、先行研究レビュー自体の質をどう監査するかという観点と、探索的な態度を育てる環境をどう設計してきたかという史的事例を、文脈的補助として置く。

批判的事例法とインシデントの分析

過程を外から記録する方法の古典は、心理学者 John Flanagan が1954年に定式化した批判的事例法である。 Flanagan は第二次大戦期の米陸軍航空隊のパイロット選抜と戦闘指揮官の行動研究を出発点に、多職種にわたる職務分析を積み上げ、そこから共通する手続き原理を後付けで抽出した¹。

この方法の中心には、二つの語の定義がある。 incident（インシデント）とは、それ単独で行為者について推論や予測ができるほど完結した、観察可能な人間行動である。それが critical（決定的）であるためには、行為の目的が観察者にとって明確で、かつその帰結が疑いなく判定できるほど明確でなければならない（Flanagan 1954, p.327）。 Flanagan が集めよと説くのは平均的な行動ではない。「際立って効果的か、際立って非効果的か」という極端な事例である（同 p.338）。極端な事例のほうが、目的への寄与を判定しやすく、記述も具体的になるからだ。

批判的事例法は、単一の固定した手続きではない。 Flanagan 自身が、これは「状況に応じて修正され適応されるべき、柔軟な原則の集合」だと述べている（同 p.335）。手続き全体は、一般目的の確定、計画と仕様、データ収集、データ分析、解釈と報告の五段階に分解される（同 p.335–346）。ただし、集めたインシデントをどのカテゴリ体系で分類するか（frame of reference の選定）には理論的基礎がなく、用途に応じて帰納的で主観的にならざるをえない、と Flanagan 本人が認めている（同 p.344）。

この方法には、収集の設計そのものに固有の性格がある。批判的事例法では、観察者を訓練し、何を重要とみなすかを収集の時点であらかじめ定義してから、面接や質問紙や記録用紙で一次データを新たに集める。何が「決定的」かも、成功と失敗の二値的な効果判定に強く依存する。だから、この方法をそのまま持ち込めるのは、収集前に基準を統制できる研究に限られる。すでに書かれている非構造化のテキストを事後的に分析する場面では、収集設計の前提が食い違うため、原理の一部を借りながらも設計はやり直すことになる。

省察を設計する側の枠組み

批判的事例法が行為を外から記録するのに対し、教育の文脈では、振り返りを書かせる側の設計が積み重ねられてきた。 Sarah Ash と Patti Clayton は2009年に、DEAL モデルとして知られる省察の設計論を提示した²。

出発点は、経験そのものは良い教師ではないという指摘である。経験について考えること（reflecting on it）が学習を生むのであって、設計されない省察は「危うく、偶発的で、表層的」なものになりうる（Ash & Clayton 2009, p.27, Stanton 1990 を引用）。 Ash と Clayton は、批判的省察（critical reflection）が学習を 生成し、深化させ、記録する 三つの機能を持つと整理した（同 p.27）。そのうえで、効果的な省察は三段階の原則に従うと説く。望ましい学習成果を先に決め、その成果を達成するよう省察を設計し、形成的評価と総括的評価を省察の過程に組み込む（同 p.28）。

DEAL モデルは、この原則を具体化した反省の構造である。まず経験を客観的かつ詳細に記述し（Describe）、次に特定の学習目標に照らして経験を検討し（Examine）、最後に何を学び、どう学び、なぜ重要で、今後どうするかを明示する（Articulate Learning）（同 p.41）。省察の質は、二つの独立した尺度で測られる。一つは Bloom の教育目標分類（六水準）による reasoning の水準、すなわちどこまで深く考えたか。もう一つは批判的思考の基準（明晰さ、正確さ、関連性ほか）による reasoning の質、すなわちどれだけ正確で公正か（同 p.32, p.37）。

この枠組みには前提がある。 DEAL は、教員があらかじめ設計した誘導プロンプトへの応答を分析の対象とする。分析単位は常に「教員が設計した反省課題への学生の応答」であって、構造化プロンプトなしに書かれた自由記述ではない。 Ash と Clayton 自身が、この論文は経験的検証を伴わない規範的な設計提案だと明言している（同 p.28）。省察の質を測る基準も、教育目標分類や批判的思考教育という他分野からの借用であり、DEAL 固有の妥当性検証はこの論文の中では示されていない。

書かれた省察をどう読み分けるか

省察を設計する枠組みが整っても、書かれた記述の質を誰かが判定しなければならない。その判定は長らく、内容分析による手作業のコーディングに依存してきた。時間も資源もかかる作業である。 Thomas Ullmann は2019年に、この判定をどこまで自動化できるかを検証した³。

Ullmann は既存の24種の省察モデルを統合し、省察を検出するための八つのカテゴリからなる体系を構築した（Ullmann 2019, p.221–222）。体系は二つの次元に分かれる。深さ（depth）の次元は、文が反省的か記述的かの二値判定である。 広がり（breadth）の次元は、経験、感情、信念、困難、他者視点、学び、意図という七つの要素のうち、どれが含まれるかを見る。

検証は二段構えで進む。まず health、business、engineering の学生76本のエッセイ、5,080文を文単位でクラウドワーカーに手作業でアノテートさせ、八カテゴリすべてで評価者間信頼性を確認した（Cohen の κ = 0.78–0.98、同 p.235）。次に、そのうち80%で機械学習の分類器を訓練し、残り20%で試したところ、八カテゴリ中五つは高い信頼性で、残り三つは中程度の信頼性で自動検出できた（κ = 0.53–0.85、同 p.217）。自動分析の精度は手作業より平均10%ほど低い。それでも、省察の有無（深さ）と七つの広がりカテゴリの共起はすべて統計的に有意で、この体系が測ろうとしている構成概念が経験的に裏づけられた（同 p.235–236）。

この方法の性格は、要素の有無を判定するところにある。八つのカテゴリはそれぞれ独立に存在の有無を見るのであって、要素同士の時系列的な結びつきを判定するものではない。 Ullmann 自身も限界を挙げている。対象は英語圏の学術的な学生エッセイに限られ、他言語や、ブログや対話記録のような別種のテキストへの一般化は未検証である（同 p.248）。分析単位を文に固定しているため、テキスト全体という大きな単位での信頼性も確かめられていない（同 p.248）。反省の深さを単一の順序尺度として段階評価する系譜も別に存在するが、それは Ullmann の要素検出とは発想が異なる⁴。

三つの方法を並べると、同じ「過程と省察の分析」という看板の下で、収集設計と分析単位が食い違っていることが見えてくる。批判的事例法は、収集の時点で基準を定めて新しい一次データを集める。 DEAL は、教員が設計したプロンプトへの応答を対象にする。 Ullmann の体系は、書かれた省察を要素に分けて有無を判定する。どの方法を選ぶかは、手元にどんな記録があり、何を問いたいかで決まる。

過程データと記録環境

三つの方法はいずれも、書かれたテキストや報告を扱う。これに対して、制作の過程を時系列の操作ログとして直接記録する系譜がある。操作履歴や対話ログを取れる専用の記録環境を用意すれば、実際の過程を後付けの想起に頼らず追える。

想起に頼ることの弱さは、批判的事例法の側からも指摘されていた。 Flanagan は、想起によるインシデント報告が日次記録に比べて大きく脱落すると報告している。 2週間後の想起では、観察された事象の約8割が失われた事例がある（Flanagan 1954, p.331）。記録環境を用意できるかどうかは、この脱落をどこまで防げるかを左右する。

ただし、記録環境の有無は分析対象そのものを規定する。専用のログ環境がある研究は、実際の時系列過程を分析できる。ログが存在しない通常の授業や制作の場では、事後の自己報告や既存の記述を分析するほかない。この違いは方法の優劣ではなく、記録がどこまで残る環境かという条件の違いである。

先行研究レビューの質保証

方法を選び、過程を記録したあとにも、もう一段の点検が残る。その研究が先行研究をどう踏まえたかを、恣意的でなく監査する基準である。「もっと文献を足せ」という感覚的な要求ではなく、確立した方法論に接地した観点が要る。

博士論文のレビューを採点する枠組みとして広く使われているのが、David Boote と Penny Beile が2005年に示した rubric である⁵。彼らは、文献の包含と除外の基準を正当化しているか（Coverage）、やられたこととやるべきことを区別し広い学術的文脈に位置づけているか（Synthesis）、方法論と理論を接続しているか（Methodology）、実践的と学術的な意義を正当化しているか（Significance）を採点軸に据えた。系統的レビューの側では、Andrea Tricco らが2018年に、scoping review の報告基準 PRISMA-ScR を示した⁶。探索範囲、検索戦略、包含基準を明示して再現可能にすることを、20の必須項目として求める。

漏れを機械的に拾う手法も定式化されている。 Claes Wohlin は2014年に、採用済み文献の参照リストを辿る backward snowballing と、それを引用する後続文献を辿る forward snowballing を、系統的レビューのガイドラインとして整理した⁷。どこまで集めれば十分かという停止基準も議論されてきた。新しい文献を足しても理論的な理解が変わらなくなった点を飽和（theoretical saturation）とみなす考え方であり、網羅性を「全文献」ではなく「構成概念の代表性」で判定する（Saunders et al. 2018）⁸。

レビューには、質保証だけでは捉えきれない落とし穴もある。 Jörgen Sandberg と Mats Alvesson は2011年に、研究の問いの立て方を分析し、最も多いのは文献にギャップを見つけて埋める型（gap-spotting）だと指摘した⁹。だが、影響力のある理論は既存文献の前提を問い直す（problematization）ときに生まれることが多く、ギャップ埋めは前提を温存するために凡庸になりやすいと論じた。過程の分析方法を選ぶときにも、この区別は効く。既存の方法の空白を埋めるだけなのか、既存の方法が置いている前提そのものを問い直すのか。批判的事例法、DEAL、Ullmann の体系を並べたのは、それぞれの前提の違いを見えるようにするためでもある。

探索を促す環境の史的事例

過程を分析する方法とレビューの監査が揃っても、そもそも人が試し、つまずき、やり直せる場がなければ、分析する過程は生まれない。探索的な態度を育てる環境をどう設計してきたか。その史的な参照点として、デザイン教育史と組織の制度に一つずつ事例がある。

Bauhaus 予備課程

デザイン教育史でくり返し引かれるのが、1919年から1933年まで続いた Bauhaus の予備課程（Vorkurs）である¹⁰。専門分野を問わず全学生が履修する必修の基礎課程で、Johannes Itten（1919–1923）、László Moholy-Nagy（1923–1928）、Josef Albers（1928以降）という三人が順に担当し、それぞれ異なる教育哲学を持ち込んだ。

予備課程の原則は、理論より先に実践を置くことにあったとされる。学生は紙、金属、布、光といった素材と直接対話し、折り、貼り、組み立てながら、その素材が持つ性質を体験を通じて学んだ。教員の役割は、様式や技法を教え込むことではなく、学生が自ら発見するための環境を設計することにあったと語られる。この設計思想は、教室、家具、道具、技術そのものを教育に不可欠な要素とみなす姿勢として、Albers が移った Black Mountain College や、後年のデザイン教育の場に受け継がれたと言われる。

Bauhaus を「探索を育てた環境」として引くときには、いくつか留保がいる。 Bauhaus に入学できたのは誰でもではなく、入学選抜があり、学費を負担できる層に限られていた。女性学生は受け入れられたが、織物工房に集中して配置されるなど、機会はジェンダーによって偏っていた。語られるのは Paul Klee や Wassily Kandinsky を輩出した成功事例に傾きがちで、脱落した学生や適応できなかった学生の記録は乏しい。そして Bauhaus は1933年にナチスによって閉鎖された。探索を育てる環境は、政治的にも経済的にも脆いという事実が、この閉鎖に表れている。なお、この課程の一次資料（Wingler 1969、Itten 1964、Moholy-Nagy 1947）の原著と、直接引用の頁は本稿では未確認である [要出典確認]。

組織の余白時間制度

組織の制度として引かれるのが、3M の15%ルールと Google の20%タイムである¹¹。どちらも、有給の労働時間の一部を、従業員が自分で選んだプロジェクトに充てられるようにする制度として紹介される。 3M の制度は1940年代に、当時の経営者 William McKnight が導入したと伝えられ、付箋（Post-it）がこの時間から生まれたという逸話が繰り返される。 Google の制度は2004年の株式公開時の書簡で公表され、Gmail や Google マップがこの20%から生まれたとしばしば語られる。

これらの事例は、学術的な厳密さでは扱えない。この領域の情報源は査読論文ではなく、企業の公式発表とビジネスメディアの記事が中心で、統制された実験や標本に基づく実証研究は見あたらない [要出典確認]。語られるのは成功事例に偏り、時間を費やして何も生まなかったプロジェクトのデータは公表されていない。ある製品が「余白時間のおかげで生まれた」という因果の帰属は逸話的な証拠に基づき、反証しにくい。 Gmail の作者が「あれは20%プロジェクトではなかった」と述べたと伝えられることは、この因果帰属の脆さを示す [要出典確認]。

制度の存在と実際の利用のあいだにも隔たりがある。 Google では、20%タイムを一貫して使っていたのはエンジニアの約1割にすぎなかったと報じられている [要出典確認]。制度があっても、主要業務の評価が優先される評価構造のもとでは、余白の時間を使うことが実質的に不利になりうる。「20%タイムの正体は120%タイムだ」という趣旨の批判が伝えられるのは、制度が本業に上積みされる負担として働いた面を指している [要出典確認]。つまり、時間を制度として保証するだけでは探索は促されず、評価の構造と組織の文化がそろって初めて機能する、という条件つきの読み方が要る。

余白時間の事例は、エリート的な労働者の探索条件を示すものであって、あらゆる労働者に開かれた条件ではない。高学歴で高技能の従業員が安定した雇用のうえで探索できることと、その機会が誰に配分されるかは別の問題である。 Bauhaus のアクセス選別性と同じ論点が、組織の側にも現れている。

この地図が残す問い

三つの方法論は、収集設計と分析単位の違いによって、扱える記録の種類を分けている。どれか一つが正しいのではなく、手元にどんな過程の痕跡が残っているかが、選べる方法を先に絞る。記録環境を設計できる研究は時系列の過程を、既存の記述しかない研究は事後の自己報告を、それぞれの制約のうえで分析する。

環境の側の史的事例は、探索を育てる条件が設計できると同時に、アクセスにおいて選別的で、政治的にも経済的にも脆いことを示していた。 Bauhaus の入学選抜と閉鎖、組織の余白時間の低い利用率は、探索を可能にする条件を語るとき、その条件が誰に開かれているかを問わずに済ませるわけにはいかないことを、別々の場面で告げている。

過程をどう記録し分析するかという方法の問いと、探索をどう可能にするかという環境の問いは、別々に見えて地続きである。分析すべき過程は、それを許す環境がなければ生まれないからだ。この地図はその二つを並べたにとどまり、両者をどの認識論のもとで一つの研究プログラムに束ねるかは、design-research-methodology-mainstream と qualitative-quantitative-design-research が扱った方法論的緊張の側に残されている。

参照文献

未検証事項

Bauhaus 予備課程の一次資料（Wingler 1969、Itten 1964、Moholy-Nagy 1947）の原著と直接引用の頁は未確認。記述は二次資料に基づく [要出典確認]。
3M 15%ルールと Google 20%タイムに関する数値（年間収益の約3割が新製品由来、利用率が約1割、「120%タイム」批判、Gmail の由来をめぐる作者の証言）は、企業発表とビジネスメディア由来で査読研究による検証がなく、一次検証が未了 [要出典確認]。
Kember et al. (2008) は書誌のみ確認し、本文の精読は未了 [要出典確認]。

Flanagan, J. C. (1954). The Critical Incident Technique. Psychological Bulletin, 51(4), 327–358. （public domain） ↩
Ash, S. L., & Clayton, P. H. (2009). Generating, Deepening, and Documenting Learning: The Power of Critical Reflection in Applied Learning. Journal of Applied Learning in Higher Education, 1, 25–48. https://files.eric.ed.gov/fulltext/EJ1188550.pdf ↩
Ullmann, T. D. (2019). Automated Analysis of Reflection in Writing: Validating Machine Learning Approaches. International Journal of Artificial Intelligence in Education, 29(2), 217–257. https://doi.org/10.1007/s40593-019-00174-2 ↩
Kember, D., McKay, J., Sinclair, K., & Wong, F. K. Y. (2008). A four-category scheme for coding and assessing the level of reflection in written work. Assessment & Evaluation in Higher Education, 33(4), 369–379. https://doi.org/10.1080/02602930701293355 　書誌のみ確認（本文精読は未了）[要出典確認]。 ↩
Boote, D. N., & Beile, P. (2005). Scholars Before Researchers: On the Centrality of the Dissertation Literature Review in Research Preparation. Educational Researcher, 34(6), 3–15. https://doi.org/10.3102/0013189X034006003 ↩
Tricco, A. C., et al. (2018). PRISMA Extension for Scoping Reviews (PRISMA-ScR): Checklist and Explanation. Annals of Internal Medicine, 169(7), 467–473. https://doi.org/10.7326/M18-0850 ↩
Wohlin, C. (2014). Guidelines for snowballing in systematic literature studies and a replication in software engineering. Proceedings of the 18th International Conference on Evaluation and Assessment in Software Engineering (EASE ‘14). https://doi.org/10.1145/2601248.2601268 ↩
Saunders, B., et al. (2018). Saturation in qualitative research: exploring its conceptualization and operationalization. Quality & Quantity, 52, 1893–1907. https://doi.org/10.1007/s11135-017-0574-8 ↩
Sandberg, J., & Alvesson, M. (2011). Ways of constructing research questions: gap-spotting or problematization? Organization, 18(1), 23–44. https://doi.org/10.1177/1350508410372151 ↩
Bauhaus 予備課程については、Wingler, H. (1969). The Bauhaus: Weimar, Dessau, Berlin, Chicago. MIT Press.／Itten, J. (1964). Design and Form: The Basic Course at the Bauhaus. Reinhold.／Moholy-Nagy, L. (1947). Vision in Motion. Paul Theobald. を主たる二次的参照とする。本稿は原著の頁を直接確認しておらず、記述は二次資料に基づく [要出典確認]。 ↩
3M の15%ルールと Google の20%タイムに関する記述は、企業の公式発表とビジネスメディアの記事を統合した二次情報に基づく。査読された実証研究は確認できておらず、数値と逸話はいずれも一次検証が未了である [要出典確認]。一次資料の候補として Page, L., & Brin, S. (2004). Google IPO Letter. および Bock, L. (2015). Work Rules! Twelve. がある。 ↩