Shuichiro Ogawa
English

ノート · 更新 2026-11-21 · Markdown 版

やり取りのたびに Jev の判定が入る Claude Code 環境の構成の検討

ktlog.net の記事にある Claude Code 環境の構成を Jev の使い方に関する調査の観点で読んだ。記事では依頼が入口からハーネスを経て 4 つの行き先へ進む。

目次(9)
  1. このノートの対象と分析の枠組み
  2. 記事にある環境の全体像
  3. 判断と決定が分かれた構造
  4. 実行前の判定と障害時の戻り方
  5. 147 のスキルから選ぶ判定の設計
  6. 品質と完了の判定の書き方
  7. 複数の判定を重ねる地点での独立性
  8. 閾値とモデルの版と費用の管理
  9. 構成の整理と利益の比較方法

このノートの対象と分析の枠組み

このノートでは ktlog.net で 2026 年 11 月 8 日に公開された記事「Claude Codeのおすすめ環境を全体図で解説。ハーネス・スキル・MCPの仕組みと実例」(2026 年 11 月 21 日取得)の構成を取り上げる。 Jev の使い方に関する調査(Jev(TypeSafe AI)活用の現状と課題(2026 年 11 月))の知見と記事の構成を照らし合わせる。 論じる対象は構成の設計であり筆者や媒体の評価は行わない。

記事から分かるのは構成までである。 Jev に渡す質問の文と criteria はこのノートの材料に無い。 閾値とその決め方も材料に含まれない。 誤判定の件数や Jev に届かないときの動きも分からない。 呼び出すモデルの版もこのノートの材料には無い。 そのためここで確かめられるのは構成のどこが調査の推奨と対応するかという点である。 あわせて同様の構成を組む際にどこを確かめる必要があるかを整理する。 実際の運用でどの程度の効果が出ているかはここでは扱わない。

以降の節では判断から実行までの流れを地点ごとに追う。 各地点で見るのは次の三つの問いである。

  • 何を見て判定するか
  • 先へ進むかどうかは誰が決めるかあるいはどのコードで決まるか
  • 誤ったときや障害のときにどう戻るか

この三つの問いに沿って全体の構造から個別の判定地点まで順に確認する。

記事にある環境の全体像

記事の構成では依頼が上から下へ次の六つの層の順に流れる。

  • 入口
  • 司令塔(Claude Code)
  • ハーネス
  • 振り分け(4 つの行き先)
  • 担当と道具(サブエージェント)
  • 出口

これら全体の土台にナレッジが置かれている。

司令塔は 2026 年 11 月時点で Claude Opus 5.5 であり推論の設定は xhigh である。 配下にはスキルが 147 個ありサブエージェントが 150 個並ぶ。 プラグインも 17 個入っている。

依頼が入る入口としては次の四つが挙がっている。

  • スマホアプリ(リモートコントロール)
  • ターミナル
  • Discord
  • 定期タスク

ほかにクラウド PC の中の Claude Code への指示経路として Grok Bot がある。 自作の Discord Bot もあるが 11 月 5 日時点で停止中とある。

ハーネスは依頼が作業に入る前に必ず通る仕組みとして位置づけられている。 そこには判断と権限のほかに安全設定が含まれる。 ハーネスの部品は次の五つである。

  • 判断 AI
  • フック
  • 権限ルール(settings.json)
  • API キーのファイル
  • CLAUDE.md

判断 AI には TypeSafe AI の Jev が使われている。 記事ではやり取りのたびに Jev を挟むとあり対象には人と AI の間や AI どうしの間が含まれる。 サブエージェントとのやり取りも対象である。 1 回の判定にかかる時間は 0.2〜0.35 秒ほどとある。 画像の判定は別になっており OpenAI の Decisions API が使われている。

振り分けの行き先は次の四つである。

  • ほかの AI(画像は Codex/動画と Workspace は Antigravity/レビューは Codex と Antigravity)
  • スキル
  • MCP
  • 外部 API

どれを使うかは司令塔の Claude Code 側で決まる。

記事では実例としてブログ記事と広告動画のほかに請求書の流れが紹介されている。 作業の終わりには全体に共通する仕組みとしてレビューが入る。 レビューで指摘がなくなったものだけが先に進む。 指摘があればサブエージェントへ戻って修正される。

判断と決定が分かれた構造

まず「先へ進むかどうかは誰が決めるかあるいはどのコードで決まるか」という問いに沿ってハーネスと実例を見る。

取り返しのつかない操作の制御は決まった規則の側に置かれている。 権限ルールの settings.json では既定が auto になっている。 ただし特定の危険な操作は確認に回る仕組みである。 確認に回る対象として次の三つが挙がっている。

  • sudo
  • rm -rf
  • git push —force

Chatwork での削除は禁止になっている。 フックは全部で 11 本あり実行前には bash-guard と Jev が置かれている。 特定のフォルダの中身の削除は強制的に止まる。 ほかに文章の依頼で文体のナレッジを読む指示と Jev の起動が入るフックがある。 作業後に Obsidian への登録の案内が出るフックもある。

API キーは 27 個が 1 つのファイルにまとめられている。 中身は 1Password のシークレット参照である。 実行時にスクリプト経由で読み込まれる仕組みになっており Claude Code からファイルの中は開かれない。

記事では settings.json と CLAUDE.md の役割の違いが説明されている。 settings.json はできることとできないことの境界となる規則である。 これに対して CLAUDE.md は「お願いベース」のルールとされている。 CLAUDE.md に並ぶ項目は次の五つである。

  • 日本語を整える
  • メモは Obsidian の CLI で取る
  • 判断は Jev で行う
  • AI っぽいデザインを使わない
  • 完成したら必ず見直す

この二つの中間に位置するのが Jev である。 settings.json のように処理の可否が規則で直接に強制されるわけではない。 一方で守られるかどうかが読み手のモデルに委ねられる CLAUDE.md のお願いとも異なる。 Jev からは決まった型の答えが確率付きで返る。 TypeSafe は 2026 年 11 月 3 日のブログ「Don’t Call It a Decision Model」で「Jev makes judgments, code makes decisions」という標語を掲げている。 取り返しのつかない操作を settings.json とフックの側で止めつつその上に Jev の判定を重ねる構成は調査の推奨と対応する。

実例には人の確認の地点も含まれている。 請求書の実例ではフックからスキル選択へ進む。 次に MCP での取引先検索を経て確認表が作られる。 その段階で人が金額を確かめる手順が入る。 記事にはお金が関わる作業のためなるべく人も判断する方針とある。 その後で請求書と PDF が作られ Jev の最終判断を経て報告に至る。 ブログ記事の実例でも下書きを Jev で判定して EmDash で元の資料と照合したあと最後に人が見て公開される。 請求書の工程には人の確認の地点がある。 ただし最終の決定がどの地点に置かれているかまでは構成の説明だけでは断定できない。

画像の判定を別の API に分けている点も役割分担の一つである。 OpenAI の Decisions API では次の三つが見られる。

  • 文字の崩れ
  • スクリーンショットの個人情報(写っていればモザイク)
  • 図の要素の重なり

Jev 1.14 では画像の入力が実験として足された。 しかし TypeSafe 自身はブログ(jev-1-14)で本番の用途に勧められる水準ではないと書いている。 Willison が 2026 年 11 月 11 日の記事でまとめた比較でも Jev の対象はテキストと JSON だけである。 同じ比較で OpenAI の決定モデルはテキストと画像の両方に対応すると整理されている。 画像の判定を OpenAI の Decisions API へ分けて Jev をテキスト側に留める構成は調査の推奨と対応する。

実行前の判定と障害時の戻り方

次に実行前の地点を見る。 ここでは何を見て判定するかという点と誤ったときや障害のときにどう戻るかという点が論点になる。

実行前のフックには bash-guard と Jev が置かれている。 記事には実行の前に取り返しがつく操作かどうかを判定するとある。

ここで確認したいのは実行前の判定で state に何が入るかである。 もしこれから走るコマンドの文字列がそのまま state に入る設計なら注意が要る。 2026 年 9 月 23 日の typesafe-sdk-js issue #15 には state に curl のコマンドが含まれると正当なリクエストでも Cloudflare 側で HTML の 403 が返って止まる報告がある。 この応答は HTML の 403 になるため見かけ上は認証の失敗に見える。 実行前の state にコマンド文字列が入るかどうかを確かめたうえで 403 が返ったときの切り分け方を決めておきたい。

外部の API を使う以上は障害時の動きも設計の対象になる。 記事ではやり取りのたびに Jev を挟むとある。 もしすべてのやり取りで Jev の応答が返るまで処理が進まない同期の設計なら障害の影響はやり取り全体に及びうる。 実際に TypeSafe の status ページには 10 月 14 日の us-east-1 で約 45 分続いた遅延の増大が記録されている。 10 月 30 日にも約 1 時間 15 分の過負荷が記録されている。 Vercel の AI Gateway 経由では 9 月 26 日ごろから一部のチームに 429 が返り続けた事象もあった。

Jev に届かないときや 403 と 429 が返ったときに処理を止めるか通すかはコード側で決める必要がある。 Tzolov が 2026 年 10 月 2 日に報告した Spring AI の実装では Jev の部品は fail open になっている。 この実装では Jev に届かないと点検されないまま処理が通り警告のログだけが残る。

同じ環境の中でも地点ごとに望ましい戻り方は異なる。 たとえば実行前の判定(取り返しがつく操作かどうか)ではリクエストが Jev に届かないときに処理が止まる設計(fail-closed)が考えられる。 一方で依頼の種類の判定ではリクエストが Jev に届かないときに司令塔の Claude Code 側の選択へ戻る形が考えられる。 どの地点で処理を止めてどの地点で別の経路へ戻すかをコードの分岐として決めておきたい。

正常に応答が返る場面でも誤判定の損失は対称ではない。 TypeSafe は docs(Noul)で「Raise it when acting on a false yes is expensive, such as paging someone or issuing a refund」と述べている。 同じページでは高い値が yes になるように問いを組むよう勧められている。 取り返しのつかない操作を誤って取り返しがつくと判定したときの損失は大きい。 実行前の判定で誤った yes が出にくい水準に閾値が置かれているかを確かめたい。

147 のスキルから選ぶ判定の設計

続いて依頼が届いた地点を見る。 ここでは何を見てスキルを選ぶかという点と誤選が起きやすい条件をどう扱うかを確認する。

記事の構成では小さなタスクごとにスキルを作って組み合わせる方針が採られている。 2026 年 11 月時点でスキルの数は 147 個に及ぶ。 スキルごとにサブエージェントも用意されている。 たとえば動画のスキルではプランナーとテロップのほかに品質確認のサブエージェントがある。

また案件ごとにスキルが分かれている。 記事ではスライドのスキルが A 社用と B 社用に分かれている例が挙がっている。 内容は重なるが A 社用と B 社用でデザインと著作権が混ざらないように分けられている。

スキル選択に Choice を使う場合の上限は 255 である。 TypeSafe は docs(Choice)で「give the model the full list of teams, categories, or products rather than a shortlist」と述べている。 候補を絞らず一覧のまま渡す方針が勧められている。 147 という数は 255 の上限に収まる。 ただし候補を全件渡しているか絞り込んで渡しているかは構成の説明からは分からないため設計時には渡し方を確かめたい。

候補が多い場面では並び順への偏りが問題になる。 TypeSafe の docs(model jaggedness)には Jev の出力は最初の選択肢に寄りやすい傾向があると記されている。 対策として選択肢を並べ替えて答えが変わらないかを確かめる手順が勧められている。 Song ら(arXiv 2610.35826)の評価では並べ替えによる精度の平均の変動は 2 ポイント未満だった。 しかしどこかの並びで誤る問題の集合は元の並びに比べて 27.3〜28.5% 広がった。 平均の精度だけを見ていると特定の順序で起きる誤選を見落とすおそれがある。

案件ごとに分けたスライドのスキルのように内容が重なる組では選び間違いを減らす書き方が要る。 9 月の作法(Jev をどう使うか、どこで使わないか)では紛らわしい選択肢の対を次の三つで書き分ける手順が整理されている。

  • what
  • not_for
  • examples

案件ごとに分ける目的を保ったまま選び間違いを減らすにはこの三つで対の境界を明記したい。 そのうえで選択肢を並べ替えても答えが変わらないかを試す手順が要る。

依頼が届いた地点では依頼の種類に加えて曖昧さも判定していると記事にある。 TypeSafe は docs(Choice)で「A none of the above option may not work well in many use cases」と述べている。 該当なしの選択肢を一覧に置く代わりに companion Noul を別に設ける形が勧められている。 依頼の曖昧さを別に判定する構成はこの勧めと対応する。 ただし該当なしの選択肢を使う形と companion Noul に分ける形について直接の比較評価はまだ材料に無い。

品質と完了の判定の書き方

作業を締める前や案を選ぶ地点では何を見て判定するかという点と合格の条件の書き方が論点になる。

記事では作業を締める前の地点で未確認のまま完了にしていないかを判定しているとある。 案を選ぶときにもどの案がよいかが判定されている。 ほかにも判定の対象として次の四つが挙がっている。

  • 「ナレッジと比べてどのくらい違うか」
  • 「日本語の言い回しはどう評価できるか」
  • 「最初の段取りはこれでよいか」
  • 「最終の成果物は 100% の品質になっているか」

ここで「最終の成果物は 100% の品質になっているか」という表現を API へ実際に渡す質問の文だと見なすことはできない。 記事の文言は構成の説明として書かれたものである。 実際の質問の文はこのノートの材料に無い。 実装の際に考えたいのは品質の判定で質問の文と合格の条件をどう対応させるかである。

Jev の答えは確率と点数で返る。 TypeSafe は docs(Confidence)で「Confidence measures how concentrated the answer’s probabilities are, which is different from the probability that the selected answer is correct」と定義している。 高い confidence は答えの確率の集中度であり選ばれた答えが正しい確率ではない。 数値の高さだけをそのまま合格の根拠にする設計は避けたい。

点数の付け方については TypeSafe の docs(Score)に「Describe situations, not degrees」とある。 どの程度達成できたかという度合いではなくどの欠けが無ければ合格なのかを状況の文で書く方針が勧められている。

質問の書き方そのものにも特有の制約がある。 TypeSafe の docs(model jaggedness)の Literal reading には「Jev answers the question you wrote, not the one you meant」とある。 同じ docs の Indirection の項では性質の性質を問うような何段もの推論が要る間接の問いでは精度が落ちると記されている。 そのためできるだけ直接の問いとして書くよう勧められている。

TypeSafe の docs の勧めに従うなら比較や品質確認の問いは対象と基準を直接に書く形へ寄せたい。 たとえば「ナレッジと比べてどのくらい違うか」という確認では比べる対象となる二つの文書を state に入れたうえで個別の確認項目ごとに直接の問いへ分ける書き方が docs の勧めに沿う。 ブログ記事の実例では下書きを Jev で判定し EmDash で元の資料と照合して問題があれば前の工程へ戻す流れになっている。 照合する資料と戻す条件が具体的に定まっている地点ほど状況に基づく直接の問いとして書きやすい。

複数の判定を重ねる地点での独立性

同じ成果物に対して複数の確認が連続する地点では前の判定が誤ったときに後ろの確認で止められるかを見る。

記事の広告動画の実例では 1 本あたり 20〜30 分の工程の中に複数の確認が並んでいる。 最初に Jev で進め方が判断される。 次に 1 秒ごとの要素を絵にして静止画で確かめる。 その検品でずれていればやり直す。 さらに完成品は Gemini にも見せる。 最後に Jev の最終判断が入る。

似た種類の判定を重ねたときの振る舞いについては Rao と Callison-Burch(arXiv 2609.29769)の評価がある。 著者らは rubric 採点の 9 つの評価パネルで Jev と LLM の judge の組み合わせを調べた。 Jev の confidence が最も高い誤答では LLM の judge の判定の 96.0% が Jev と同じ答えだった。 仮に誤りが独立であればこの割合は 50.3% になる。 理想的な oracle の閾値を使った場合でもカスケードによる精度の上がり幅は最も強い単独の judge に対して 2.7 ポイントまでだった。 著者らはこの結果を「a cheap substitute for a flash-tier LLM judge but a poor complement to one」とまとめている。

ただしこの評価がそのまま当てはまる範囲には限りがある。 Rao らの評価の対象は rubric 採点の 9 つの評価パネルである。 動画の検品で同じことが起きるかどうかは確かめられていない。

その前提を置いたうえで rubric 採点の結果に照らせば似た種類の判定を続けて重ねても独立した確認になりにくい可能性は意識しておきたい。 一方で記事の構成には異なる手段の確認も組み込まれている。 広告動画の実例にある 1 秒ごとの静止画での確認はその例である。 OpenAI の Decisions API による画像の判定は言語モデルによるテキストの判定とは手段が異なる。 ブログ記事の実例にある EmDash での元資料との照合も同様である。 後ろの確認を足すときは前の判定と異なる対象や手段で見ているかを確かめたい。

閾値とモデルの版と費用の管理

最後に判定の結果をコード側の決定へつなぐ際の閾値とモデルの版を確認する。 あわせて費用の構造も見る。

記事には Jev の判定にかかる時間として 0.2〜0.35 秒ほどとある。 応答の速さは構成の中で見通せる一方で閾値の決め方とモデルの版の扱いには別の注意が要る。

Li ら(arXiv 2609.26550)は閾値を対象の課題で決める必要があると報告している。 著者らはその閾値を約 100 件のラベルで選ぶ手順を示している。 Brom(arXiv 2610.36311)の報告によると 190 回の評価のうち点推定で選んだ閾値では 147 回で精度が目標を下回った。 したがって閾値は判定ごとにその判定のデータで確かめる必要がある。 点推定だけで一度決めて終わりにすると目標の精度を下回るおそれがある。

モデルの版の固定も閾値の管理と切り離せない。 2026 年 10 月 14 日に jev-1.14.0 が公開され jev-latest は 1.14.0 を指すようになった。 判定ごとのデータで閾値を選んだあとに jev-latest のまま呼び続けると版が移ったときに選んだ閾値が合わなくなりうる。 版の番号が入った ID で呼び出し版を変えるときは閾値を選び直す手順が必要になる。

費用の面では課金の単位を把握しておきたい。 TypeSafe の docs(Models)では入力トークンで課金され出力は無料とされている。 もしやり取りのたびに Jev を挟む設計であれば費用は 1 回あたりの state の長さと実行回数の積で増える。 実行前の確認や下書きの判定のように長い文脈が state に入る地点では入力トークンが増えやすい。

呼び出しをまとめる工夫も公式の資料にある。 TypeSafe の cookbook(parallel_questions)には同じ state に対する質問を 1 回にまとめると「12.2x cheaper」になるという提供元の計測が載っている。 たとえば依頼が届いたときに同じ state を見て依頼の種類と曖昧さを問うなら 1 回の呼び出しにまとめる余地がある。 ただし「12.2x cheaper」という数値は提供元の計測であり自分の環境での削減幅は実測して確かめたい。

構成の整理と利益の比較方法

ここまでの確認を整理すると記事の構成の中で調査の推奨と対応する点は次の四つである。

  • 取り返しのつかない操作が settings.json とフックという決まった規則の側に置かれて Jev の判定とは分かれている点
  • 請求書やブログ記事の工程に人の確認の地点がある点
  • 画像の判定が OpenAI の Decisions API に分けられて Jev がテキスト側に留まっている点
  • 依頼の種類とは別に曖昧さを判定する構造がある点

一方で同様の構成を組む際に確かめたい点は次の六つである。

  • Jev に届かないときや 403 と 429 が返ったときに判定ごとに止めるか通すかの戻り方
  • 実行前の state に curl などのコマンド文字列が入るかどうかの確認
  • 判定ごとのデータを使った閾値の検証とモデル版の固定
  • 147 のスキルにおける紛らわしい対の書き分けと並べ替えによる検証
  • 品質や完了の判定における状況ベースの問いと合格条件の対応
  • 似た種類の判定が続く地点での独立性の確認

構成が調査の推奨と対応しているかどうかだけでは実際の利益は分からない。 この構成の利益を測るには同じ作業の組を使って次の三つの条件を比べる必要がある。

  • Jev を置いた地点と置かない地点
  • 決まった規則だけで処理した場合
  • 人の確認を入れた場合

これらの条件を比べるときの指標は次の四つになる。

  • 誤り
  • 手戻り
  • 待ち時間
  • 費用

たとえば実行前の地点では settings.json と bash-guard だけの構成を基準にする。 その構成に Jev が加わった場合と比べる。 そこで誤りの減少に対して待ち時間と費用がどれだけ増えるかを見る。 完了前や検品の地点では Jev の判定を入れた場合と省いた場合に加えて人の確認に回した場合を比べる。 手戻りの増減に加えて待ち時間と費用の釣り合いを同じ指標で測ることでどの地点に Jev を置くのが見合うかが判断できる。

関連ノート: Jev(TypeSafe AI)活用の現状と課題(2026 年 11 月)、Jev をどう使うか、どこで使わないか、TypeSafe AI の Jev における保証の範囲、判断が関数呼び出しになるとデザインで何が変わるか(TypeSafe AI の Jev から)、エージェンティックコーディングにおけるオーケストレーションパターンの現状(2026 年)

未検証事項

  • 閾値も判定の記録も Jev に渡す質問の文もこのノートの材料に無い
  • このノートでは構成を検討しており効果は測っていない
  • Rao と Callison-Burch の評価の対象は rubric の採点である
  • rubric の採点で報告された結果が動画の検品でも当てはまるかは確かめていない

参照文献

すべて 2026-11-21 にアクセス。

検討した記事

ベンダー一次情報(T1v)

個人の見解と独立実装(T3)

学術(プレプリント)

  • Li, Y., Miao, Y., Krishnan, R., & Padman, R. (2026). JEV-as-a-Judge: Accept When Confident, Escalate When Unsure. arXiv:2609.26550v6. https://arxiv.org/abs/2609.26550
  • Rao, D., & Callison-Burch, C. (2026). Decision Models vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places. arXiv:2609.29769v3. https://arxiv.org/abs/2609.29769
  • Brom, P. C. (2026). Confidence Is Not a Promise: A Reference Audit of Typed Decision Models. arXiv:2610.36311. https://arxiv.org/abs/2610.36311
  • Song, M., Zheng, M., Ma, Z., & Zhou, X. (2026). Understanding Jev-Style System One Models: Does Structure Reduce Selection Bias? arXiv:2610.35826v3. https://arxiv.org/abs/2610.35826

著者:小川 修一郎(デザイン研究者/デザインコンサルタント) 経歴を見る →