Shuichiro Ogawa
English

ノート · updated 2026-09-18

TypeSafe AI の Jev は何を保証し、何を保証しないか

TypeSafe AI が 2026-09-15 に公開した Jev は、テキストを生成せず、型づけられた判断と確率だけを返すモデルである。自社評価では精度 67.8% で最良の比較対象 74.1% に負ける一方、コストとレイテンシで大きく勝つ。

目次（10）
  1. 何を入力し、何が返るか
  2. ベンダーが自分で出した精度の数字
  3. 独立テストは、どこで一致し、どこで割れるか
  4. 保証されているのは型であって、正しさではない
  5. 公式が自分で列挙した「できないこと」
  6. 判断は合成できるか
  7. 較正を報酬にする学習は、新しいか
  8. この層を切り出す動機になっている背景
  9. 料金と契約の実際
  10. 信頼度の読み方

何を入力し、何が返るか

状態（state）を入れると、質問（questions）への答えが返る。 返るのは文章ではない。

質問の型は 3 つある。 Choice は選択肢の集合から 1 つを選ぶ。criteria に「選択肢名から説明へのマップ」を渡す。返るのは choice（最高確率の選択肢）、probabilities（全選択肢の分布。合計 1）、confidence。1 問あたりの選択肢は 255 まで。 Score は順序づけられた段階から 1 つを選ぶ。criteria は段階の説明の配列で、最低 2 段階、最大 10 段階。返る score は段階番号の確率加重平均で、段階の間の小数を取る。 Noul は命題が真かを 0 から 1 の単一値で返す。0 が偽、1 が真、0.5 が五分五分。Noul には confidence が付かない（公式ドキュメントに「Noul does not return a separate confidence value」という専用の節がある）。

confidence は Choice と Score にだけ付く。 公式の定義では「confidence is a statistic computed from the probability distribution the answer already gives you」。つまり確率分布から計算できる統計量であって、別に学習された数値ではない。 使い方の目安として high は自動実行、medium は注意して続行、low は実行しない、という 3 段階のバンドが示されている。 ただし公式自身がこれを「convenient measure」と呼び、閾値はドメイン依存で拘束力がないとしている。

API は POST https://api.typesafe.ai/v1/systemone の 1 本である。 公式ドキュメントの説明では、すべての質問は並列に評価され、質問を足してもレイテンシは増えない。 質問どうしは独立で、互いの文脈を汚さないとされる。 ただし 1 リクエストあたりの質問数の上限は開示されていない。 依存関係のある判断は 2 回目のリクエストに分ける設計で、これは「the exception, not the rule」と位置づけられている。

名称に 1 つ注意がいる。 公式ドキュメントが一貫して使う正準名は Noul で、Boolean という語は使わない。 Boolean は Vercel の AI SDK が evaluate API に付けた名前である。 ローンチ時の報道には「Boolean（別名 Noul）」という記述が流れたが、これは SDK 側の名前とベンダー側の名前を取り違えている。

ベンダーが自分で出した精度の数字

TypeSafe は自社の評価ダッシュボードを公開している（evals.typesafe.ai）。 そこに載っている数字が、このモデルの位置をほぼ決めている。

4 ワークフローの等重み平均で、Jev は精度 67.8%、1 ケース $0.0004、0.4 秒である。 比較対象のうち最良は GPT-5.6 Sol の 74.1%（$0.0836、23.3 秒）。 Claude Opus 5 は 73.1%（$0.1761、37.8 秒）、Claude Sonnet 5 は 67.8%（$0.1174、78.1 秒）、Claude Haiku 4.5 は 53.6%。

精度では負けている。 コストでは 2 桁、レイテンシでは 1 から 2 桁勝っている。 つまり Jev は精度を競っていない。

この表の読み方には制約がある。 参照ラベルは「GPT-6 Astra と Claude Fable 5.1 の回答（ともに high thinking）の平均」であり、正解データではない。 比較対象のモデルはすべて各プロバイダの既定 reasoning 設定で走らせており、Jev 側だけがチューニングされている。 4 ワークフローの等重み平均なので、タスクの構成比が変われば数字も動く。 ケース数はダッシュボードに表示されていない（複数の報道が伝える「711 例」は一次では確認できない）。

ベンダー自身がこれらの限界をページ上に列挙している。 参照が 2 モデルなので同じ系列が有利になりうること、reasoning 予算が非対称であること、ラベルは合意であって gold standard ではないこと、ハーネスの正しさは「we assume that the code is correct」という前提に置かれていること。 そして「every model is more accurate」という主張には自社データ内に反例がある（Agent Trace で DeepSeek v4 pro は prompt 版 72.1% が workflow 版 71.6% を上回る）。

独立テストは、どこで一致し、どこで割れるか

第三者による検証はすでに複数出ている。 いずれも小標本で、結論は割れている。

分類課題では強い。 AbdelStark の事前登録つき pilot（300 例、seed 固定、jev-1.13.0）では、AG News で Jev 0.910 対 GLiNER2.5 0.700（信頼区間が 0 をまたがない）、Banking77/BTZSC で 0.870 対 0.610 だった。

順位づけでは弱い。 Zenn の 53 日分ニュース選別テストでは、日次 AUC の平均が Jev 0.653、Sonnet 5 0.697、Haiku 4.5 0.676、並び順ベースライン 0.637 である。 Jev と Sonnet の差は −0.044 で、信頼区間は 0 をまたがない。 この記事の強みは課金の実測にある（3,408 リクエストで $0.22、推定 $0.218）。Jev は 1 日約 1.0 秒と約 $0.001、Sonnet 5 は 78 秒と $0.167 だった。

較正では負ける。 同じ AbdelStark の pilot で、DAIR Emotion は Jev 0.480 対 0.440 と差がつかず、しかも Brier スコアは 0.846 対 0.668、NLL は 5.588 対 1.381 と大きく劣る。 真のラベルに確率 0 を与えた例が 16% あった。 「確率つきの判断を返す」という売り文句の中心部分で、独立テストは否定的な結果を出している。

速度とコストの主張は、桁の水準では再現する。 Every のテストでは、Jev は中央値 0.35 秒、Claude Fable 5.1（high effort）は 8.83 秒で、約 25 倍の差だった。コストは約 580 分の 1（これは実測ではなく見積り）。 37 文書 × 21 問の 777 判定を 0.7 秒未満、約 0.25 セントで処理している。 370 ルールの diff チェックを 2 秒未満で回した実装例もある。

ただし精度の代償が出る。 Every のテストは、正常 6 件と欠陥を植えた 6 件の計 12 passage を使った。 Jev は植えた欠陥 7 つのうち 1 つを見逃し、しかも 3 回連続で同じものを外した。 Fable 5.1 は 7 つすべてを捉えている。 著者自身が「much more thorough accuracy check が要る」と書いている。

チェスに応用した例では、Jev は Elo 242.9、リーダーボード 59 位だった。 80 局すべてをプロトコルどおり完走したが、相手の Dragon に 5 敗 5 分 0 勝で、引き分け率 50% が下がらなかった。 この使い方は Choice の選択肢上限 255 に合法手を全部入れる配線で、ベンチとしての妥当性は筆者も限定している。

保証されているのは型であって、正しさではない

TypeSafe のトップページには「Zero Hallucinations」と書かれている。 これは測定値ではない。

ローンチ記事にこうある。 「Our number is not empirical. Schema matching is guaranteed, thus we can confidently add 0% into the plots」。 型の一致は定義上保証されるので、グラフに 0% を置けるという理屈である。 ベンダー自身が empirical ではないと明記している。

この区別は重要で、混同されやすい。 型が合っていることと、判断が正しいことは別である。 CEO の Diogo Almeida は Hacker News で「it’s also possible to be confidently wrong」と書いている。 Would you say a linear classifier hallucinates? とも書いている。

The Register の記者は「TypeSafe claims that Jev is hallucination-free, which really isn’t a fair comparison as its output is not natural language」と指摘し、同時に「and that does not preclude the possibility of being incorrect」と付けている。

Anthony Maio の表現が最も短い。 「Jev constrains the shape of the output. It does not constrain the judgment.」

公式が自分で列挙した「できないこと」

公式ドキュメントには model-jaggedness/jev-1.13 というページがある。 既知の粗さを自分で並べたページで、jev-1.13 はテキストを生成するようには訓練されていないと明記されている。 Choice を連鎖させて生成を強制するのは「slow and ineffective」で、テキストが要るなら「there are other models for that」と書く。

計算はできない。 「Jev is not a calculator」「jev-1.13 does not count reliably」。誤差は対象が大きくなるほど拡大する。 score の出力を厳密な量の算出に使ってはならないとされている。

日付も読めない。 「jev-1.13 reads dates as text, not as ordered quantities」。順序も距離も期間も信頼できない。

原則が 1 文でまとめられている。 「Extraction is a judgment, so give it to the model. Arithmetic is not, so keep it in code.」 抽出は判断だからモデルに渡してよい。算術は判断ではないからコードに残せ、という切り分けである。

入力はテキストだけである。 画像も音声も動画も対応していない。訓練の主要言語は英語。

状態は敵対的入力として扱われない。 「State is data, and jev-1.13 does not treat it as hostile by default」。混入した指示や誤導するフレーミングで回答が動く。

質問どうしの算術的な一貫性も保証されない。 公式が自ら反例を出している。同じ状態に対して Noul が 0.22 を返した一方で、Choice の yes が 0.01、no が 0.99 になる。 別の例では refund が 0.72、not_refund が 0.47 で、合計が 1.19 になる。 「don’t hold the model to arithmetic identities between separate questions」と書かれている。

コンテキスト長は公式ドキュメント内で矛盾している。 models.md は「64k tokens per request」「32k tokens for state plus the longest question」と書き、primitives.md は「around 32,000 tokens, roughly 150,000 characters of English text」と書く。 どちらが正かは公式内で決着していない。

判断は合成できるか

Jev の売りは、判断を部品として software から呼べることに置かれている。 マニフェストの比喩は「Intelligence today is like databases before SQL」である。

この比喩が成り立つかどうかが、実務での使いどころを決める。 Maio の指摘はここに向いている。 「individually calibrated judgments do not automatically compose into a calibrated workflow」。 1 つ 1 つの判断が較正されていても、それをつないだワークフローが較正されるわけではない。 理由も 1 文で書かれている。「Correlated mistakes survive composition.」相関した誤りは合成を生き延びる。

Archer Hume の約 1 万 API コールによるブラックボックス監査は、この直感に機構を与えている。 confidence は学習された較正値ではなく、先頭回答が一様分布からどれだけ離れているかの算術値だった。 質問は互いに attend していない（兄弟の質問に置いた秘密文字列は 0.00、state に移すと 0.90 から 0.92）。 無関係な 5 番目の選択肢を足すと、既存 2 択のログオッズが全ブロックで下がる（独立に採点しているなら変わらないはずである）。 上限は分岐あたり約 32,768 トークン、リクエスト全体で約 65,536 だった。 同氏は再構成が speculative であること、注意マスクを一意に特定できないことを自分で明記している。

Maio はもう 1 つ、評価の射程も限定している。 「the evaluation did not establish probability calibration, general intelligence, or production reliability」。

較正を報酬にする学習は、新しいか

TypeSafe は学習手法を RLCD（Reinforcement Learning for Calibrated Decisions）と呼ぶ。 公式ドキュメントの説明では、出力の契約が 3 つある。テキストを生成しないこと、決定と確率を返すこと、高い確率が正解率の高さに対応すること。 RLHF は「sycophancy と自信過剰な hallucination を報酬しうる」ものとして、RLVR は「数学等に強いが遅く高価」なものとして対比されている。

アイデア自体は新しくない。 報酬に logarithmic scoring rule を使って LLM に較正された信頼度を出させる研究は、ICLR 2026 に採択されている（arXiv:2503.02623、初版 2025-03-04）。 TriviaQA で ECE 0.0226 という結果を報告している。 Maio も「Reinforcement learning for calibration is also not new」と書き、Jev の strongest case は「architectural rather than algorithmic」だと結論している。

アーキテクチャは開示されていない。 パラメータ数も層も訓練データも重みも非公開である。 CEO は Hacker News で「architecture is close to the chest for now, but we have talked about writing a paper」と書いている。 非開示であると明言した文書があるわけではなく、単に存在しない。

公開リーダーボードも避けている。 チェスに載せた Saplin は「TypeSafe is openly anti-benchmaxxing」と書き、既存の LLM ベンチマークは当てはまらないとして通常の公開評価スコアボードに並べず、日付つきの内部スナップショットを好むと紹介している。 ただしこの記述の逐語は TypeSafe の一次ページでは確認できていない。

この層を切り出す動機になっている背景

判断だけを返すモデルが成立するかどうかは、判断のコストがどれだけ問題になっているかにかかる。 その背景の数字は調査会社側に揃っている。

Gartner は、エージェント型ワークフロー 1 件あたりの推論コストが 2028 年までに 5 倍超になると予測する（Tokenomics Model、12 種の AI モデルで試算）。 高度な推論エージェントは単一タスクで最大 150 倍、エージェントは同等タスクで 5 倍から 30 倍のトークンを使うとされる。 Deloitte は、2026 年に推論が AI 計算の約 3 分の 2 を占めると予測し、ポストトレーニングが基盤モデル学習の 30 倍、long thinking が単純推論の 100 倍超の計算を食うと書く（中継元は Nvidia ブログ）。 McKinsey のリレー記事は、エージェント型タスクのコストの約 60% が応答の検証と洗練に消えると伝える。

逆方向の圧力も同時に効いている。 Epoch AI の計測では、固定した性能水準を達成する推論価格は年 9 倍から 900 倍の速さで下がっており、GPT-4 相当の水準では年 40 倍である。 a16z と OpenRouter の共同調査（100 兆トークン超、13 ヶ月）では reasoning モデルがトークンの 50% 超を占める。

つまり判断の層を切り出す動機は、コストの絶対額ではなく構成比にある。 そして Jev 自身を扱った analyst レポートは 2026-09-18 時点で存在しない。 Gartner、IDC、Forrester、Constellation、McKinsey、BCG、Deloitte、a16z のいずれにも言及がない。 「LLM を判断と分類だけに使う」というカテゴリの市場規模も、隣接する LLM ルーター市場や SLM 市場の sizing はあっても、このカテゴリ自体のものは見当たらない。

公的機関側も同じである。 Jev と TypeSafe AI を名指しした公的一次資料は、19 ドメインで到達を試みた範囲では 0 件だった。 「決定だけを行いテキストを生成しないモデル」というカテゴリを定義した公的文書もない。

隣接する枠は存在する。 EU AI 法 Art 3(1) は AI システムの出力に「決定」を明記しており、決定専用モデルも文言上は射程に入る。 ただし同法はモデルとシステムを分けて扱い（Recital 97）、モデル段階の義務は GPAI モデル提供者に結び付いている。 欧州委員会の FAQ は GPAI 該当性の指示的基準を「10^23 FLOP 超の学習計算量」と「言語・画像・動画の生成能力」の二本立てで示しており、生成能力を欠く決定専用モデルはこの一方を満たさない。 米国ではコロラド州 SB26-189 が 2027-01-01 以降、重大な決定に実質的影響を与える自動意思決定技術の開発者に技術文書（用途、学習データのカテゴリ、既知の限界、人間によるレビューの指針）を求め、カリフォルニアの ADMT 規則も「人間の意思決定を実質的に代替する技術」を定義している。 いずれも Jev を名指ししたものではなく、当てはめは推論になる。

評価の枠組みは、この種のモデルをまだ名指ししていない。 「決定モデル」や「キャリブレーション」を定義・測定する公的・標準的な基準は確認できなかった。 近いのは NIST AI 800-2（統計は不確実性とともに報告する）、同 800-3（benchmark accuracy と generalized accuracy を区別し不確実性を推定する）、同 700-2 の ARIA パイロット（CoRIx で有効性を測る）である。

料金と契約の実際

料金は入力 $0.042 / 100 万トークン、出力は無料である。 公式ドキュメントに「Output tokens are free.」と明記されている。 レイテンシの公式値は 70ms から 500ms。

レート制限は 250,000 tokens/秒、1,200 リクエスト/分。 ただし「adjusting dynamically」「can change without notice」と付いている。

モデル ID は jev-1.13.0 で、jev-latest が既定エイリアスである。 エイリアスはリリースで動くため、閾値を調整済みならバージョン固定が推奨されている。

契約条件は緩い。 利用規約は「AS IS」「AS AVAILABLE」で保証を全部否認し、累積責任の上限は $100 USD、JAMS 仲裁と集団訴訟放棄、Delaware 法である。 誤った決定に対する特別条項はない。 Zero Data Retention は enterprise 顧客向けに提供されると書かれているが、DPA 本文に ZDR の規定はない。 SOC 2 も ISO 27001 も SLA も開示されていない。 ローンチ時点の提供形態は early access である。

配布経路は広い。 Vercel の AI Gateway（model ID typesafe-ai/jev、AI SDK 7 の experimental_evaluate 経由）と Netlify の AI Gateway（API キー不要）が同日から対応し、Claude Code と Codex 向けの skill も配布されている。 公式の evals がどう組まれているかも追試できる形になっている（system-one-adapter-python が LLM 側のアダプタを公開している）。

信頼度の読み方

本ノートは 3 つのティアを混ぜずに扱っている。

  • T1v ベンダー一次情報：TypeSafe AI が自社のモデルと API について公式に述べた資料（ドキュメント、ローンチ記事、マニフェスト、料金、法務文書）。「何ができるか、使い方、制約、価格」の一次権威として扱う。同じ資料内の、方法論なしに自社優位を断定する数値はコーパス側で marketing-claim として分離した（193.6x faster / 444.6x cheaper、Zero Hallucinations、Doom デモの数値、トップページの 0.114s 対 8.566s）。Vercel と Netlify の changelog は提携先の一次発表として扱った。
  • T2 公的機関と調査：Jev を名指しした analyst レポートは存在しないため、隣接カテゴリの事実のみを置いた。Gartner、Deloitte、Epoch AI、Stanford HAI、a16z と OpenRouter の共同調査が中心である。VC 系（DCVC、a16z）は投資利害があるため partial と判定し、金額と日付、方法論が開示された数値だけを採った。公的機関・標準も同様で、Jev を名指しした資料は 19 ドメインの範囲で 0 件だったため、隣接する規制（EU AI 法、コロラド州法、カリフォルニア ADMT 規則）と評価枠組み（NIST AI 800-2、800-3、700-2）だけを置き、当てはめは推論として扱った。
  • T3 個人の私見と独立検証：技術的権威を確認できる個人と媒体の独立テストとして扱い、断定として引かない。検証可能な事実主張には 要一次検証 を付した。匿名ハンドルの投稿（HN のコメンタ、匿名リポジトリの再実装）は技術的に重要でも採用していない。Every のテストは著者自身が「much more thorough accuracy check が要る」と書いており、標本 12 は小さい。

ベンダーの主張と独立検証が一致するのは、速度とコストの桁である。 一致しないのは精度と較正で、こちらは独立テストのほうが低い。

関連ノート: フロンティアモデルと廉価モデルの使い分け（Fable 5 と GPT-5.6 Sol）、LLM-as-a-Judge の最新潮流：中核研究53件の文献地図と創造性評価の独立章、エージェンティックコーディング：オーケストレーションパターンの現在地（2026）、Fable のモデル使い分けパターン。

未検証事項

  • 要一次検証 WikiRace デモの 0.419 秒という数値は、typesafe.ai、docs.typesafe.ai、evals.typesafe.ai のいずれにも出現しない。報道のみ。
  • 要一次検証 コンテキスト長は models.md の 64k と primitives.md の約 32k で食い違う。どちらが正かは公式内で決着していない。
  • 要一次検証 $40M 調達と評価額 $200M、DCVC リードは、TypeSafe 自身のドメインには記載がない。$40M と投資家は DCVC の一次発表で確認したが、評価額 $200M は Forbes 原文の URL を特定できず、二次報道のみ。
  • 要一次検証 自社 eval のケース数。ダッシュボードに表示がなく、報道の「711 例」は一次で確認できない。
  • 要一次検証 「TypeSafe が公開リーダーボードを意図的に避けている」という記述の、TypeSafe 自身による逐語。HN で CEO がリンクした blog のスラッグは 404 だった。
  • 要一次検証 confidence の算出式。Zenn の逆算は 6 サンプル中 5 件一致の仮説で、Archer Hume の再構成も本人が speculative と明記している。
  • 要一次検証 193.6x / 444.6x の算出が「最遅・最高コストの相手との比較」であるという指摘は二次のみ。ベンダー表の値からはその水準と整合するが、算出根拠そのものは未確認。
  • 要一次検証 Near Here のテスト（96%、48/50、$0.043/1,000 判断）は一次サイトが 403 で、方法論を確認できない。
  • 要一次検証 Nathan Flurry（リベット共同創業者）の「jev is just a really smart switch lever」等の発言は、原投稿の X への到達が未確認。
  • 要一次検証 Gartner の Tokenomics Model のコスト階層（basic $0.05 等）は単位が記事内で揺れており、水準として不自然。プレスリリース本体は 403。
  • 要一次検証 McKinsey のエージェントコスト内訳（検証と洗練に約 60%、人手監視 70〜75%、予算超過 93%）は、一次サイトが 4 回試行していずれも timeout。リレー記事のみで、標本も設問も非開示。
  • 要一次検証 SOC 2、ISO 27001、SLA、可用性保証は全ドメインで言及がない。存在しないのか未公開かは判別できない。
  • 要一次検証 Zero Data Retention の契約上の位置づけ。docs の法務ページは enterprise 向けと書くが、DPA 本文に ZDR の語が出現しない。
  • 要一次検証 パラメータ数、層数、訓練データ、重みは一切非開示。加えて非開示であると明言した記述も存在しない（単なる不在）。
  • 要一次検証 欧州委員会の高リスク分類ドラフトガイドライン（Art 6(5)）の公表日・協議期限・本文。プリント用 PDF の存在とタイトルのみ確認。
  • 要一次検証 カリフォルニア ADMT 規則の遵守開始日 2027-01-01。今回確認できたのは §7001(e) の定義のみ。
  • 要一次検証 Stanford HAI AI Index 2026 の公開日と、calibration に関する記述の有無。ランディングページのみで全文 PDF 未確認。
  • 要一次検証 ISO/IEC 42001:2023 と 22989:2022 の本文。有料規格のためタイトル、発行日、頁数のみ確認。
  • 要一次検証 個人情報保護委員会の生成 AI 注意喚起の本文 3 点。PDF が暗号化され抽出できない。

参照文献

すべて 2026-09-18 にアクセス。

ベンダー一次情報（T1v）

公的機関と調査（T2）

独立検証と個人の私見（T3）

書いた人：小川 修一郎（Design Researcher / Consultant） 経歴を見る →