LLM の文章から LLM 臭を抜く手法と、humanizer をこのプロジェクトに入れる方法｜ノート

LLM 臭の成分を、学術文献 23 件、ベンダー一次資料、Wikipedia の規約、著名スキルから整理した。人は AI の文章を直感では見分けられないが（Jakesch et al. 2023）、語頻度の超過（Kobak et al. 2025）と構文や構成の型は統計的に検出でき、モデル固有の癖は書き換えの後も残る（Sun et al. 2025）。

見分けられないのに臭うという食い違い

人は AI が書いた文章を直感ではうまく見分けられない。 Jakesch らは 6 つの実験（参加者計 4,600 名）で、一人称代名詞や縮約形や家族の話題を「人間らしさ」の手がかりにする直感が誤っており、しかも予測できるので悪用もできると示した（Jakesch et al. 2023）。

それでも、LLM の文章を読み慣れた人は「これは LLM だな」と感じる。 Wikipedia の編集者はその感覚をカタログにし、Claude Code 向けのスキルとして配られたその書き換え版は GitHub で 5 万を超えるスターを集めている。直感が当たらないのに、臭いの存在は共有されている。何がその臭いを作っているのかを先に決めないと、消す手法も選べない。

臭いは何でできているか

一つめの成分は語彙である。 Kobak らは PubMed の抄録 1,500 万件超の語頻度を、疫学の超過死亡と同じ考え方で調べた。 2024 年に “delve” のような語が予測を超えて増えており、そこから 2024 年の抄録の少なくとも 13.5% が LLM で処理されたと推定している（Kobak et al. 2025）。 AI 系の国際会議の査読文でも、“commendable” “meticulous” “intricate” といった形容詞の出現確率が 9.8〜34.7 倍に増えたと Liang らは報告している（Liang et al. 2024）。

二つめは構文と構成の型である。短文を使った計量文体学の研究は、個別の語の過剰使用と並んで、文法の標準化が人間と LLM を分ける手がかりになることを SHAP で特定した（Przystalski et al. 2026）。比較コーパス HC3 は、ChatGPT の応答が定義から段階的な説明を経て要約へ進む構成をとりやすいと報告している（Guo et al. 2023）。実務側の指標も同じ二層で組まれている。 EQ-Bench の Slop Score は、語の頻度に 60%、「not just X, but Y」型の対比に 25%、3 語連鎖に 15% の重みを置く。

この二層は性質が違う。語彙はリストにして機械的に置き換えられる。型は文の組み立てに出るので、語を取り替えても残る。 Sun らは、主要 5 社のモデルの出力を 97.1% の精度で出所ごとに分類でき、その癖が語レベルの分布に根ざしていて、別の LLM による書き換えや翻訳や要約の後にも残ると報告した（Sun et al. 2025）。禁止語のリストで表面を整えても、モデルの指紋は消えにくい。

読み手の側も一様ではない。 Marco らは、AI と人間の創作文への評価が割れる理由を、読みやすさと語彙を見る読者と、主題の展開や修辞の多様さを見る読者の違いで説明した（Marco et al. 2025）。 LLM 臭は文章だけの性質とは言えず、読者の読み方との組み合わせで立ち上がる。

型はどこから来るのか

原因の側では、指示チューニングと選好学習が出力の多様性を下げることが複数の研究で示されている。 Padmakumar と He の執筆実験では、InstructGPT との共同執筆は書き手どうしの文章を似せたが、base の GPT-3 では差が出なかった（Padmakumar & He 2024）。 Peeperkorn らは OLMo 系で、指示チューニングの工程のうち DPO が多様性低下の最大の要因だと特定している（Peeperkorn et al. 2025、未査読）。冗長さについては、RLHF による報酬の改善の大部分が応答の長さの増加で説明できるという分析がある（Singhal et al. 2024）。

ただし、多様性の低下と特定の紋切り型の頻出とを直接つなぐ因果研究は、今回の収集では見つからなかった。「RLHF のせいで “delve” が増えた」とまでは言えない。言えるのは、選好学習が出力を狭い範囲に寄せること、長さが報酬に効いてしまうこと、そして寄せられた先に語彙と型の偏りが観察されること、の三つが別々に確かめられている、というところまでである。

何のために消すのか

LLM 臭を消す手法は、検出器をすり抜けるための手法と技術的に重なる。このノートは読み手のための編集として扱い、検出の回避を目的とする手法（例えば検出器を攻撃するパラフレーズ）は収集から外した。

線を引く根拠は外にもある。英語版 Wikipedia は 2026 年 3 月の RfC（賛成 44、反対 2）で、LLM による記事本文の生成と書き換えを原則禁止し、自分の文章への軽微なコピーエディットの提案（人間のレビュー必須）と翻訳の補助だけを例外にした。一方で即時削除基準 G15 は、利用者向けの発話の残りや存在しない参照文献のような客観的な痕跡を対象にし、主観的な「AI らしさ」の印象だけでは削除理由にならないと明記している。臭いを消しても、内容の責任が書き手に戻るわけではない。逆に、臭いが残っていることは、それだけで文章が不正であることを意味しない。

どこで手を入れられるか

生成の前、プロンプトで

最も手軽なのはプロンプトである。 Anthropic のプロンプト文書は、「Markdown を使うな」と否定で書く代わりに「滑らかにつながる散文の段落で書く」と肯定で書くよう勧め、プロンプト自体の書式が出力の書式に伝わるので、プロンプトから Markdown を減らすと出力の Markdown も減ると述べている。 Fable 5.1 向けの文書は、比喩と装飾で直接の言明を置き換える書き方を mannered prose と定義し、「言いたいことをそのまま言う。字義どおりの言い方があるならそれを使う」と直し方を示したうえで、短く「Please remove all mannered prose.」と頼むだけでも効くことが多いと書く。

プロンプトの指示には寿命がある。同じ Anthropic の文書は、箇条書きと太字を抑える旧来の指示ブロックについて、書式をもともと控えめに使う Fable 5.1 では内容に必要な構造まで消してしまいうると注記している。ベンダーの間でも方向は揃っていない。 OpenAI の GPT-5.2 向けガイドは長い物語風の段落を避けて短い箇条書きと短い節を勧めており、Anthropic の散文寄りの推奨とは逆を向く。プロンプトで臭いを抑える手法は、モデルの版ごとに見直すことが前提になる。

生成の途中、デコーディングと学習で

モデルの確率分布に触れられるなら、生成の途中で止める手がある。 sam-paech の antislop-sampler は、禁止フレーズが出力に現れた時点で巻き戻し、そのフレーズに至るトークンの確率を下げて生成し直す。同じ作者らの論文は、この推論時の抑制とトークン単位の選好最適化（FTPO）で slop を 90% 減らし、GSM8K や MMLU の性能を保ったと報告し、比較した DPO は弱い抑制でも文章の質と語彙の多様性を大きく下げたと述べる（Paech et al. 2025）。多様性の側では、base モデルで instruct モデルを誘導するデコーディングで多様性を戻す手法も提案されている（Peeperkorn et al. 2025）。

この地点には適用条件が二つある。一つは、ホスト型 API の利用者は通常ロジットに触れられないので、ローカルで動かすモデルか、自前で学習できる場合にしか使えないことである。もう一つは、上の二本がどちらも査読前のプレプリントで、第三者の追試がまだ見つからないことである。 antislop-sampler の README 自身も「research grade code」で並行処理に対応しないと書いている。

生成の後、検出で

書き上がった文章から兆候を拾う道具は、量と質で二系統ある。量の系統は辞書と正規表現で、先の Slop Score がその代表である。作者はこれを、文章を AI か人間かに分類する検出器とは違い、目立って使いすぎのパターンを探す道具だと説明している。研究の側では Shaib らが、専門家への聞き取りから冗長性、読みやすさ、一般性、誇張、統計的パターンといった測定の次元を立てたが、単一の合意された定義はまだないと自ら述べる（Shaib et al. 2025、未査読）。

質の系統が Wikipedia の Signs of AI writing である。これは WikiProject AI Cleanup の advice page で、ガイドラインでも方針でもない。 Content、Language and grammar、Style、Communication intended for the user、Markup、Citations などの節に兆候を並べるが、Ineffective indicators という節を別に設け、単独では判定の根拠にならない兆候を明示している点が他のカタログと違う。

生成の後、書き換えで

検出した箇所を直す段階では、スキルやエージェントに書き換えさせるのが実務の主流である。研究では Chakrabarty らが、人間の編集を学習した文章品質の報酬モデルで複数の改稿候補を並べ替え、人間評価で 66% の選好を得たと報告している（Chakrabarty et al. 2025、未査読）。

書き換えには代償がある。 Tripto らは、パラフレーズを重ねるほど元の書き手の文体から離れ、著者性の判定が落ちることを示した（Tripto et al. 2024）。 LLM に LLM 臭を直させると、元の書き手の声まで薄まるおそれがある。書き換えを何周も回すより、兆候を特定して必要な箇所だけ直すほうが、この代償は小さく抑えやすい。

humanizer は何をしているか

このジャンルで突出して著名なのが blader（Siqi Chen）の humanizer である。 2026-01-18 に作られたリポジトリで、2026-09-22 時点の GitHub のスター数は 51,020、ライセンスは MIT、版は 3.0.0。同系統の skill-deslop（科学論文向け、402 stars）や unslop（0 stars、ライセンス未設定）とは桁が違う。スター数は人気の指標であり、書き換えの精度を示すものではない。

SKILL.md の frontmatter の description は次のとおりである。

description: |
  Rewrite AI-sounding text so it reads like the writer without changing what it says.
  Use when editing or reviewing prose for AI tells: not-X-but-Y contrasts, one-line
  closers, staged openers, forced triads, dashes everywhere, inflated claims, sales
  language, stock AI words, bold labels, or filler. Based on Wikipedia's "Signs of AI writing."

「書き手の声に戻す、言っている内容は変えない」という目的と、起動の条件になる兆候の列挙と、出典が一つの description に収まっている。 Agent Skills の仕様では description が起動の判定に使われ、上限は 1,024 字なので、この書き方はそのまま手本になる。

本文は 25 のパターンを 5 つの群に分ける。

A. Staging instead of stating：「X ではなく Y」の対比、一行の締め、深そうな格言、助走してから要点に入る書き出し、いない相手との論争
B. Rhythm by rule：強制的な三点列挙、同じ書き出しの反復、ダッシュの多用、修飾語の積み重ね、ハイフン複合語、主語の欠落
C. Inflation and borrowed authority：AI 語彙、重要性の誇張、曖昧な関連づけ、浅い -ing 句、宣伝調、権威の借用、is / are / has の回避
D. Formatting by rule：装飾としての太字、装飾的な見出し、カーリークォート
E. Leftovers from the chat and the draft：チャットの残り、知識の期限への言及、見出しの反復、旧版への言及

手順は「Mark the tells」「Draft the rewrite」「Check the draft」「Write the final version」の 4 段で固定されている。運用の規則で注目したいのは、どのパターンも人が意図して使うことはあるので、弱い兆候は他の兆候と同じ箇所に重なったときだけ直す、という一文である。 2022 年 11 月 30 日より前に書かれた文章は AI の文章ではない、という前提も明記されている。

限界ははっきりしている。 SKILL.md は英語の文章だけを想定しており、日本語への言及はない。過剰修正（直した結果が別の型の臭さになること）についての記述も README と SKILL.md には見当たらなかった。導入は npx skills add blader/humanizer --global、Claude Code 2.1.142 以上での /plugin marketplace add blader/humanizer、SKILL.md を手で置く方法の三通りである。

日本語への移植では、m0370 が 2026-03-20 に、humanizer_academic から 10 項目、humanizer から 6 項目を選んで日本語化した 16 項目のスキルを公開している。「浮き彫りにしており…示唆しています」のような言い回し、全角ダッシュによる挿入、太字とコロンで始まる箇条書き、「懸念される」のような主語の見えない受け身を例に挙げるが、16 項目の効果を測ったデータは記事にない。

このプロジェクトの規範で止まっているもの、止まっていないもの

このプロジェクトはすでに日本語の規範を持っている。 .claude/rules/japanese-writing-style.md は k16shikano の二つの gist を下敷きにし、「重要なのは」「まとめると」「正面から」「掘り下げる」などの語、ダッシュと中黒、太字の上限、結論をセリフにした見出し、文章そのものを話題にする文を扱う。 Wikipedia と humanizer の A 群、C 群の多くに当たる内容で、認知リズムの規範は「拍を作るために文を削るのではない」と短文化への偏りにも歯止めをかけている。この点は英語圏のスキルにない。

read-only の監査で既存 note を読むと、禁止語はほとんど出てこない。残っているのは型のほうである。既存の公開 note には、規範で禁じた「まとめると」が一か所残り、段落を「〜ではない。」の短い一文で締める段落が三つ続き、「第一に〜第四に」の列挙があり、「ではなく」が 11 回出る。非公開の草稿には、禁止語の「正面から」が 3 回、2,000 字を超える summary、コロンで二要素をつないだタイトルが見つかった。英語版 note には文体の規範がなく、週次のプロンプトは英語版に日本語の規範を当てないと明記している。

規範に書かれていない型を挙げると次のようになる。

決まった数の列挙（三点列挙、「第一に〜第四に」）
否定の対比の頻度と、段落末の「〜ではない。」
意義や系譜の誇張（「理論的支柱である」「同じ地層にある」）
曖昧な帰属（「〜と読める」「研究者自身が前提にしている」）
コピュラを避ける日本語の型（「〜として位置づけられる」「〜を担う」）
後置の重要宣言（「〜点が重要である」）
タイトルと見出しの全角コロン
チャットの残り（「以下に〜します」）、知識の期限への言及、型どおりの前向きな結び
summary の長さ

規範の一か所は Wikipedia とぶつかる。規範は用語と定義の箇条書きを「用語：説明」で書くよう勧めるが、Wikipedia と humanizer はこの太字ラベルの箇条書きを兆候に数える。取り込むならどちらに寄せるかを決める必要がある。

もう一つの問題は、規範が書き手に届く経路である。規範を参照している skill と agent は 0 件で、明示的に読ませているのは週次と月次のプロンプト 2 本だけだった。書き終えた note を規範に照らす手順（規範の「執筆後の点検手順」）を実際に回す agent や hook もない。禁止語が効いていて型が残るのは、語はリストを読めば避けられるが、型は書き上げた後に数えないと見えないからだと考えられる。

採用の手順

採用の案は三つある。

案 B（規範への統合と報告のみの検出）を最初に入れる。 japanese-writing-style.md の「LLM 的表現の禁止」に上の未カバーの型を追記し、「用語：説明」の扱いを決め直す。 .claude/skills/wiki-lint/scripts/lint-wiki.ts に、禁止語の再検出、「ではなく」の密度、段落末の「ではない。」、タイトルと見出しのコロン、節あたりの太字の数、summary の長さを数えるカテゴリを足す。既存のマーカー検査が報告だけで exit code に載せない設計なので、同じ扱いにすれば CI は落ちない。あわせて wiki-lint/SKILL.md のルーブリック表、README の wiki:lint の説明を更新し、source-collection の手順 6 と wiki-ingest の self-check に「規範を Read してから書く」を一行加える。 rules と skills を触るので、G4 ゲートとして claude-assets-overview.md を同期する。 hook は触らないので npm run test:hooks は要らない。決定的に動き、費用が小さく、型を数えるという欠けていた工程を埋める点で、最初の一手に向いている。

案 A（humanizer の vendoring）は英語版 note 用に入れる。 .claude/skills/humanizer/SKILL.md と MIT の LICENSE をリポジトリに置く。 plugin としての導入は GitHub Actions の claude -p による週次実行に載らないので、ファイルとして持ち込む。週次と月次のプロンプトの英語版の手順に「humanizer で仕上げる」を足し、必要なら orchestration.md のルーティング表に一行加える。 G4 として CLAUDE.md の Skills の件数（9 から 10）と claude-assets-overview.md のスキル表を更新し、scripts を触るので README の週次自動更新の節も同期する。日本語本文には効かないので、案 B の代わりにはならない。

案 C（編集専用のサブエージェント）は後回しにする。 prose-editor のような read-only の agent を新設し、note を読んで修正案を返させ、親が反映する。単一ライターの規則は守れるが、呼び出し口が source-collection、wiki-ingest、critical-review、roundtable、週次と月次のプロンプトに広がり、dispatch header を必須にすれば dispatch-header-gate.py と npm run test:hooks も絡む。 note 1 本ごとに agent 1 体分の費用がかかるので、案 B の検出を回しても件数が減らないとわかってから入れる。

案 B を入れる前に確かめておくことが一つある。 japanese-writing-style.md の frontmatter はパス限定のキーに globs: を使っているが、Claude Code の公式ドキュメントが正式なキーとするのは paths である。過去には YAML リスト形式の paths が効かなかったという issue もあり、この規範が実際に常時読み込まれているのか、特定パスでだけ読まれているのかは、実機で確かめていない。規範に追記する前に /memory などで読み込みの状態を確認しておくと、追記が書き手に届くかどうかを予測できる。

この整理が当てはまらないところ

日本語の LLM 臭を記述し測定した研究は、今回の収集では見つからなかった。見つかった日本語の研究（高橋ほか 2025）は内部表現による口調の制御を扱っており、臭いの測定を目的としていない。上に挙げた日本語の型は、規範と監査と実務家の翻案から組み立てたもので、頻度の裏づけはまだない。

生成の途中で抑える手法は、査読前のプレプリントで報告されたもので、第三者の追試がない。書き換えの研究も 2 本と薄く、技術文書や業務文書での読者の知覚を調べた研究も少ない。 humanizer が実際にどれだけ臭いを減らすのかを測った公開データも見当たらない。 51,020 のスターが示すのは、多くの人がこの問題に困っているということまでである。

未検証事項

主要主張に未検証のものは残していない。周辺の記述と書誌に残るものは次のとおり。

[要一次検証: 記載なし humanizer の README と CHANGELOG] humanizer v3.0.0 のリリース日。
[要確認: 未試行本調査の範囲外] japanese-writing-style.md の globs: キーが Claude Code で認識されているかどうか。
[要一次検証: 記載なし m0370 の記事本文] 日本語 16 項目の効果を示すデータ。
[要出典確認: 書誌未確定 OpenReview の Cloudflare 検証壁] Kirk et al. (2024) の ICLR 2024 採択。本文の主張には使っていない。
[要一次検証: 取得不能 dl.acm.org 403] Anderson et al. (2024) と Chakrabarty et al. (2024, CHI) の ACM 側の書誌。arXiv 版で内容を確認した。本文の主張には使っていない。
[要一次検証: 本文未到達 PDF のテキスト抽出不能] 高橋ほか (2025) の本文。書誌は言語処理学会のプログラムで確認した。

参照文献

アクセス日はすべて 2026-09-22。

学術文献

Chakrabarty, Laban, Agarwal, Muresan, & Wu (2024). Art or Artifice? Large Language Models and the False Promise of Creativity. CHI 2024. https://doi.org/10.1145/3613904.3642731
Chakrabarty, Laban, & Wu (2025). AI-Slop to AI-Polish? Aligning Language Models through Edit-Based Writing Rewards and Test-time Computation. arXiv preprint. https://arxiv.org/abs/2504.07532
Anderson, Shah, & Kreminski (2024). Homogenization Effects of Large Language Models on Human Creative Ideation. Creativity & Cognition 2024. https://doi.org/10.1145/3635636.3656204
Guo, Zhang, Wang, Jiang, Nie, Ding, Yue, & Wu (2023). How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation, and Detection. arXiv preprint. https://arxiv.org/abs/2301.07597
Jakesch, Hancock, & Naaman (2023). Human heuristics for AI-generated language are flawed. PNAS, 120(11), e2208839120. https://doi.org/10.1073/pnas.2208839120
Kirk, Mediratta, Nalmpantis, Luketina, Hambro, Grefenstette, & Raileanu (2024). Understanding the Effects of RLHF on LLM Generalisation and Diversity. https://arxiv.org/abs/2310.06452
Kobak, González-Márquez, Horvát, & Lause (2025). Delving into LLM-assisted writing in biomedical publications through excess vocabulary. Science Advances, 11(27). https://doi.org/10.1126/sciadv.adt3813
Liang, Izzo, Zhang, Lepp, Cao, Zhao, Chen, Ye, Liu, Huang, McFarland, & Zou (2024). Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews. ICML 2024. https://arxiv.org/abs/2403.07183
Lin, Zhao, Tian, & Li (2025). Large Language Models Reshape the Language of Science. arXiv preprint. https://arxiv.org/abs/2504.12317
Marco, Gonzalo, & Fresno (2025). The Reader is the Metric: How Textual Features and Reader Profiles Explain Conflicting Evaluations of AI Creative Writing. Findings of ACL 2025. https://arxiv.org/abs/2506.03310
Padmakumar & He (2024). Does Writing with Language Models Reduce Content Diversity? ICLR 2024. https://arxiv.org/abs/2309.05196
Paech, Roush, Goldfeder, & Shwartz-Ziv (2025). Antislop: A Comprehensive Framework for Identifying and Eliminating Repetitive Patterns in Language Models. arXiv preprint. https://arxiv.org/abs/2510.15061
Peeperkorn, Kouwenhoven, Brown, & Jordanous (2025). Mind the Gap: Conformative Decoding to Improve Output Diversity of Instruction-Tuned Large Language Models. arXiv preprint. https://arxiv.org/abs/2507.20956
Przystalski, Argasiński, Grabska-Gradzińska, & Ochab (2026). Stylometry recognizes human and LLM-generated texts in short samples. Expert Systems with Applications, 296, 129001. https://doi.org/10.1016/j.eswa.2025.129001
Shaib, Chakrabarty, Garcia-Olano, & Wallace (2025). Measuring AI “Slop” in Text. arXiv preprint. https://arxiv.org/abs/2509.19163
Singhal, Goyal, Xu, & Durrett (2024). A Long Way to Go: Investigating Length Correlations in RLHF. COLM 2024. https://arxiv.org/abs/2310.03716
Sun, Yin, Xu, Kolter, & Liu (2025). Idiosyncrasies in Large Language Models. ICML 2025. https://arxiv.org/abs/2502.12150
Tripto, Venkatraman, Macko, Moro, Srba, Uchendu, Le, & Lee (2024). A Ship of Theseus: Curious Cases of Paraphrasing in LLM-Generated Texts. ACL 2024. https://arxiv.org/abs/2311.08374
高橋良允, 矢野一樹, 成瀬健太, 武井美緒, 梶佑輔, 鈴木潤 (2025). LLMにおける内部表現を用いた日本語スタイル制御メカニズムの分析. 言語処理学会第31回年次大会 P2-6. https://www.anlp.jp/proceedings/annual_meeting/2025/pdf_dir/P2-6.pdf

書いた人：小川修一郎（Design Researcher / Consultant）経歴を見る →

LLM の文章から LLM 臭を抜く手法と、humanizer をこのプロジェクトに入れる方法