人間の文章 vs AI 文章

ai llm writing

「なぜ人は文章を人間が書いたものと判断するのか」を、統計的検出と人間の知覚の2層で捉える。前者は機械が測る指標、後者は読み手が無意識に拾う手がかりで、両者は別物。そして両層が示す「人間らしさ」は、奇しくもインプレッションが稼げる文章の条件とほぼ一致する。

層1: 統計的検出 — perplexity と burstiness

AI 検出器 (GPTZero 等) が使う2軸。

指標	意味	人間	AI
Perplexity	言語モデルがその文をどれだけ「予測しにくい」と感じるか	高い(意外な語選び)	低い(モデル自身がサンプルした文だから当然予測しやすい)
Burstiness	文長・複雑さのばらつき	高い(短文と長文が混ざる)	低い(均質で滑らか)

AI 文章が検出されやすい根本理由はシンプルで、LLM は確率分布の山(平均)からサンプリングする装置だから。出力は定義上「ありそうな語の連続」=低 perplexity に寄る。人間は山の外れ値を平気で選ぶ。

ただしこれは「現行モデルの素の出力」の話。温度を上げる/スタイル指示で外れ値を混ぜれば指標は人間側に寄せられる(=検出は原理的にいたちごっこ)。

層2: 人間の知覚 — “AIっぽさ” の手がかり

読み手が文法ではなく拾うのは、内容の「立ち位置」の方。代表的な AI tell:

AIっぽい兆候	人間っぽさの源
どっちつかずの両論併記・過剰な丁寧さ	偏った立場・言い切り・リスクを取る主張
きれいな三点リスト、左右対称の構文	不揃いなリズム、脱線、言い差し
一般論・抽象語の多用	具体的すぎる固有名・数字・体験
誤字ゼロ・均質なレジスタ	ノイズ、口調の揺れ、内輪の参照
結論を要約し直す締め	締めずに放り出す、余韻

なぜこれが効くか — 形式的言語能力 vs 機能的言語能力で説明できる。LLM は形式的言語能力(流暢な表層)が高いので、手がかりは「文法のおかしさ」ではない。欠けているのは機能的側面 — 立場・体験・主体性であり、それは記号接地の欠如(実体験に根を持たない)と地続き。だから「上手いのに人間が書いた気がしない」が起きる。

統合: なぜ “AIにいい感じに書いてほしい” は難しいのか

3つの観察(①インプレを稼ぐ文章を学びたい ②AIに任せたい ③なぜ人は人の文章と判るのか)を1本の線で結ぶと、根本的な緊張関係が見える。

インプレッションが稼げる文章 = 平均からの逸脱（驚き・立場・声 = 高 perplexity / 高 burstiness）
LLM の素の出力           = 平均への収束（低 perplexity / 低 burstiness）

拡散する文章の条件と、人間が書いたと判断される条件は、ほぼ同じもの(=平均からの逸脱)。そして LLM はその逆方向に最適化されている。ゆえに「AI に良い感じにやってほしい」は、放っておくと最も拡散しない・最も AI っぽい中庸へ吸い寄せられる。

実用上の含意: AI を使うなら「平均を書かせる」のではなく、逸脱の素材(自分の立場・固有の体験・言い切り)を人間が与え、整形だけ任せるのが筋。声と stance は外注できない。

研究の裏付け

主張は実証研究と整合する。3系統で活発に研究されている。

人間は見分けられるのか(知覚研究)

ほぼできない。しかもモデルが新しいほどチャンスレベルに落ちる。

対象モデル	人間の正答率
GPT-2	57.9%(XL で最良 62%)
GPT-3	49.9%(≒偶然)

即時フィードバック付きで訓練すると有意に向上する(Jakesch 系の追試・arXiv 2505.01877)。素の訓練だけでは伸びない。
「どこで人間→機械に切り替わったか」を当てさせる RoFT (Real or Fake Text) という実験系もある(arXiv 2212.12672)。
ドメイン専門家(医学・人文)は内容の妥当性で見分けられる — 表層でなく中身で判定している。

統計的・文体的検出(機械が測る)

実測例: perplexity 人間 57.3 / AI 37.8、burstiness 人間 0.61 / AI 0.38 と、人間側が高い(本ノートの主張どおり)。
代表手法: DetectGPT、GPTZero、Counter Turing Test (CT²)(EMNLP 2023)。
ただし perplexity/burstiness 系はすでに破綻しつつある(Pangram Labs)。2025 年の fine-tuned モデルは人間並みの perplexity を出せ、この指標での検出は劣化中 = いたちごっこが実証された。

言語横断・多言語

COLING 2025 の AI 生成テキスト検出ワークショップで多言語タスクが設定。XLM-RoBERTa / RemBERT のアンサンブルで Macro-F1 0.7513。多言語ほど汎化が難しい。
中国語+英語の対訳コーパス HC3 (Human ChatGPT Comparison Corpus)。
日本語の研究も存在する: “Stylometry can reveal artificial intelligence authorship, but humans struggle”(人間 vs 7 LLM、日本語対象)。タイトルが論旨そのもの — 文体計量(機械)では暴けるが人間には難しい。「日本語の一般向け記事は少ないが、学術研究は日本語対象でもある」。