エンゲージメント駆動生成

ai llm writing

エンゲージメント(拡散・反応)を報酬関数に据えて、LLM の生成そのものを最適化する手法群。viralbert が「伸びるか予測する」段階だったのに対し、これは予測器/シミュレータを報酬に変えて「伸びる文章を生成する」段階。2024〜2025 に研究・実運用が立ち上がった。

中核の設計パターン

ライブラリというより、繰り返し現れる1つのパターン:

LLM で候補を N 本生成
  → エンゲージメント報酬モデル/シミュレータでスコア
  → 上位を選別 (best-of-n) もしくは RL でポリシー更新

肝は生成器(LLM)と報酬(何が伸びるか)の分離。報酬は viralbert のような予測器に担わせればよい。最後の「選別/更新」には2つの軸があり、コストと制御性が違う:

	best-of-n(推論時選別)	RL / RLSF(重み更新)
いつ最適化するか	生成のたびに N 本出して選ぶ	事前に重みへ学習
コスト	推論が N 倍	学習が重い・推論は1回
報酬の差し替え	即反映	再学習が必要
報酬ハッキング	起きにくい(母集団は素の LLM)	起きやすい(報酬へ過適合)

代表的な研究・実装

手法	何をするか	報酬の作り方	特徴
Engagement-Driven Content Generation (arXiv 2411.13187)	エンゲージメントを最大化する文章を RL で生成	SNS の反応を形式的エンゲージメントモデルでシミュレート	実ネットワークなしで報酬を得る
PushGen (arXiv 2512.14490, 2025)	プッシュ通知を生成	報酬モデルで候補をランキング選別 + 制御可能なカテゴリプロンプト	数億ユーザー規模で実運用デプロイ

仕組みの実例 — RLSF (arXiv 2411.13187)

報酬をどう作り、どう最適化するかの具体。著者は RLSF (RL from Simulated Feedback) と呼ぶ。

エンゲージメントのシミュレート: ソーシャルグラフ上で Bounded Confidence Model(Deffuant et al., 2000)。ユーザーの意見 x_u とコンテンツの sentiment s_t が近い(|s_t − x_u| < ε、ε=0.2)ときだけ伝播=engage する。
報酬: R = √(f_t · |𝒜|) — 可読性(Flesch-Kincaid の f_t)とアクティブ化ユーザー数 |𝒜| の幾何平均。可読性を掛けることで「エンゲージだけ稼ぐ崩壊文」を排除する設計。
最適化: Gemma-2B の重みを PPO(trl の PPOTrainer)で更新。素モデルからの KL ダイバージェンスにペナルティを入れて暴走を抑える。
検証: 実データ(Brexit; 7,589 ユーザー・532,459 フォロー・19,963 ツイート)で、生成文の拡散が実ツイートと同程度(Leave: 実 2,700 / 生成 2,799、Remain: 実 3,739 / 生成 2,422 活性化)。

RLAIF — 報酬を AI に作らせる

訓練手法の総称が RLAIF (Reinforcement Learning with AI Feedback)。人間アノテータの代わりに preference モデル(GPT-4, Gemini 等)が比較・スコアを返し、報酬モデルに蒸留して PPO / DPO で最適化する。エンゲージメント報酬を人手で集めずに済むのが、この系統の土台。

エージェント・製品の層(2026)

自作の王道: LangChain / CrewAI + X(Twitter)API で自律投稿エージェントを組む。OSS で実装するならここ。
商用: NoimosAI(実績データで戦略を自律変更)、Beam AI(hook・CTA・バイラル狙いの投稿生成)、Soshie、Olly(virality enhancer 拡張)等。

⚠️ 製品層の出典は SEO/マーケ系ブログが多く、「200K stars」「バイラル保証」のような数値・主張は裏取りできず誇大の可能性。学術的に検証された実体は研究層(上表)の方。

報酬ハッキングという急所

エンゲージメント報酬は Goodhart の法則の典型 — 測りやすい代理(クリック・反応)を最大化させると、釣り・clickbait・outrage-bait へ暴走する。代表的な歯止め:

素モデルへの KL ペナルティ: 元の LLM から離れすぎる出力を罰し、奇形文・反復ハックを抑える(上の RLSF も採用)。
品質項との積: 報酬を「エンゲージ × 可読性/品質」の積にすると、片方だけ稼ぐ解が潰れる(R = √(f·|𝒜|) の幾何平均がこれ)。
多様性制約: 同じ勝ちパターンへの収束(モード崩壊)を防ぐ。

なぜ効くか / 限界

効く理由: human-vs-ai-text の「インプレを稼ぐ=平均からの逸脱」という性質を、報酬モデルが外から教えることで LLM の中庸への収束を矯正できる。
sim-to-real ギャップ: 報酬がシミュレータ/過去データ由来 → オフライン報酬 ≠ オンラインの実反応。シミュレータの粗さがそのまま生成物の的外れさになる。
動く標的: 最適化先のプラットフォーム推薦アルゴリズム自体が変化し、しかも釣り対策で敵対的に動く → 過学習した「勝ち型」はすぐ陳腐化する。
配信構造の天井: viralbert の「伸びはフォロワー数=配信構造に支配される」— 文章最適化だけでは限界がある。
社会的コスト: エンゲージメント最大化は、分断・誤情報の増幅を招いた推薦システムと同じ目的関数。「伸ばす」最適化は外部不経済を内包している。

研究の地図(誰が何を)

一枚岩の分野ではなく、4つのコミュニティが別角度から触っている。

層	主な担い手	問い
エンゲージ駆動生成(本体)	CENTAI(トリノ)/ ICAR-CNR / カラブリア大 / Eurecat(Coppolillo, Cinus, Minici, Bonchi, Manco)。KDD 2025	LLM で伸びる文を生成できるか
反応シミュレーション	Stanford(Generative Agents), 清華等 → llm-social-simulation	SNS の反応をどう模すか(=報酬の作り方)
推論時アライメント理論	DeepMind, MSR/MIT, Harvard → inference-time-alignment	best-of-N で報酬をどう安全に使うか
報酬の過剰最適化(基礎)	OpenAI	代理報酬はどこで壊れるか

flagship 論文(2411.13187)はこの1段目で、現状ここを正面からやる専門グループはイタリア系データマイニング・クラスタがほぼ唯一。⚠️ 一部の所属・人名は著者リストと既知系譜からの推定を含む。