ViralBERT

ツイートのバイラル性(リツイートでどれだけ再拡散されるか)を予測する BERT ベースのモデル。Rameez, Rahmani et al.、ACM UMAP 2022(arXiv 2206.10298)。本文 人間の文章 vs AI 文章 で触れた「エンゲージメント予測器を報酬関数にする」構成の、具体的な実装例にあたる。

タスク設定

リツイート数の多寡を段階ラベルにした分類問題(回帰ではない)。「この文がどれだけ伸びるか」をクラスとして当てる。virality = リツイートによる再共有可能性、と狭く定義している。

モデル構造 — BERT を2本使う

ツイート本文 + 数値特徴(テキストとして連結)
        │
   ┌────┴─────┐
[BERT #1]   [BERT #2]
意味表現      感情分析専用
   └────┬─────┘
      統合 → 分類ヘッド → バイラル度クラス

• BERT #1: 本文と数値特徴をまとめて1つのテキスト列として意味表現を取る
• BERT #2: 本文のセンチメント分析専用モジュール

設計上の特徴は、フォロワー数やハッシュタグ数といった数値特徴を独立の dense ヘッドに入れず、テキストに連結して BERT に食わせている点。素直な multimodal 結合ではない割り切った作り。

投入する特徴

データと結果

• データセット: 330k ツイートを収集して学習
• 性能: F1 = 0.523 / Accuracy = 0.494、最良ベースライン比で F1・精度ともに +13%

絶対値は高くない(F1 0.52)。バイラル性は内容から予測しきれないという事実そのものを示しており、予測器の天井の低さは正直に受け止めるべき数字。

一番面白い知見

特徴の効き方が直感に反する。

含意は鋭い: 伸びるかどうかは「誰が」「どんな感情トーンで」言うかでほぼ決まり、ハッシュタグのような小手先のコンテンツ操作は効かない(むしろ害)。フォロワー数が支配的ということは、文章の質より配信構造(オーディエンス)が先という身も蓋もない結論でもある。

限界

• virality をリツイートのみで定義(いいね・返信・インプレッションは見ていない)
• 単一プラットフォーム(Twitter)・収集期間依存で、アルゴリズム変更や他 SNS への一般化は不明
• 絶対精度が低く、実運用では「ランキングの並べ替え」程度の使い方が現実的

関連

• engagement-driven-generation — 予測器を報酬に変えて「生成」を最適化する次世代。ViralBERT はその報酬モデルとして挿せる
• reward-machine-learning — 予測器のスコアがそのまま強化学習の「報酬」になる仕組み
• human-vs-ai-text — best-of-n 生成を rerank する「報酬関数」として ViralBERT を据える構成。本文より質、配信構造が先という本知見はその設計判断にも効く
• formal-vs-functional-competence — 感情トーンが効くという結果は、表層の流暢さより stance/情動が拡散を駆動することの傍証