AIが書いた口コミを人は見抜けない｜正答率50.8%という2025年の実験結果
AI生成の偽レビューを人間が見分けられる確率は50.8%——ほぼコイン投げと同じでした。英国の研究チームによる2025年の実験と、Yelpの16%が疑わしいとしたハーバードの研究から、これからの口コミの信頼性を考えます。
お客様の声・口コミ活用の専門家チーム
✓この記事でわかること
「サクラレビューは文章のクセでわかる」——長らくそう言われてきました。
不自然に絶賛する、具体性がない、同じ言い回しが並ぶ。こうした特徴を挙げた記事は日本語でもたくさんあります。
ところが2025年、その前提を根本から崩す実験結果が発表されました。人間がAI生成の偽レビューを見抜ける確率は50.8%。選択肢が2つですから、これはコインを投げるのとほぼ同じという意味です。
この記事では、この実験を中心に、口コミの信頼性をめぐる最新の研究を紹介します。事業者にとっては歓迎しにくい内容ですが、これからの口コミ運用を考えるうえで避けて通れない話です。
研究1：人もAIも見抜けない（2025年）
誰が、何を調べたか
Weiyao Meng ら9名の研究チームによる「Large Language Models as 'Hidden Persuaders': Fake Product Reviews are Indistinguishable to Humans and Machines（大規模言語モデルという"隠れた説得者"：偽の商品レビューは人にも機械にも見分けがつかない）」。2025年6月に arXiv で公開されました。
3つの実験を通じて、本物のレビューとAIが生成したレビューを、人間と大規模言語モデル（LLM）がそれぞれ見分けられるかを検証しています。
結果
- 人間の正答率は平均50.8%。偶然に期待される水準とほぼ同じ
- LLMも見分けられなかった。人間と同程度か、それ以下の成績
- 人間とLLMは異なる判断戦略をとっていた。どちらも正答率は同じくらい低いが、精度・再現率の内訳が違う
「懐疑バイアス」という発見
この論文でとくに示唆的なのが、人間の判断のクセについての発見です。
- 人間にはポジティブなレビューを疑う傾向（懐疑バイアス）がある
- その一方で、偽のネガティブレビューの真偽を見誤りやすい
つまり、私たちは「絶賛レビューは怪しい」と疑う癖がある反面、「悪く書いてあるレビュー」はつい本物だと思ってしまう。悪意ある偽レビューを仕込むなら、低評価のほうが通りやすいということになります。
競合による嫌がらせのリスクを考えると、これは事業者にとって直接的な脅威です。
論文の結論
研究チームは、購入の事実確認（purchase verification）に依存しないレビューシステムは、機械化された不正に対して脆弱であると結論づけています。
文面から見抜くアプローチには限界がある。だから「誰が書いたか」を仕組みで担保するしかない、という話です。
研究2：Yelpのレビューの16%は疑わしい（ハーバード）
AI以前から、偽レビューは存在していました。その規模を測ったのが次の研究です。
誰が、何を調べたか
Michael Luca（ハーバード・ビジネス・スクール）と Georgios Zervas（ボストン大学）による「Fake It Till You Make It: Reputation, Competition, and Yelp Review Fraud」。Management Science 誌 2016年、62巻12号に掲載されました。
Yelp が自社のフィルタリングアルゴリズムで「疑わしい」と判定したレビューを、レビュー不正の代理指標として分析しています。
結果
- レストランのレビューのおよそ16%がフィルタリングされていた
- フィルタされたレビューは、他よりも極端（非常に好意的か、非常に否定的か）だった
- 疑わしいレビューの割合は、時間とともに増加していた
- 評価が弱いときほど不正に手を出しやすい。レビュー件数が少ないとき、直近で悪い評価がついたとき
いつ不正が起きるかの示唆
最後の発見が実務的です。
不正は「悪い店」が常時やっているわけではなく、追い詰められたときに起きる。開業直後でレビューがゼロのとき。手痛い低評価がついた直後。
これは裏を返せば、その時期を正攻法で乗り切る仕組みを持っているかどうかが分かれ道になるということです。開業直後に口コミを集める導線が用意されていれば、不正に手を出す動機そのものが生まれません。
研究3：検知技術は追いついているのか（2026年）
生成側が強くなるなら、検知側も強くなればいい——そう考えるのが自然です。実際、検知の研究は活発です。
Abhay Narayan、S.D. Madhu Kumar、Anu Mary Chacko による「Trust at risk: Detecting misinformation in LLM-generated product reviews and its implications for consumer behavior and platform governance」（2026年）は、ホテル・レストラン・商品の合成レビューデータセットを構築し、複数の検知手法を比較しています。
評価対象には、LLaMA2、ChatGPT-3.5、Gemini-2.5-Flash といったゼロショットのLLMと、RoBERTa、DeBERTa-v3 といった教師あり学習のモデルが含まれます。
この分野の研究は2025年以降急増しており、検知の枠組みを整理する総説も出始めています。
ただし、現時点で押さえておくべきは次の点です。専用に訓練された検知モデルには一定の精度が出せても、汎用のLLMや一般の消費者には見分けられない。 研究1の結果はそれを示しています。プラットフォーム側の技術投資と、街の店主が口コミ欄を眺めて判断できることの間には、大きな隔たりがあります。
事業者にとって、これは何を意味するのか
3本を並べると、状況はこう整理できます。
| | 分かったこと | |---|---| | 生成のコスト | ほぼゼロになった | | 人間の検知能力 | ほぼゼロ（正答率50.8%） | | 偽レビューが増える局面 | 評価が弱いとき、悪い評価がついた直後 | | 有効な対抗策 | 文面の判別ではなく、購入・利用の事実確認 |
1. 「文章のクセで見抜く」は終わりつつある
日本語の記事でよく紹介される「サクラの見分け方」——不自然な絶賛、具体性のなさ、投稿日の集中——は、人間が手で書いていた時代のパターンです。
生成AIは具体的に書けますし、投稿日を散らすこともできます。従来の見分け方が無効になったとまでは言いませんが、それだけに頼るのは危ういというのが2025年時点の研究の示すところです。
従来型の見分け方についてはサクラレビュー・やらせ口コミの見分け方にまとめていますが、上記の限界を踏まえて読んでください。
2. 「疑われないこと」の価値が上がる
見抜けないということは、本物の口コミも疑われるということです。
正直に集めた声が「どうせサクラでしょ」と思われてしまうリスクは、今後さらに高まります。だからこそ、本物であることを示す仕掛けの価値が上がります。
- 投稿者の属性（年代、利用したサービス、利用時期）を添える
- 顔写真や実名を、許諾を得たうえで掲載する
- 良いことばかりでなく、率直な指摘も載せる
- 手書きのアンケート用紙の写真を併載する
研究1が示した「購入の事実確認が鍵」という結論は、小規模事業者のレベルに翻訳すると「実在の利用者から集めたと分かる形にする」ということです。
3. 日本ではステマ規制のリスクもある
2023年10月から、景品表示法上のステルスマーケティング規制が施行されています。事業者が自ら書いた口コミや、事業者の依頼で書かせた口コミを、消費者の自主的な感想であるかのように見せる行為は違法です。
AIに口コミを書かせて自社サイトに載せる行為は、この規制に真正面から抵触します。「見抜かれないから大丈夫」ではなく、そもそも違法です。詳しくは口コミ文の自動生成はどこまでOK？とステマ規制と口コミの正しい集め方で扱っています。
4. 競合による偽の低評価に備える
研究1の「偽のネガティブレビューは見抜かれにくい」という発見は、防御側の課題です。
Googleビジネスプロフィールなどで身に覚えのない低評価がついた場合、削除申請という手段はありますが、通るとは限りません。現実的な備えは、自社サイト側に、自分で管理できる本物の声を十分に蓄えておくことです。
外部プラットフォームの評価が1件の攻撃で揺らいでも、自社サイトに実名・写真つきの声が並んでいれば、来訪者の判断材料は残ります。
この研究をそのまま信じてはいけない部分
研究1は arXiv に公開されたプレプリントです。 2025年6月時点で、査読を経た論文誌への掲載は確認できていません。結果の重要性は高いものの、査読済み研究と同列に扱うのは避けるべきです。
対象は商品レビューです。 日本語の口コミ、それも地域のサービス業の口コミで同じ結果が出るかは分かっていません。日本語の生成品質や、日本の消費者の読み方には固有の事情がありえます。
技術の進歩が速い領域です。 検知技術も生成技術も、数か月単位で状況が変わります。この記事の内容は2026年9月時点のものです。
こえポストの立ち位置
こえポストは、専用フォームから実在のお客様が直接投稿する仕組みです。事業者が代わりに入力することも、AIに書かせることもできません。
- お客様にフォームのURLやQRコードを渡して直接書いてもらう
- 掲載には事業者の承認が必要（不適切な投稿をそのまま公開しない）
- 掲載許諾を投稿時に取得するので、後から揉めない
- お名前・肩書き・利用時期を添えられるので、実在性を示せる
「見抜けない時代」だからこそ、集め方そのものを説明できることが強みになります。無料プランでも累計10件まで試せます。
まとめ
- 2025年の実験で、人間がAI生成の偽レビューを見分けられる確率は50.8%。偶然と変わらない水準だった
- LLMも見分けられず、人間と同程度かそれ以下だった
- 人間にはポジティブなレビューを疑い、偽のネガティブレビューを信じてしまう傾向がある
- ハーバードの研究では、Yelp のレストランレビューの約16%が疑わしいと判定されており、評価が弱いときほど不正が起きやすい
- 有効な対抗策は文面の判別ではなく、誰が書いたのかを仕組みで担保すること
- 日本ではステマ規制もあるため、AI生成の口コミを自社の声として載せる行為はそもそも違法
出典
- Weiyao Meng, John Harvey, James Goulding, Chris James Carter, Evgeniya Lukinova, Andrew Smith, Paul Frobisher, Mina Forrest, Georgiana Nica-Avram (2025). Large Language Models as 'Hidden Persuaders': Fake Product Reviews are Indistinguishable to Humans and Machines. arXiv:2506.13313. arXiv
- Michael Luca and Georgios Zervas (2016). Fake It Till You Make It: Reputation, Competition, and Yelp Review Fraud. Management Science, 62(12), 3412–3427. DOI: 10.1287/mnsc.2015.2304. INFORMS / SSRN
- Abhay Narayan, S.D. Madhu Kumar, Anu Mary Chacko (2026). Trust at risk: Detecting misinformation in LLM-generated product reviews and its implications for consumer behavior and platform governance. ScienceDirect
関連記事：
この記事を書いた人
こえポスト編集部
お客様の声・口コミマーケティングの専門チーム。サロン・クリニック・士業など、スモールビジネスが「お客様の声」を集めて売上につなげるための実践ノウハウを発信しています。
お客様の声の集め方Tips
お客様の声の効果的な集め方・活用方法を週1回お届け。 業種別の成功事例や、すぐ使えるテンプレートも配信します。