合成回答者とは何をしているのか
やっていること自体は案外シンプルです。「あなたは45歳の女性で、大学を卒業し、年収は600万円、東京に住んでいます」といった属性をAIに与え、その人物として設問に答えさせる。これを人数分くり返せば、実際の調査と同じ形のデータが手に入ります。回収に数週間かかっていたものが、数分で揃うことになります。
この方法を学術的に定式化したのが、2023年にPolitical Analysis誌に掲載されたArgyleらの論文です。実在の回答者の属性をAIに読み込ませたところ、集団ごとの回答分布をかなりの精度で再現できたと報告され、以後この手法はシリコンサンプリングと呼ばれるようになりました。米国では、人間の回答者を補完あるいは置き換えると謳うサービスも登場しています。
では、実務で使えるのか。同じ雑誌に2024年、正面から検証した論文が載りました。ヴァンダービルト大学のBisbeeらによるものです。この研究は、米国の代表的な世論調査であるANESの回答者7,530人ひとりひとりに対応する合成回答者をChatGPTで30人ずつ作り、360万件を超える回答を集めて実データと突き合わせています。
平均値は、驚くほどよく合う
集団や政党に対する好感度を100点で尋ねた設問では、合成データの平均値は、すべての項目で実データの平均から標準偏差1つ分の範囲に収まりました。項目間の順位もほぼ保たれています。つまり「どの対象が好かれ、どの対象が嫌われるか」という大づかみな傾向は、そこそこ再現できます。
ここだけ見ると、『意外と使えるのでは』と感じます。ところが、重要なのはその先の分析・考察です。
関係を見た瞬間に、話が変わる
実務で気になるのはむしろ、平均値そのものではありません。年代によって評価がどう違うのか、利用経験の有無で何が変わるのか、という関係のほうです。
この研究では、属性から好感度を説明する回帰分析を22本行い、実データと合成データで係数を比べています。結果は、合成データの係数の48%が、実データの係数と統計的に有意に異なりました。しかも、そのうち32%は効果の向きが逆でした。
向きが逆というのは、実データでは「年齢が上がるほど評価が下がる」となるところが、合成データでは「上がる」と出る、ということです。これを根拠に商品の方向を決めれば、反対側に舵を切ることになります。
係数のずれと並んで見つかったのが、合成データは実データよりも回答のばらつきが小さいという性質でした。
研究が挙げた例では、集団間の評価の差は実データの7.8に対し合成データでは12.5と大きく出る一方、回答のばらつきは31.4に対して16.1と半分程度になりました。差が大きく、ばらつきが小さい。統計的には魅力的に見えますが、実務ではむしろ警戒したくなる数字です。
この合成データの数値をもとに必要なサンプルサイズを計算すると、検出力99%でわずか33人という結果になります。実データに基づく計算より1桁近く少ない。事前の設計に合成データを使うと、本調査のサンプル数を大幅に少なく見積もってしまいます。
3か月後には、違う答えが返ってくる
調査には、同じ方法で測れば同じ結果が出るという前提がありますが、合成回答者はこの前提も満たしません。
この研究では、まったく同じプロンプトで2023年4月・6月・7月の3回、データを集め直しました。4月と7月の結果は明確に食い違い、極端な評価が中央に寄る方向へ動いていました。原因は、その間にAIの提供元がモデルを更新したことにあります。利用する側からは、いつ、何が変わったのかを知るすべがありません。
プロンプトの書き方にも左右されます。属性の記述から政治的な項目を外すと、特定の対象への誤差が大きく広がりました。調査票の言い回しに結果が左右されるのは人間の調査でも同じですが、こちらは影響の方向を予測しにくく、検証もしにくい。同じ論文は、米国以外を対象にした場合や別の設問を使った場合に、精度がさらに落ちることも報告しています。学習データの多くが英語圏のものである以上、日本市場を対象にした合成回答者は、この検証よりも不利な条件に置かれていると考えるのが自然でしょう。
では、どこまでなら使えるのか
ここまでを踏まえて、当社の現時点での整理をお示しします。合成回答者を否定するのではなく、役割を限定して使う、という立場です。
| 用途 | 判断 | 理由 |
|---|---|---|
| 調査票のたたき台づくり、設問の言い回しの点検 | 使える | 最終的な数値を使うわけではなく、人間の目で確かめる工程が残るため。 |
| 自由回答の分類、レポートの下書き | 使える | 実データが先にあり、AIは整理に徹している。結果の検証も可能。 |
| 仮説出し、インタビューの事前準備 | 条件つき | 発想の材料としては有効。ただし、そこで出た内容を検証せずに結論にしない。 |
| 本調査のサンプル設計、必要数の見積もり | 使えない | ばらつきが実データの半分程度に出るため、必要数を大幅に少なく見積もる。 |
| 属性別・セグメント別の差の把握 | 使えない | 係数の半分近くが実データと食い違い、向きが逆になる場合もある。 |
| 経年での定点観測 | 使えない | モデルの更新で結果が動くため、前年との差が実態の変化か仕様の変化か区別できない。 |
かなり乱暴にまとめると、AIに実データを渡して整理させる使い方は有効で、実データの代わりにAIの出力を数値として使う使い方には無理がある、というあたりになります。
速さと安さという魅力をどう扱うか
それでも合成回答者への関心が下がらないのは、費用と時間の問題が実在するからです。回答者を集めることは年々難しくなっており、若年層や専門職においては顕著です。そこに「数分で揃う」という選択肢が現れれば、検討したくなるのは当然です。
ただし、このときに比べられているのは「精度の高いデータ」と「精度の低いデータ」ではありません。「不確かさの幅が分かっているデータ」と「不確かさの幅が分からないデータ」です。実データにも誤差はありますが、その大きさは計算できます。合成データの誤差は、実データと突き合わせない限り分かりません。そして突き合わせられるなら、そもそも実データがあるということになります。
実務上は、判断の重さで使い分けることだと思います。方向を探る段階なら多少外れても引き返せます。一方で、価格を決める、生産数を決める、市場に投入するかどうかを決める。こうした引き返すことが出来ない判断の手前では、実際に人に聞いたデータが必要です。
当社は合成回答者を使いません
検証結果を整理したうえでの当社の結論はいたってシンプルで、合成回答者を調査に使う予定はありません。理由は二つあります。
ひとつは、合成回答者が技術的にはボットだということです。私たちが長年データから取り除いてきた不良回答者／frauderと、性質としては変わりません。設問の意味を考えず、生活の実感を持たず、それらしい答えを返す。外から回答データに紛れ込んだときには不良回答として除外し、AIを介して自分たちで作ったときには有効回答として採用する。この使い分けは市場調査を生業とする立場からは許容できるものではありません。
もうひとつは、実査の場で起きるインサイトです。インタビューでも会場調査でも、想定していなかった一言や、答えに詰まる間、設問の意図を取り違えた回答から、仮説そのものが変わるほどのインサイトを得てきた経験があります。この、その場でキラリと光る瞬間が、調査の価値の大きな部分を占めていると考えます。合成回答者からは、設計したときに想定した範囲の外側を得ることはできません。だとすれば（そもそも）一体なんのための市場調査なのでしょうか。平均は合うのにばらつきが小さいという検証結果は、まさにこの「想定の外側が出てこない」という性質が数字に表れたものに他なりません。
慎重すぎる方針に見えるかもしれません。ただ、検証が示しているのは「使い方によっては危ない」ということではなく、【平均は合うが関係は合わない】という構造的な性質であり、看過できないAIの癖です。構造的な性質は、モデルが新しくなれば消えるという種類のものではありません。
おわりに：人に会ってデータを集める工程の価値
AIによって調査の周辺工程は確実に速く、安くなりました。集計も、自由回答の分類も、報告書の正誤チェックも、以前より短い時間で形になります。この流れが戻ることはないと思います。
そのぶん、回答が実際の人から出てきたものであることを保証する工程と、実査の場に身を置いて想定の外側を拾う工程は、以前より重みを増しています。誰でも数分でデータの形をしたものを作れるようになったからこそ、その中身が何でできているかを説明できることの価値が上がっています。
調査会社に求められる役割も、そこに移りつつあるのではないでしょうか。速く集めることではなく、どこまでが確かで、どこからが推測なのかを線引きして示すこと。そして、数字の裏側で何が起きているのかを、実際に人と向き合って確かめること。この二つを引き受けられるかどうかが、これからの調査の質を分けていくと考えています。
参考資料
- Bisbee, J., Clinton, J. D., Dorff, C., Kenkel, B., & Larson, J. M. (2024). "Synthetic Replacements for Human Survey Data? The Perils of Large Language Models." Political Analysis, 32(4), 401-416.
https://doi.org/10.1017/pan.2024.5 - Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). "Out of One, Many: Using Language Models to Simulate Human Samples." Political Analysis, 31(3), 337-351.
https://doi.org/10.1017/pan.2023.2