「AIサービスと認知バイアス」山本祐輔
AI技術が進化したおかげで、わたしたちは効率的に情報を集められるようになりました。ショッピングサイトや動画視聴サイトでは、自分の興味にあったコンテンツが自動的に推薦されます。ウェブ検索エンジンは検索キーワードからユーザの意図をくみ取り、関連するページをリストアップしてくれます。さらに、最近は生成AIの登場によって、質問を文章で投げかけるだけで、流暢な回答をまとめてくれる対話型生成AIサービスが大流行です。なかでも、ChatGPTで有名なOpenAI社が2024年12月に発表した新モデル「OpenAI o3」は、あるテストで人間の博士号レベルを超える正答率を記録し、大きな話題を集めました[1]。
AIサービスは瞬時に情報を検索し、的確な回答を提示してくれるように見えます。しかし「調べ物ならサクッとAIに任せてしまえばいいのでは？」と考えるのは早計です。最新の生成AIでも、ときどき誤った回答や偏見を含む回答が生じることがあります[2]。また、最新のAIの力を持ってしても、正しい情報と誤った情報を見分けるのは依然として難しいのが現状です。ウェブ検索エンジンの検索結果に、信頼性の低い情報が混ざってしまうこともあります。そのため、健康など、生活や人生に直結するような重要な話題に関しては、AIの回答を参考にしつつも、最終的には自分自身で情報の質を見極め、情報を取捨選択したり、意思決定したりする必要があります。
「すべてをAI任せにせず、最後は人間が冷静に判断する」という考えは一見当然のように思われますが、実はそれほど簡単ではありません。なぜなら意識していても避けられない「認知バイアス」という、人間の思考の癖があるからです。さらに、この認知バイアスはAIサービスの設計次第で強化される場合があることもわかっています。この記事では、AIサービスの設計を考えるために、認知バイアスとAIサービスの関係について触れたいと思います。
山本祐輔
名古屋市立大学 データサイエンス学部 准教授
2011年、京都大学大学院情報学研究科博士後期課程修了。博士（情報学）。2023年より名古屋市立大学データサイエンス学部准教授。情報アクセスシステム、人と情報のエコシステムに関する研究に従事。ACM/IEEE-CS JCDL 2020 The Vannevar Bush Best Paper Award、WebDB Forum 2019最優秀論文賞など受賞。
認知バイアスとは
認知バイアスの話をする前に、人間の思考や意思決定プロセスに関する「二重過程理論」に触れておきましょう。二重過程理論によると、人間の思考には「システム1」と「システム2」という2種類のプロセスがあり、わたしたちはそれらを使い分けながら生活しています[3]。
[システム1]
経験に基づき、素早く無意識的に働く直感的な思考です。たとえば、怒っている人の写真を見て「この人は何かに腹を立てている」と直感的に判断するのはシステム1の働きです。システム1は意識的な注意や努力をほとんど必要としないため「ファスト思考」とも呼ばれます。
[システム2]
頭を使って注意深く行われる論理的な思考です。計算問題や複雑な判断を伴う課題などを解くときに用いられます。システム2は時間や労力を必要とするため、疲れやすく「スロー思考」とも呼ばれます。
わたしたち人間はシステム1とシステム2の2種類の思考を使い分けて生活しているのですが、普段はシステム1がメインで働き、わたしたちは無意識的に行動しています。たとえば、信号が赤から青に変わった際に「青は進んでよい」というルールをいちいち熟慮して行動しません。もし常にシステム2をフル稼働させていたら疲れてしまいますし、日常生活がまわらなくなってしまうでしょう。このように大抵のケースでは、自身の経験や常識に基づき、ショートカット的な思考であるシステム1を使って乗り切っています。一方、予算内で必要な物をすべて買いそろえるようなシーンなど、日常生活ではじっくり考えなければ答えが出ない場面にも時々出くわします。そんなときはシステム2の出番。システム1がシステム2を呼び出し、より丁寧に考えて問題を解決します。
このようにシステム1とシステム2が上手く使い分けられればよいのですが、システム2を使うべき場面でもシステム1が使われてしまうことで、間違った判断や偏った判断が起こることがあります。こうした、直感や固定観念に基づく即決が原因で非合理的な結果を引き起こす現象は「認知バイアス」と呼ばれています。認知バイアスには多くの種類がありますが、中でも有名なのが「確証バイアス」です。これは、自分にとって都合の良い情報ばかりを優先して探しがちになる認知バイアスです。たとえば、ある候補者にポジティブな印象を持っていると、その候補者を支持する記事ばかりを探してしまい、否定的な情報をあまり見なくなる。候補者の良し悪しを冷静に判断するには、良い面と悪い面の両方を見た方がよいにもかかわらず——これが典型的な確証バイアスの例です。
認知バイアスは誰にでも起こりうる現象ですが、以下で取り上げるように、AIサービスの利用時には、情報の提示方法やユーザとのやりとりのデザインによって、認知バイアスが強化されるケースも指摘されています。
AIサービスと認知バイアス
AIサービスには様々なものがありますが、ここでは一般の方がよく使う以下の3つを例に挙げ、認知バイアスとの関係を紹介します。どの例も確証バイアスに関係します。
_
1. 情報推薦サービス
2. ウェブ検索エンジン
3. 対話型生成AI
_
ケース1: 情報推薦サービス
YouTubeやX（旧Twitter）、Amazonのようなサービスでは、ユーザの視聴履歴、クリック、いいねといった行動履歴が記録されています。蓄積された大量の行動履歴データにAI技術が適用されることで、「パーソナライゼーション」と呼ばれるコンテンツ推薦機能が実現できます。パーソナライゼーション機能が実装されたAIサービスはユーザが興味を持ちそうなコンテンツを自動的に推薦してくれるので、ユーザは必要なコンテンツを探す手間が省けて便利です。さらに、ユーザが好みに合ったコンテンツを選ぶほど、AIはユーザの嗜好をより正確に学習していきます。
便利に見えるパーソナライゼーションですが、長く使い続けると、自分の関心のある情報ばかりが優先され、興味がない情報はどんどん表示されにくくなります。結果として、自分の興味・関心だけが強調された「情報の孤立状態」に陥りやすくなります。このような状態を「フィルターバブル」と呼びます[4]。
趣味や娯楽の分野であれば、フィルターバブルに陥っても大きな問題になりにくいでしょう。しかしながら、フィルターバブルはその性質上、確証バイアスを助長します。それゆえ、政治や社会問題のように多面的な情報収集が必要な分野でフィルターバブルが生じると、自分がすでに持っている信念に合う情報しか目に入らなくなり、その結果、視野が偏り、偏見が強化されることも考えられます。
フィルターバブルはソーシャルメディアの文脈でよく取り上げられますが、近年の研究によると、Google Newsなどのニュース検索サービスにおいてもパーソナライゼーションが行われており、同様の現象が指摘されています[5]。
ケース2: ウェブ検索エンジン
今日、ウェブ検索エンジンはわたしたちの生活になくてはならない存在となっています。玉石混淆のウェブ情報からユーザの検索意図を満たす情報を届けるために、ウェブ検索エンジンはAI技術を用いて様々な指標を組み合わせ、関連性や有用性に基づいてウェブページを順位づけしています[6]。ただし、ウェブページに掲載された情報の質は、ユーザ自ら判断する必要があります。
ところが、実際には検索結果に並んだウェブページの質をじっくり吟味しながら情報検索や意思決定を行える人は多くないのが現状です。メディアリテラシーの問題もありますが、ウェブ検索エンジンと人間のやりとりのデザインが認知バイアスを発生させる原因にもなっています。
ウェブ検索エンジンでよく知られている認知バイアスの1つが「ポジションバイアス」です。「ポジションバイアス」は、検索結果のリスト上位にあるページほどクリックされやすいという現象です。順位が高いからといって、そのページが必ずしも高品質とは限りません。それにもかかわらず、ユーザの多くは「上位だから魅力的」と感じて上位の検索結果をクリックしてしまうことが明らかになっています。また、検索ワードが太字でハイライトされているページほどクリックされやすくなる「プレゼンテーションバイアス」も報告されています[7]。
さらに、ウェブ検索エンジンと確証バイアスの関係についても興味深い研究結果があります。Microsoft ResearchのR. Whiteらは「チョコレートにカフェインが含まれるか？」のようにYes/Noで答えられる疑問を検索した人々を対象に大規模な調査を行い、彼らの検索行動や心理を分析しました[8]。その結果、Yes/No型の疑問でウェブ検索するとき、多くの人はすでに自分の中で「こうだ」と思う答え（信念）を持っており、それが正しいかを確かめるために検索していることが分かりました。このことから、この種のウェブ検索を行う際には確証バイアスが発生しやすい状況になっていると考えられます。
そこで、Whiteらは事前に抱いている信念の度合いがウェブ検索行動や事後の信念に与える影響について別途調査を行いました。その結果、事前の信念を持っている人がウェブ検索をしても、信念が覆されるケースはまれで、逆に信念が強化される傾向があるとのことです。特に、事前にポジティブな期待（Yes方向の答え）を抱いている人ほど、その傾向が強いといいます。さらに、ウェブ検索エンジンはYes側の情報を含むページを上位にランク付けする傾向があるため、結果的に確証バイアスを後押ししてしまう可能性があると報告しています。
ケース3: 対話型生成AI
ChatGPTやGeminiなどの対話型生成AIは、ウェブ検索エンジンに代わる新たな情報検索・意思決定ツールとして注目を集めています。多くの人が「ウェブ検索エンジンよりも調べ物が早く終わり、より質の高い情報が得られる」と感じているようです[9]。
ウェブ検索エンジンでは文章やたくさんのキーワードを用いて検索すると引っかかるページが少なくなるため、検索意図をそぎ落とし厳選された検索ワードを用いる必要があります。一方、対話型生成AIは文章を理解できるため、ユーザは検索意図を文章で表現できます。人間の意図を遠慮せずに豊かな表現で伝えられるようになったことは、技術的には素晴らしいことです。しかしながら、ユーザが「自分の信念を支持する情報」を得たいと思ったとき、その意図を文章でダイレクトに伝えやすくなります。質問意図が明確に表現されるほど、対話型生成AIは関連する回答を生成しやすくなります。結果的に、対話型生成AIは「ユーザの信念を支持する情報」を提示し、ユーザはより積極的に「自分の信念を支持する情報」を探そうとする可能性があります。
実際に、ある研究者が「賛否が分かれる話題」で対話型生成AIを使って意思決定してもらう実験を行ったところ、「自分の信念を支持する情報を確認するための質問」をする頻度が、ウェブ検索エンジンを使った場合よりも有意に多かったそうです[10]。さらに、AIの回答が中立的あるいは否定的になるよう調整しても、この傾向はほとんど変わらず、肯定的な回答を返すように調整すると、ユーザはさらに「自分の信念を支持する情報」を求める質問をするようになったといいます。
生成AIによって情報サービスは劇的に進化しましたが、ユーザの意図をより正確にくみ取れるようになったことで、確証バイアスが助長されやすくなる可能性が示唆されています。今後は何らかの対策が必要になるでしょう。
AIを「手になじむ道具」に
AI技術は日々進化していますが、誤りや偏りのない適切な回答を返すAIの実現は道半ばです。前述のとおり、AIサービスが人間の認知バイアスを助長するケースもあります。そのため、たとえAIが完全無欠の情報を出せるようになったとしても、AIサービスの利用によって認知バイアスが生じると、熟慮が必要な場面でも人間はAIの情報を都合良く解釈し、短絡的で偏った判断をしてしまうリスクは残ります。AIサービスが目的達成を支援し、人間の幅を広げる道具であるためには、AI技術そのものの性能向上だけでなく、人間の特性（認知バイアスなど）を考慮した「人間とAIのインタラクション設計」も重要です。AIに「使われない」ように、AIを「人間の手になじむ道具」にすることが求められます。
同時に、人間側の考え方や行動様式もアップデートする必要がありそうです。対話型生成AIのように、AIが人間と同等以上のパフォーマンスを発揮する場面がこれからも増えていくでしょう。そうしたなかで、AIと人間が共創し優れたパフォーマンスを発揮するには、AIの進化に応じながら、人間自身も従来とは異なる方法で知恵を働かせることが必要になるかも知れません。
[1] OpenAI o3 and o3-mini—12 Days of OpenAI: Day 12, https://www.youtube.com/live/SKBG1sqdyIU
[2] ChatGPTはなぜ、人間のような言葉を紡ぎ出せるのか？（後編）～日本語も飛躍的に進化 信頼性に課題も, https://smartnews-smri.com/research/research-2274/
[3] ダニエル・カーネマン（著）, "ファスト＆スロー？あなたの意思はどのように決まるか？", 早川書房（2014）
[4] イーライ・パリサー（著）, "フィルターバブル─インターネットが隠していること", 早川書房（2016）
[5] H. Le et al., "Measuring Political Personalization of Google News Search", In Proceedings of In The World Wide Web Conference (WWW '19), 2019.
[6] Google: 結果を自動的に生成する仕組み, https://www.google.com/intl/ja/search/howsearchworks/how-search-works/ranking-results/
[7] Y. Yue et al., “Beyond position bias: examining result attractiveness as a source of presentation bias in clickthrough data”. In Proceedings of the 19th international conference on World wide web (WWW '10), 2010.
[8] R. White. "Beliefs and biases in web search", In Proceedings of the 36th international ACM SIGIR conference on Research and development in information retrieval (SIGIR '13), 2013.
[9] R. Xu et al., "Chatgpt vs. google: A comparative study of search performance and user experience", . arXiv preprint arXiv:2307.01135, 2023.
[10] Q. Sharma et al., "Generative Echo Chamber? Effect of LLM-Powered Search Systems on Diverse Information Seeking", In Proceedings of the 2024 CHI Conference on Human Factors in Computing Systems (CHI '24), 2024.
