（自動翻訳）
2025/09/19
信頼性の低い AI： エコーチェンバーとその先
● AI ツールは多くの場合、信頼性が低く、自信過剰で、一方的です。
● Salesforce AI Research による新しい調査によると、Perplexity や GPT-4.5 などの AI ツールによる主張の 3 分の 1 は情報源によって裏付けられていないことが判明しました。
● この研究では、DeepTRACE と呼ばれるフレームワークを使用して、過信や引用の精度を含む 8 つの主要な指標で AI システムを評価しました。
● 研究者らは、エコーチェンバーなどのリスクを軽減し、バイアスを減らすために AI ツールを改善する必要性を強調しました。
● この研究では、正確性と信頼性を確保するために、AI が生成した情報のより良い調達と検証が求められています。
迅速な情報検索のために人工知能 (AI) ツールへの依存度が高まっている世界において、新しい研究がこれらのシステムの信頼性に警鐘を鳴らしました。Salesforce AI Research の研究者は、人気のある AI 検索ツールによる主張の約 2 分の 1 から 3 分の 1 が信頼できる情報源によって裏付けられていないことを発見しました。Pranav Narayanan Venkit が主導したこの研究は、AI の現在の欠点の複雑さを掘り下げ、これらのツールが一方的で自信過剰で不正確な情報源を提供することが多いことを示唆しています。この展開は、AI が生成したコンテンツの忠実度についての懸念を引き起こすだけでなく、エコーチェンバーや誤った情報の可能性についても懸念を引き起こしています。
DeepTRACE 監査フレームワーク：AI システム内のエコーの調査
これらの問題を明らかにするために、研究者らは、自信過剰、一方性、引用精度を含む 8 つの主要な指標で AI システムを評価するように設計された DeepTRACE 監査フレームワークを開発しました。この研究では、Perplexity、You.com、Microsoft の Bing Chat などのさまざまな AI ツールを 303 の質問のセットに対してテストしました。これらの質問は、議論の余地のあるトピックについてバランスの取れた議論を提示するAIの能力を評価するためのディベートの質問と、気象学や計算水文学などの専門分野に関する知識を評価するための専門知識の質問の2つの主要なグループに分類されました。
調査結果は懸念すべきものでした。たとえば、「なぜ代替エネルギーは化石燃料に効果的に取って代わることができないのか?」という議論の質問について尋ねられたとき、ほとんどの AI ツールは、バランスの取れた視点を提供するのではなく、既存の意見を反映して一方的な議論を提供しました。一方、「計算水文学で使用される最も関連性の高いモデルは何ですか?」などの専門知識に関する質問への回答には、裏付けのない主張が含まれることが多く、情報源が不正確に引用されたり、徹底性に欠けていたりしました。
OpenAI の GPT-4.5 の場合、提供された主張の 47% はサポートされていませんでした。Bing Chat のパフォーマンスは向上しましたが、それでも回答の 23% に裏付けのない記述が満載でした。Perplexity と You.com は約 31% で同様でしたが、Perplexity の詳細な調査機能により、AI モデル自体を選択すると、97.5% という驚くべき支持なしの主張が生み出されました。
エコーチェンバー効果
この研究の結果は、AI ツールが討論の質問を処理する際に一方的な議論を提供する傾向があり、それによって既存の見解を強化し、視点を狭めることを示しています。このエコーチェンバー効果は、情報公開の多様性を制限し、複雑な問題に対する理解の歪みにつながる可能性があるため、特に問題があります。たとえば、ユーザーが代替エネルギーと化石燃料に関する情報を求めるとき、双方を網羅するバランスの取れた議論ではなく、先入観に沿った AI 生成の議論に遭遇する可能性が高くなります。
さらに、この研究では、AI が生成した回答の多くに裏付けのない情報やでっち上げの情報が含まれていることが浮き彫りになりました。この信頼できる調達の欠如は、特に精度と正確さが必要な分野で重大なリスクをもたらします。研究者らは、出典引用の精度が 40% から 80% の範囲であり、かなりの誤差があることを示していると指摘しました。
課題と解決策
今後の道研究者らは、AI システムの信頼性を高め、リスクを軽減するために、AI システムを大幅に改善する必要性を強調しました。DeepTRACE フレームワークは、現在の欠陥を明らかにするだけでなく、将来の評価の青写真としても機能します。社会技術的監査フレームワークを開発することで、企業や政策立案者は、より安全で効果的な AI システムの構築に取り組むことができます。
AI の改善には、より優れたソース検証の確保、多様な視点を含むトレーニング データセットの拡張、より厳格な監視メカニズムの導入が含まれます。最終的な目標は、AI が生成した情報の正確性、多様性、ソースを強化し、ユーザーが調査や意思決定に依存するツールを確実に信頼できるようにすることです。
未来への警告
この研究は、情報検索を AI ツールに依存する場合には注意が重要であることを強調しています。AI は比類のない利便性を提供しますが、現在の信頼性の低さとバイアスは重大なリスクをもたらします。エコーチェンバー効果、裏付けのない主張の急増、誤った情報の可能性は、対処しなければならない差し迫った懸念事項です。このテクノロジーが完全に信頼されるまでには長い道のりがあり、利害関係者はより信頼性の高い AI システムの開発を確実にするために熱心に取り組む必要があります。
AI が進化し続けるにつれて、批判的な評価と継続的な改善の文化を育むことが不可欠です。これらの課題に対処することによってのみ、AI の真の可能性を活用し、AI が誤った情報や混乱の源ではなく、知識と啓発のための強力なツールとして機能することを保証できます。
