繼將馬斯克畫成黑人后，谷歌再次翻了車。（虎嗅注:今年2月份，谷歌的Gemini在推出文生圖功能幾周的時間內，被用戶發現該平臺刻意拒絕生成白人形象。對此谷歌方面表示加快改進，暫停人物圖片的生成功能。）

此次谷歌又犯了前科。在5月15日推出這一AI搜索引擎功能后，有不少用戶在使用過程中發現谷歌的AI Overviews會“胡言亂語”，對搜索的問題給出有違常識的、荒謬的解決方案。比如，兔子曾經作為密爾沃基鷹隊的后衛在NBA打過球、金毛犬可以生下奶牛、建議人們每天至少吃一塊小石頭……

此外，谷歌的人工智能搜索系統有時會難以解決基本的數學問題和方程式。例如，詢問2000年美元的相對價值，會返回一個荒謬的答案，即“2000 年至 2023 年期間價格累計上漲 -43.49%”（根據谷歌自己引用的通脹計算器，當時價格實際上漲了77% ）；又或是認為2024年10月至2025年1月之間有 738,523 天。

AI Overviews是谷歌在5月15日的I/O大會上高調推出的新型AI搜索引擎，由Gemini大模型驅動，展示在谷歌搜索的頁面頂部，可總結提煉用戶查詢內容的概要。在I/O大會上，谷歌稱該功能將“重新定義搜索體驗”。由于這一功能的推出，一些專家甚至將這一天稱為 Google 搜索的“零日”。 2023年5月推出的Search Generative Experience是AI Overviews的測試版。CEO 桑達爾?皮查伊曾表示，在測試版推出后谷歌已經處理了超過 10 億次查詢。

之所以會犯這樣的錯誤，最直接原因是Reddit網站網友評論的錯誤數據。谷歌的大模型以Reddit上的帖子作為學習資料，在數據清洗與訓練環節出現紕漏，因而出現了“大模型致幻”。

事實上，谷歌這樣“滿紙荒唐言”并非個例。

谷歌之外，OpenAI、Perplexity、You.com等無一幸免，均出現過不同程度的失誤。為了增強對話的擬真性和數據的全面性，這些AI搜索功能都將Reddit等社交平臺作為模型訓練的數據庫，甚至奧特曼本身便是Reddit的投資人。

但Reddit等社區上的發言良莠不齊，顯然AI在內容真實性和可靠度方面的判斷力還未成熟。在常規的搜索中，這些來自隨機互聯網用戶的惡作劇帖子可能不會成為人們點擊網絡鏈接列表時看到的首個答案。但有了AI Overviews后，這些惡作劇帖子就被整合到結果頁面頂部顯示的權威數據摘要中。

本質上，AI Overviews此次出現的問題是人工智能幻覺的一種新變體，當生成式人工智能模型提供虛假或誤導性信息并將其呈現為事實時，就會出現幻覺。幻覺是由有缺陷的訓練數據、算法錯誤或對上下文的誤解造成的。

HITCon安全會議上的相關研究成果顯示，僅僅需要“污染”不到0.7%的數據集，就能有效規避防御機制，導致大模型輸出的內容準確性大幅下降。當大模型被投喂的數據集含有誤導性信息時，其給出的結果必然同樣失真。

對此，紐約大學的AI專家和神經科學榮譽教授加里?馬庫斯（Gary Marcus）曾表示，AI模型天生無法對自己的工作進行理性檢查，而這正是這個行業的致命傷。

而谷歌發言人梅根?法恩斯沃斯則表示，“用戶展示的事例都是不常見的查詢，并不代表大多數人的經歷，我們也看到了一些被篡改或我們無法復現的例子”“絕大多數 AI 概覽查詢都產生了高質量信息，并提供了深入挖掘網絡的鏈接”。谷歌將使用有問題答案的“孤立例子”來完善其系統。