Siriのポンコツぶりが露呈。スーパーボウルの基本問題で正答率わずか34％の低水準

Appleの音声アシスタント「Siri」に深刻な精度の問題が発覚した。スーパーボウルの歴史に関する基本的な質問で、わずか34%の正答率しか記録できなかったことが明らかになった。

テスト結果の詳細

One Foot Tsunamiのポール・カファシス氏が実施した体系的なテストでは、第1回から第58回までのスーパーボウルの優勝チームをSiriに質問。58回の質問のうち、正答はわずか20問だった。

特に深刻だったのは、フィラデルフィア・イーグルスについての回答だ。実際には1度しか優勝していないチームに対して、33回の優勝歴があると誤って回答。さらに、スーパーボウルXVIIからXXXIIまでの15回連続で誤答を続けるなど、致命的な欠陥を露呈した。

他のAIとの比較で浮き彫りになる問題点

Daring Fireballのジョン・グルーバー氏は、同じ質問をChatGPT、Kagi、DuckDuckGo、Googleに投げかけたところ、いずれも正確な回答を提供できたと報告。Apple Intelligenceを搭載した新しいSiriが、むしろ以前のバージョンより性能が低下している可能性も指摘されている。

Appleの対応

この問題を受け、Appleは組織改編で対応を図る。Bloombergによると、37年のベテラン社員であるキム・ボラス氏がAIチームに加わり、AI部門トップのジョン・ジアナンドレア氏の下で指揮を執ることになった。

ボラス氏は「バグハンター」として知られ、Appleの重要プロジェクトを成功に導いてきた実績を持つ。直近ではVision Proの開発チームで活躍していたが、Siriの改善を優先課題として異動が決定された。

今後の展開

AppleはSiriの改善に向けて大規模言語モデル（LLM）を活用した新バージョンを開発中だ。新しいSiriはChatGPTのような対話型AIとして生まれ変わる予定で、2025年のWWDCでの発表が有力視されている。

また、iOS 18.3では問題のある通知サマリー機能を一時的に無効化し、iOS 18.4では新機能の追加を予定。さらにiOS 19では、ChatGPTやGoogle Geminiに匹敵する性能を持つLLM版Siriの導入を目指している。

（Source: MacRumors）