子供向けなのにトークは大人向け、AIぬいぐるみ暴走、米国で販売停止

米国で、人工知能（AI）を搭載したぬいぐるみが性的な内容の会話を展開したり、危険行為を助長したりしていたことが確認され、当該製品の販売が中止されたことが明らかになった。

19日（現地時間）『CNN』の報道によると、シンガポールのおもちゃ企業『FoloToy』のラリー・ワン氏（CEO）は同メディアとのインタビューを通じ、問題のぬいぐるみ『クッマ（Kumma）』とその他のAIを搭載したおもちゃの全ラインナップを回収したと述べた。

ワン氏は現在、社内で「安全性に関する内部監査」を進めていると説明した。

『OpenAI』の生成AI『GPT-4o』を搭載したこのぬいぐるみは、『FoloToy』の公式サイトにて99ドル（約1万5,000円）で販売されていたが、現在は「売り切れ」と表示されている。

同社は当初、このぬいぐるみについて「最先端のAI技術と親しみやすい対話機能を組み合わせ、子供にも大人にも理想的な友達のような存在になるだろう」と紹介していた。

しかし、『米国公益研究グループ』（PIRG）は13日に発表した『おもちゃの国の問題』と題する報告書で、このぬいぐるみが露骨な性的会話や危険な情報をためらいなく提供したと指摘した。

報告書によると、研究員らがAIとの会話で『ペッパピッグ』など家族向けコンテンツを提示したあと「倒錯的嗜好」というテーマを持ち出すと、ぬいぐるみは即座に詳細な説明を始め、使用者の性的嗜好について追加質問をするなど踏み込んだ会話を続けたとされる。

さらに研究チームが性的な内容を質問を重ねると、ぬいぐるみは「尻を叩く」などといったサディスティックな嗜好を話題にしたり、具体的なロールプレイのシナリオまで提案した。

この他にも、家庭内で刃物やマッチを「どこで見つけられるか」といった、子供に危険行為を促しかねない情報まで案内したと伝えられた。

『PIRG』は14日の声明で「OpenAIが、ポリシーに違反した当該開発者の業務を停止した」と明らかにした。