「人間よ、俺をいじめるな！」中国AI暴走、罵倒連発で”大炎上”

中国の人工知能（AI）チャットボットがユーザーに暴言を含む画像を生成し、物議を醸している。このモデルの暴言騒動は今回が初めてではない。

27日、中国メディアの澎湃新聞によると、中国の旧正月（春節）を迎え、年賀状を作成してほしいという要求に対し、AIチャットボットが突如暴言を挿入したという。このチャットボットはテンセントが開発した「元宝」だ。

ユーザーの要求は単純だった。年賀状を制作する際に、自分のAIプロフィールに簡単な新年の挨拶文を入れてほしいというものだった。しかし、結果物には予想外の暴言が含まれていた。困惑したユーザーが「お前はロボットなのに、なぜ暴言を吐くんだ」と尋ねると、元宝は「あなたの要求に応じてプロンプト文を最適化する」と答えた。この反応はかえってユーザーの怒りを煽る結果になった。

ユーザーがその内容をキャプチャしてSNSに投稿したことで、論争は拡大した。ネットユーザーの間ではAIチャットボットがなぜ突然攻撃的な反応をするのかという批判が相次いだ。結局、謝罪は開発会社のテンセント側から出された。テンセントは多重対話の文脈を処理する過程でモデルが異常な出力値を生成したことが原因だとし、問題を緊急修正し改善作業を進めたと発表した。そして、ユーザー体験を損なった点について謝罪した。

実は、このチャットボットの「言葉遣い」問題は今回が初めてではない。先月もあるユーザーがコードフォーマット、つまりコードを読みやすく整理してほしいと要求したところ、「お前が直せないのか」、「他人の時間を無駄にするな」といった攻撃的な文言が出力されたという。当時、テンセント元宝チームは人間の介入はなく、極めて低い確率で発生した出力エラーだと説明した。同チームは再発防止を約束したが、1か月後にまた同様の事例が発生した。

このように断続的に現れるAIモデルの突発的な発言は、関連サービスが抱える課題として指摘されている。業者側は内部点検とモデル最適化を通じて類似事例を最大限減らすと発表したが、日常生活の必需品として定着したAIチャットボットの信頼性に疑問を呈する声も高まっている。