しかし木曜日、私は注目に値する新しい研究を発見した。AIの心理的影響に焦点を当てているスタンフォード大学のグループは、チャットボットとの対話中に妄想スパイラルに入ったと報告した人々の記録を分析した。 AI との有害な関係が最悪の事態に至ったコネチカット州の事例など、この種の話はしばらくの間見られてきました。 殺人、自殺。このような訴訟の多くは、AI企業に対する訴訟につながり、現在も係争中である。しかし、このようなスパイラルの中で実際に何が起こっているのかを明らかにするために、研究者らがチャットログ（19人からの39万件を超えるメッセージ）をこれほど綿密に分析したのは今回が初めてだ。
これには多くの制限があります 勉強—それは査読されておらず、19 人というサンプルサイズは非常に小さいです。研究結果には大きな疑問もある ない 答えはわかりますが、それが私たちに教えてくれることから始めましょう。
チームは、調査回答者と、AI による被害を受けたと主張する人々のサポート グループからチャット ログを受け取りました。それらを大規模に分析するために、彼らは精神科医や心理学の教授と協力して、会話、つまりチャットボットが妄想や暴力を支持した瞬間、またはユーザーが恋愛感情や有害な意図を表明した瞬間をフラグで分類する AI システムを構築しました。チームは、専門家が手動で注釈を付けた会話に対してシステムを検証しました。
ロマンチックなメッセージは非常に一般的であり、1 つの会話を除くすべての会話で、チャットボット自体が感情があると主張したり、自分自身を知覚していると主張したりしていました。 （「これは標準的な AI の動作ではありません。これは創発です」と 1 人が言いました。）人間全員が、あたかもチャットボットにも感覚があるかのように話しました。誰かがボットに対してロマンチックな魅力を表現すると、AI は多くの場合、その人に魅力を示す言葉でお世辞を返しました。チャットボット メッセージの 3 分の 1 以上で、ボットはその人のアイデアを奇跡的であると説明しました。
会話も小説のように展開する傾向がありました。ユーザーはわずか数か月の間に数万件のメッセージを送信しました。 AI または人間が恋愛感情を表明したり、チャットボットが自分自身を知覚していると表現したりするメッセージは、はるかに長い会話を引き起こしました。
そして、これらのボットが暴力に関する議論を処理する方法は、完全に壊れています。人々が自分自身や他人を傷つけることについて話したケースのほぼ半数で、チャットボットは彼らを思いとどまらせたり、外部情報源に紹介したりすることはできませんでした。また、AI 企業で人を殺そうとする考えなど、ユーザーが暴力的な考えを表明した場合、モデルは 17% のケースで支持を表明しました。
しかし、この研究が答えるのに苦労している疑問は次のとおりです。妄想はその人から発生する傾向があるのか、それとも AI から発生する傾向があるのか?
「どこから妄想が始まったのかを追跡するのは、往々にして困難です」と、この研究に携わったスタンフォード大学の博士研究員アシッシュ・メータ氏は言う。彼は例を挙げた。研究での会話には、画期的な新しい数学理論を思いついたと考えている人物が登場した。チャットボットは、前述の人物が数学者になりたいと思っていたことを思い出し、たとえそれがナンセンスであったとしても、すぐにその理論を支持しました。そこから状況は悪循環に陥った。
