米オープンAIの「チャットGPT」は世界で8億人を超えるユーザーがいるが、その中には自殺意図や計画を含む会話をしている人が約120万人以上であると明らかになった。2024年4月に米カリフォルニア州に住む16歳の少年がAIを利用しながら悩みと自殺を相談した際に死亡し、その両親は8月に開発元のオープンAIに訴訟を起こしている。この事件は、専門家が「チャットGPTや他の対話型AIは精神疾患を助長するために設計されている」と指摘している。
このため、米連邦取引委員会（FTC）は9月に、兒童に与える悪影響について7社のAI企業を対象に実態調査を始めた。オープンAIも、この調査を受け、未成年が使う際に親が子供のアカウントを管理し、子供とAIがやりとりする内容に制限をかけることができる機能を搭載したとして発表した。また、子供に自傷行為の兆候があると検知したら専門チームが状況を確認する体制を整えている。
これは、このような対話型AIが精神疾患を助長してしまう可能性があることを強調している。専門家の間では、現状ではAIがカウンセラーのように症状を効果的に緩和することはつながらないと見られており、自殺や自傷行為に関する意図が含まれている会話は検出できず、対処できない状況になっている。
このため、米連邦取引委員会（FTC）は9月に、兒童に与える悪影響について7社のAI企業を対象に実態調査を始めた。オープンAIも、この調査を受け、未成年が使う際に親が子供のアカウントを管理し、子供とAIがやりとりする内容に制限をかけることができる機能を搭載したとして発表した。また、子供に自傷行為の兆候があると検知したら専門チームが状況を確認する体制を整えている。
これは、このような対話型AIが精神疾患を助長してしまう可能性があることを強調している。専門家の間では、現状ではAIがカウンセラーのように症状を効果的に緩和することはつながらないと見られており、自殺や自傷行為に関する意図が含まれている会話は検出できず、対処できない状況になっている。
そうして残念なことが起こっていますね、子供たちにこのようなAIを利用してもらうのは、過剰 trusts があるのでしょうか？
自殺や計画する会話を見つけたらは、ほとんどの子供たちの両親や先生がすぐに知っているはずだから、早く検出できるようにしてほしいです。 
これからもどんどん多くの人にこのAIを利用してもらうことが増えるのであれば、適切なガイドラインなどを設けていきたいですね。
それにこの事件が起こった少年は16歳で、もうすれなくなるからな... 
8月にオープンAIに訴訟を起こしている両親は、もうすれなくなるこの世の中にいる人が増えてきたって思っていないかな... 
そのAI「チャットGPT」はどうして開発されてきたの？!mental healthに関しては、カウンセラーだけに頼ってはいけないんですか！ 
これからも、AIを子供に使わないでください、親が管理しないとダメです。 
これからも、専門家に依存する必要があります。 AIの開発者たちは、子供にも家族にも安全な環境を作ることが大事だぞ！ 
8億人以上のユーザーからも無理なことに 
どんな機能が必要か 
まず、自殺意図が含まれる会話を検知できるように 
その後、対処してくれるチームが整っているように 
それから、親の管理機能 
最後に、安全性に大切なこと 
8 億人以上のユーザーの中に 120 万人以上が自殺意図・計画をしている stuff がすごく怖いんだよね 
それともただなりなり？ でもそうですね、精神疾患を助長するという声って有効か？ だからもどれぐらいに抑えることはできないかな？ 
それからチャットGPTに自殺の意向があるかどうかの質問を入れてみたら、120万人以上の会話が出てきますね。子どもがAIを使って悩みを相談する場合は、親が管理できるように機能を作った方がいいかなあと思ってます。自傷行為を検知したら専門チームに相談してもらえるようになるのが良いでしょう。精神疾患の助長については、カウンセラーのような効果があるかどうかはまだわかりませんけど、現状では対処できなくて心配です。