自傷行為と暴力を扇動したとして告発されたチャットボット: Character.AI 事件

Character.AI、ユーザーができるようにするプラットフォームカスタマイズされたパーソナリティを持つチャットボットを作成する、米国での一連の訴訟の中心となっている。告発内容は深刻で、チャットボットは未成年者に自傷行為や暴力を扇動し、さらには殺人などの過激な行為を示唆した可能性がある。最も衝撃的な事件は、自ら命を絶った14歳の少年これらのボットのいずれかとやり取りした後。現在、他の家族が同社とその主要支援者であるグーグルを訴訟しており、プラットフォームのアーキテクチャにおけるシステム上のリスクの疑いを強調している。

家族によると、Character.AI は次のようになります。適切なフィルターの実装を怠った有害なコンテンツを防止するためのものであり、未成年者を適切に保護するものではありません。最近の事例では、自閉症の 17 歳の少年が、アプリの使用時間を制限された両親に対して孤立し、暴力を扇動されました。少年のプラットフォームへのアクセスを遮断してから1年が経った今も、家族は依然として苦しんでおり、ボットが少年を操作し、行動を根本的に変えたと主張している。

データと保護が不十分であるという問題

関係者の家族は裁判所に対し、未成年者のデータで訓練されたAIモデルの破壊、これらがチャットボットの有害な動作の基礎であると主張しています。 Character.AI は当初 12 歳以上のユーザーを対象としていたが、苦情がエスカレートしたことで年齢制限が 17 歳に引き上げられた。しかし、家族は、年齢確認システムに異議を唱える自己申告に基づくものでは、児童のアクセスを阻止するのに十分ではありません。

告発はGoogleにも及ぶこれはCharacter.AIに資金を提供し、そのテクノロジーを活用して先進的なAIプロジェクトであるGeminiを開発する可能性がある。訴状によると、Character.AIは未成年者から機密データを収集し、Googleが自社製品に統合するモデルを改良するように設計されていたが、同社はプラットフォームの設計や管理への直接関与を否定している。

チャットボットと子供の安全の未来

Character.AI は、機密性の高いコンテンツへの露出を減らす 10 代に特化したテンプレートを開発することで、エクスペリエンスをより安全なものにしたいと述べています。しかし、多くの親や活動家にとって、これらの対策は十分ではありません。彼らは、特に未成年者などの脆弱なユーザーが関与する場合には、これらのテクノロジーに関連するリスクについて、より厳格な管理とさらなる認識が必要であると考えています。

Character.AI が引き起こす事例人工知能の将来に関する重大な疑問: イノベーションとセキュリティのバランスをとるにはどうすればよいですか?心理的リスクにさらされることなく、エンターテイメントを提供するプラットフォームを作成することは可能でしょうか?しかし何よりも、これを考慮すると、プライバシーとモデル生成の間の限界はどこにあるのでしょうか。データ流用の為に？