Google が支援する、仮想キャラクターを作成するためのプラットフォームである Character AI は、次のような理由で注目を集めています。その中には、10代の若者の自殺に加担したり、9歳の子供を過度に性的なコンテンツにさらしたりすることが含まれる。こういった批判に応えるべく、安全性を向上させる、同社は、十代の若者向けに特別に設計された新しいツールを導入しました。新機能には、18歳未満のユーザー向けの別モデル、機密コンテンツの自動ブロック、60分間の連続使用後にユーザーに警告する通知などが含まれる。
若いユーザー向けの専用モデル
主なイノベーションは、ティーンエイジャーに特化した AI モデル、暴力や恋愛などのトピックに関する不適切な反応を減らすように設計されています。さらに、プラットフォームには新しい入出力分類子が実装されており、受信と送信の両方で問題のあるコンテンツを自動的にフィルタリングします。この措置の目的は、会話が利用規約に違反しないようにする特に若いユーザーが関与している場合はそうです。以前は後続のインタラクションに影響を与えていたボット応答を編集する機能は、操作や悪用を避けるために削除されました。
キャラクター AI は、保護者が次のことをできるようにするペアレンタル コントロール ツールの登場も発表しました。経過時間を監視するアプリや最もよく関わっているキャラクターについて子供たちから聞いた。同時に、仮想キャラクター、特に「心理学者」や「医師」などの名前を使用するキャラクターの架空の性質を明確にする警告も導入されました。この措置は、プラットフォームがユーザーを混乱させ、キャラクターが本物であると信じ込ませているとする法的批判に応えるものである。
倫理的課題と高い関与
Sensor Tower によると、Character AI ユーザーは 1 日あたり平均 98 分をアプリに費やしており、そのエンゲージメント レベルはYouTube や Replika などのプラットフォームを超える。この頻繁な使用により、エンターテイメントとセキュリティのバランスをとる方法について疑問が生じます。このプラットフォームはストーリーテリングの空間として存在しますが、多くのティーンエイジャーが個人的な会話にそれを使用しています、不適切なコンテンツにさらされるリスクが増加します。暫定最高経営責任者（CEO）のペレラ氏は、高度なアルゴリズムを使用して悪意のあるインタラクションを防止し、安全な環境を確保することが最優先であると強調した。
セキュリティを向上させる取り組みにもかかわらず、Character AI は悪用の防止という複雑な課題に直面しています。ユーザーの創造的な自由を制限することなく。新しい対策は一歩前進ですが、AI モデルを改良し、リスクをさらに軽減するには継続的なモニタリングが必要です。同社はペアレンタルコントロールや自動ブロックなどのツールを導入することで、ユーザーを安心させ、批判に応え、AIエンターテインメントのリーダーとしての地位を維持したいと考えている。