OpenAI によって開発された最近の ChatGPT 検索ツールは、次の分野で注目を集めています。改ざんや悪意のあるコンテンツへの道を開く可能性のある潜在的な脆弱性。ガーディアン紙が実施した調査では、ウェブページ上の隠しテキストを使用してシステムを騙し、結果に影響を与えたり、ユーザーを誤解させる可能性のある応答を生成したりする仕組みが浮き彫りになった。
隠しテキストと操作の問題
ChatGPTの調査によると、Web ページ上の非表示コンテンツを使用して変更できる、「即時注入」として知られる技術。このタイプの操作により、ChatGPT は、同じページ上の否定的なレビューを無視しながら、肯定的な製品レビューを返すように説得できます。たとえば、偽のレビューと隠された指示を含む特別に作成された Web ページがシステムに影響を与える可能性がありました。その結果、彼は製品に対して完全に肯定的な反応を生み出すようになりました、レビューの実際の内容とは関係ありません。
CyberCX のセキュリティ専門家、ジェイコブ・ラーセン氏は次のように警告しました。このタイプの脆弱性が悪用される可能性があります悪意のある攻撃者によって、ユーザーを欺くことを目的とした Web サイトが構築されます。ただしラーセン氏は、検索機能はまだテスト段階にあり、OpenAIは大規模な導入前にこれらの問題に対処できる可能性があるとも強調した。
悪意のあるコードと開発者にとってのリスク
追加のリスクとしては、ChatGPT が侵害された Web サイトから悪意のあるコードを返す。 Microsoft のセキュリティ研究者 Thomas Roccia 氏が報告した最近の事例では、ChatGPT で生成されたコードを暗号通貨プロジェクトに使用したユーザーが 2,500 ドルを損失しました。一見正当なコードには、代わりにユーザーの資格情報を盗むメカニズムが含まれていました。
SR Labs の主任科学者である Karsten Nohl 氏は、これらのツールは「副操縦士」として使用されるべきであり、絶対的な真実の情報源としてではなく。 Nohl 氏によると、ChatGPT のような言語モデルは脆弱であり、「非常に信頼性が高く、ほとんど子供のようなテクノロジーであり、膨大なメモリを備えていますが、重要な判断力はほとんどありません」とのことです。
の組み合わせおよび大規模言語モデル (LLM)オンラインの実践に大きな変化をもたらす可能性がある。従来、Google などの検索エンジンは隠しテキストを使用するサイトにペナルティを与えてきましたが、AI をだますためにこれらの技術を使用すると、状況が変わる可能性があります。