米オープンAIは25日、同社の対話型人工知能(AI)「チャットGPT」の悪用に関する詳細な事例報告を公表し、中国警察やロマンス詐欺、日本の高市早苗首相への中傷を意図した活動などと関連したアカウントを停止したと明らかにした。
チャットGPTとソーシャルメディアのアカウントなど他のツールを連動させ、マッチングアプリ運営者や法律事務所、米政府当局者などを装って、サイバー犯罪を実行したケースが見られたという。
例えば中国発とみられる少数のアカウントは、オープンAIのモデルを利用して米国人やオンラインフォーラム、米連邦政府の建物の所在地に関する情報を要求し、さらに顔入れ替えソフトについての指示を求めていた。
この同一アカウント群は、州レベルの米当局者やビジネス・金融分野の政策アナリスト宛てに、対象者を有償のコンサルテーションに参加させようとする英語のメールを作成した。
オープンAIは、中国の法執行機関に関連する個人とつながるチャットGPTアカウントを停止。この人物は高市氏を狙った秘密裏の影響工作に関与していたとしている。
同社によると、複数のチャットGPTアカウントは、インドネシア人男性を標的にしたロマンス詐欺を行うために利用されており、毎月数百人の被害者がだまされていた公算も大きい。
こうした詐欺はチャットGPTを使って架空の出会い系サービスの宣伝文や広告を作成し、ユーザーをそのプラットフォームに誘導するとともに、標的に高額な支払いを必要とする複数の作業を強要していたとされる。
また別の複数のアカウントはオープンAIのモデルを利用して法律事務所、実在する弁護士や米国の法執行機関になりすまして詐欺を行っていた。