「まさか自分が作った画像がここまで大ごとになるとは思わなかった」——法的な通知を受け取ったある投稿者は、後悔の念を口にする。SNS上で急増しているのは、ディープフェイク技術や巧妙な画像編集を用いた「偽のスキャンダル写真」の作成・拡散だ。文脈を無視した動画の切り取りや、全く関係のない第三者との「匂わせ」疑惑の捏造が、あっという間に何万回もリツイートされて拡散していく。アルゴリズムが刺激的なコンテンツを優先的に表示する仕組みも、この悪意の拡散に拍車をかけている。
特に悪質なのは、AIを悪用した音声合成による嘘の発言動画だ。一見すると本人が語っているかのように誤認させるコンテンツが短動画プラットフォームで急増。ファンだけでなく、一般のネットユーザーまでが信じ込み、事態はさらに複雑化している。