AIによる制作「ディープフェイク」が社会に与えるインパクト
AIや機械学習は既存のデータに対する予測や識別に活用されるというイメージが強い中、近年ではディープラーニングを用いて、画像、動画、音声、文章を新しく生み出す技術が実現されています。これらは「生成タスク」と呼ばれ、これを担っているディープラーニングを用いたモデルは「深層生成モデル」と呼ばれます。
ひと昔前は、画像編集ソフトによって偽物画像が作成されていましたが、今ではディープラーニングの技術が発展し、以前と比べ物にならないクオリティの「フェイクコンテンツ」が作成されるようになりました。
その中で最も有名なものは「ディープフェイク」です。
ディープフェイクによって、画像・動画の人物の顔を別の顔と差し替える、二人の顔の特徴をミックスする、実在しない人物の画像を生成するなど、難易度も上がっています。
ディープフェイクの事例
ディープフェイクによって、以下のようなクオリティの高い動画が生成されました。他にも数多くの事例が存在します。
- 2018年、映画監督のジョーダン・ピールと彼の映像制作会社が精巧に作成した、バラク・オバマ元米国大統領によるトランプ元大統領への暴言を晒したフェイク動画[1]
- 2019年、Facebook社（現：Meta社）CEOのマーク・ザッカーバーグ氏のスピーチを偽造したフェイク動画[2]
- SNSで拡散された、有名俳優のフェイク動画[3]
画像だけではなく、マルチモーダルなフェイク技術が展開されています。音声に関しては、「ディープフェイクボイス」。言語に関しては高度言語モデルによる自動文章生成（楽譜の制作までできる！）が実現されています。
参考
[1] Obama fake movie
[2] Facebook CEO fake movie
[3] Tom Cruise fake movie
誰でもフェイク作品を作れる？
初めてディープフェイクを制作した人（ハンドルネームが「deepfakes」）は有名人の顔をポルノ動画に載せて、それをSNSに投稿し、大きな反響を呼びました。彼が使ったAIプログラムはオープンソースとして公開されたため、その無償ソフトウェアと写真さえあれば、素人でもフェイクデータを生成できるようになりました。ただ、本物と区別がつかないほどの高いクオリティは専門家でないと実現しにくいのが現状です。
ディープフェイクが悪用されている事例
オランダのサイバーセキュリティのレポートによると、2019年10月時点でディープフェイク・コンテンツの大多数はポルノ動画です[4]。これは、名誉毀損、著作権法違反の罪に該当し、日本でも2020年に逮捕事例があります。
上記以外でも、ディープフェイクは劇的な影響を社会に与える可能性があります。詐欺、証拠の捏造、誹謗中傷など、様々な犯罪が起きやすくなるでしょう。また、フェイクニュースや世論操作によって国家安全保障上の問題にまで発展する恐れがあります。例えば、ロシアの反政権派指導者アレクセイ・ナワリヌイ氏の派閥への信用を失墜させるためにフェイク動画が作成されました[5]。
このようなケースが増えている中、悪用を防ぐための技術開発と法体制の整備が喫緊な課題となっています。
参考
[4] THE STATE OF DEEPFAKES｜DEEPTRACE
[5] ディープフェイク、脅威拡大（その2止） 偽物、見分け困難 要人装いウェブ会議｜毎日新聞
さらに怖いことがある！
AIで生成されたディープフェイクは、人間だけではなく、偽物を識別するアルゴリズムさえ騙す力を持っています。例えば、現段階で顔認証システムを突破する能力も示しています[6]。また、ソーシャルメディアの普及により、フェイクコンテンツが瞬く間に拡散され、それが私たちの情報収集や思想に顕著な影響を与える力があります。
2018年、米国のマサチューセッツ工科大学（MIT）では、約126,000件のツイート（Twitterに投稿された情報）の情報拡散に関する調査に基づいた研究を行いました。結果として、フェイクニュースは真実の情報よりも、６倍も速く、かつ広範囲に拡散されることが示されました。同研究チームによると、「人々はまだ見たものをそのまま信じる傾向にあるため、ディープフェイクは誤報を広めるのに非常に有効な手段である」[7]。
さらに、偽物に変換されたディープフェイクが警戒されている中、本物が偽物に疑われる問題も起きています。例えば、アフリカのガボン共和国で病気により数週間休んだ大統領の動画がフェイクと間違われ、クーデター未遂まで招きました。これはまさに「狼少年問題」が乱立する将来を指し示しています[8]。
参考
[6] 口座開設の顔認証を突破 ディープフェイクの脅威｜毎日新聞
[7] The spread of true and false news online｜Science
[8] The Bizarre and Terrifying Case of the “Deepfake” Video that Helped Bring an African Nation to the Brink｜Mother Jones
有益に活用されていることもある
ディープフェイクの用途は全てが悪いものではありません。主にエンターテインメントやクリエイティブ分野で、人間社会にとって喜ばしい目的での利用も期待されています。
- 映像制作を楽にする。
- 有名な芸術作品を学習させて、新作を生み出す[9]。しかし、ディープフェイクに制作物を模倣させる上で、故人への尊重や著作権など、新たな議論が生まれます。
- 亡くなった大切な方の写真をもとに「動く擬似写真」に変換し「蘇らせる」[10]。
- SNS上でユーザーが、ディープフェイクを活用した顔交換アプリ「Reface」や「ZAO」を楽しんでいる。
- 株式会社EmbodyMeがリリースしたフェイク映像を生成できるカメラアプリ「xpression camera」[11]がZoomやGoogleMeetでコミュニケーションの円滑化に活躍している。
参考
[9] ディープフェイク、悪い事ばかり？文化・芸術で可能性秘め 故人の「新作」も誕生｜毎日新聞
[10] Animieren Sie Ihre Familienfotos｜MyHeritage
[11] xpression camera
ディープフェイクと安心して共存する社会のために
ディープフェイク技術の成長と並行して、ディープフェイクを検出する技術の研究開発にも国や企業が取り組んでいます。XAI（Explainable AI; 説明可能AI）の研究の発祥となったDARPA（米国国防高等研究計画局）は、ディープフェイク検出技術のプロジェクトに多額な資金を提供しました。
既にディープフェイク検出ツールがいくつか公開されています。例えば、2020年の米大統領選挙に間に合う形で、Microsoftがセキュリティ対策ソフト“Video Authenticator”を発表しました。これが抑止に繋がったのか、2020年の米大統領選でディープフェイクによる顕著な影響は確認されませんでした[12]。
各SNS媒体も対策を開始しています。Twitterでは、疑わしい投稿の拡散を阻止するためにユーザーに注意書きを付けるルールを導入しました。Facebook（現：Meta社）は、1000万ドル超をかけて「Deepfake Detection Challenge」いうディープフェイク検出技術の競技会を立ち上げ、2019年には、Facebook、Microsoft、Amazonをはじめとする2000以上のチームが参加しました。トップチームでさえ識別精度65%に到達できず、偽物コンテンツの検出がいかに難しいかということを再認識させてくれることとなりました。
どのような技術も悪用される危険性があります。悪用を防ぐためには国レベルで、法体制と倫理ガイドラインを整備し、国民に注意喚起や教育を施すことが要求されています。
参考
[12] AIがフェイクニュース、自然なつぶやきで世論操作が可能に｜日経XTECH
ディープフェイクを生成する技術の解説
本物と見分けられないような「偽物データ」を生成してくれるのは、敵対的生成ネットワーク(Generative Adversarial Networks; GAN)という技術です。
GANをはじめとする、ディープラーニングを用いた生成モデルについては以下の書籍で解説されています。
「ディープラーニングG検定(ジェネラリスト)最強の合格テキスト」（SBクリエイティブ）
フェイク文章の生成
高度な自然言語処理を悪用することで、フェイクニュース、なりすまし文章、偽造文章、スパム／フィッシング文章の作成が懸念されています。
AIを研究する非営利団体のOpenAIが開発した大規模な汎用的言語モデルGPT-2、GPT-3は、文章や楽譜の自動作成、翻訳支援などにおいて素晴らしい機能を発揮しています。一方で、「人間らしい」文章を生成する能力を持つため、偽物ブログや投稿など悪用される危険性が高いです。そのため、セキュリティを守るべく、GPT-2, 3 はオープンソースとしては提供されておらず、OpenAI のAPI の利用を申請し、許可を介してのみ利用できます。
言語モデルによって生成された偽情報の拡散リスクに関する研究結果が、セキュリティ関連のカンファレンス “Black Hat USA 2021” で発表されました[13]。映像同様に、不正文章を除去するための技術開発が求められています。
参考
[13] AIがフェイクニュース、自然なつぶやきで世論操作が可能に｜日経XTECH
最後に
いかがでしたか？
今後の記事では、GANという技術を詳しく解説し、さらに高度言語モデルの活用について書きたいと思います。
ここまで読んでいただきありがとうございました。
担当：ヤン ジャクリン（分析官・講師）
