最近インターネットでラウンドをし(rounds on the internet)ている別のキャラクターにニコラス・ケイジの顔が転置されたビデオを見たことがあるかもしれません。いいえ、映画「Face/Off」のクリップを意味するものではありません。これらは、ニコラス・ケイジ(Nicholas Cage)が絶対に再生されなかったさまざまな映画のシーンですが、確かに非常に説得力があります。彼らはどうやってこれをやってのけたのですか？
答え(answer isn)は「魔術」ではなく、「ディープフェイク」と呼ばれているテクノロジーであり、さまざまな業界やコミュニティでかなりの騒ぎを引き起こしています。
「ディープフェイク」とは何ですか？
「ディープフェイク」という言葉は、「ディープラーニング」、そしてもちろん「フェイク」という言葉に由来しています。ディープラーニング(Deep learning)は
機械学習の専門分野であり、これも(machine learning)人工知能(Artificial Intelligence)の全体的な領域の一部です。
コンピューティング能力の劇的な向上と、コンピューターが現実世界からの大量のデータを処理および分析するための新たに発見された方法により、コンピューターは、私たちのほとんどが想像もしなかったことを突然実行できるようになりました。ディープフェイク(Deepfakes)はこのテクノロジーを適用して人間の画像を合成し、それらの人々が決してやったことも言わなかったことの写真やビデオを作成します。
Deepfakeテクノロジーはどのように機能しますか？
(Deep learning)ディープフェイク手法を支えるディープラーニングは、大規模なデータセットへのニューラルネットシミュレーションの最新のアプリケーションについて説明しています。ニューラルネットは新しい概念や技術(concept or technology)ではありませんが、現代まではかなり初歩的なものでした。
人工ニューラルネットは、少なくともある程度、生物学的脳で発生する学習プロセス(learning process)をシミュレートします。外の世界を学んだり、他の方法で対処したりすると、脳細胞間のつながりが変化します。
それらは回路と論理構造を形成し、いくつかの接続を強化し、他の接続を弱めます。運転やテニスの習得など、何かをマスターすると、それらの脳回路は高速かつ効率的になります。結局、あなたは何かがとても上手なので、それをすることについて考える必要さえありません。
これは、ディープラーニングシステム(learning system)で発生するのと本質的に同じです。それは何かの例の山を見て、それから「それを理解する」ことで次第に良くなります。
ディープフェイクの場合、ソフトウェアは、転置したい顔の例と、転置したいビデオを調べます。十分なトレーニングがあれば、最終的にトレーニングデータに一致する顔を合成し、それを他の顔にシームレスにオーバーレイできます。
ディープフェイクを作成するために使用されるソフトウェア(Software)は何ですか？
人々がディープフェイクを作成できるようにするアプリケーションはたくさんあります。FakeAppは、一般の人々にディープフェイクコンテンツの作成を試みさせることを目的とした最初のアプリでした。現在は機能していないWebサイトであり、コピーを見つけるのは簡単ではありません。
ディープフェイクのメーカーは、 GitHub(GitHub)でホストされ、 Redditのような場所で無限のチュートリアルストリームを生み出したDeepFaceLabと呼ばれるアプリケーションに大きく移行しました。
ディープフェイクを作る
この記事はチュートリアルを目的としたものではないため、ディープフェイクが実際にどのように作成されるかについての概要を説明しますが、自分でディープフェイクを作成する方法の正確な手順は提供しません。
これにはいくつかの理由がありますが、主な理由は、ディープフェイクを作成する合法性が非常に論議を呼んでいることです。ソフトウェアの海賊版やその他の違法行為を支援するための正確な手順を提供しないのと同様に、ディープフェイクを作成するための段階的な手順は提供しません。
さらに、 DeepFaceLab(DeepFaceLab)の実際の作成者は、そのようなリスクの責任を負いたい場合に、誰でも従うことができるソフトウェアのステップバイステップのビデオチュートリアル(step-by-step video tutorial)をリリースしました。
このようなものがどれほど良くなったかの要点を知るために、このウェブサイトをチェックし(check out this website)てください。ページを更新すると、存在しない人の新しい写真が生成されます。
私たちの目標は、時間の経過とともにますますテクノロジーに遭遇することになるため、テクノロジーの理解を支援することです。そうは言っても、これらはDeepFaceLabを使用してディープフェイクを作成する幅広いフェーズ
です(DeepFaceLab)。
DeepFaceLabをダウンロードして解凍する
と、他の多くのフォルダーと一連のバッチファイルを含むフォルダーが表示されます。
トレーニングモデル、ソースビデオ(source videos)、および出力を含む「ワークスペース」と呼ばれるフォルダがあります。DeepFaceLab
は特定のファイル名と場所で機能するため、バッチファイルが機能します。たとえば、ソースファイル(source file)の名前は常に「data_src」で、宛先の名前は「data_dst」です。
ほとんどの人が知っているように、ソフトウェアインターフェイス(software interface)はありません。プロセスのステップを表す番号付きのバッチファイルのリストです。まず(First)、ソースビデオとデスティネーションビデオ(source and destination videos)のフレームが画像ファイルとして抽出されます。
次に、いくつかの分析ステップが実行され、GPUベースのトレーニングが続きます。ここで、ニューラルネットは、モデルを構築するために2つのビデオの顔について何が必要かを学習します。最後に、新しいコンポジットビデオが作成されます。
ディープフェイクの誤用
上で述べたように、ディープフェイクは非常に物議を醸しています。一部の国では既存の法律に違反する可能性があり、テクノロジーとそのアプリケーションに対処するための新しい法律が進行中です。
ディープフェイクは、大統領がクレイジーなことを言っているビデオ(video of a president saying crazy things)など、デマを作成するために使用できます。それは、人々を目的を持ってポルノ映画に挿入したり、嫌がらせを(purpose or harassing)したり、その他の方法で害を与えたりするために使用できます。
ご想像のとおり、説得力のあるディープフェイクで多くのダメージを与える可能性があり、捕まった場合の結果は近い将来さらに深刻になる可能性があります。
質問すべて
このテクノロジーが存在し、それと同じように機能するようになった今、それは私たちがまったく新しい観点からビデオのようなメディアを見なければならないことを意味します。有名人や政治家が物議を醸していることを言ったり行ったりしているビデオをソーシャルメディアで誰かが回覧する場合は、最初にそのビデオが本物かどうかを尋ねる必要があります。
何を探すべきかを理解し、いくつか見た後は、ほとんどの不十分なディープフェイクは明らかに偽物です。ただし、場合によっては、訓練を受けた目でさえ、ある種のCG操作(CG manipulation)が行われていることを伝えるのに苦労することがあり、技術が向上するにつれて、最終的には不可能になります。
What is a Deepfake and How Are They Made?
You may have seen a video of Nicholas Cage’s face transposed onto another character doing the rounds on the internet recently. No, we don’t mean a clip from the movie Face/Off. These are scenes from various movies in which Nicholas Cage did definitely not play, yet they look very convincing indeed. How did they pull this off?
Well, the answer isn’t “witchcraft”, but a
technology that has been dubbed “deepfake” and it’s causing quite a ruckus in
various industries and communities.
What is a “Deepfake”?
The word “deepfake” comes from the term “deep
learning” and of course “fake”. Deep learning is a specialized branch of
machine learning, which is again part of
the overall area of Artificial Intelligence.
With the dramatic rise in computing power and
newly-discovered ways for computers to process and analyze massive amount of
data from the real world, computers can now suddenly do things most of us could
never imagine. Deepfakes apply this technology to synthesize human images,
creating photos or videos of things those people never did and never said.
How Does Deepfake Technology
Work?
Deep learning, which underpins deepfake
methods, describes the modern application of neural net simulation to massive
data sets. Neural nets are not a new concept or technology, but until modern
times they have been pretty rudimentary.
An artificial neural net simulates the learning process that happens in biological brains, at least to some extent. When you learn or otherwise deal with the outside world, the connections between your brain cells change.
They form circuits and logical structures, strengthening some connections and weakening others. As you master something, like learning to drive or play tennis, those brain circuits become fast and efficient. Eventually you are so good at something that you don’t even have to think about doing it.
That’s essentially the same thing that happens with a deep learning system. It looks at heaps of examples of something and then becomes progressively better at “understanding it”.
In the case of deepfakes the software looks at examples of the face you want to transpose as well as the video you want to transpose it to. With enough training it can eventually synthesize a face that matches the training data and then seamlessly overlay it on any other face.
What Software is Used to Make
Deepfakes?
There are a number of applications that allow
people to make deepfakes. FakeApp was the first app we know of aimed at giving
normal people a shot at making deepfake content. The website it now defunct and
finding a copy is not easy at all.
Makers of deepfakes have now largely moved on to an application called DeepFaceLab, which is hosted on GitHub and has spawned an endless stream of tutorials on places like Reddit.
Making a Deepfake
This article is not meant to be a tutorial, so
we are going to provide an overview of how deepfakes are made in practice, but
not provide exact steps on how to make one yourself.
There are a few reasons for this, but the main
one is that the legality of making deepfakes is highly-contentious. Just as we
wouldn’t provide exact steps to help you pirate software or do other illegal
activities, we won’t give step-by-step instructions for making deepfakes.
Besides, the actual creator of DeepFaceLab has released a step-by-step video tutorial for the software which anyone can follow along, should they wish to take responsibility for such a risk.
To get a gist of how good this stuff has become, check out this website where a new photograph of a person who does not exist is generated when you refresh the page.
Our goal is to help you understand the
technology, since you are bound to encounter it more and more as time goes by.
With that being said, these are the broad phases of creating a deepfake with
DeepFaceLab.
After downloading and unzipping DeepFaceLab
you are faced with a folder containing many other folders and a series of batch
files.
There’s a folder called “workspace” which
contains the training models, the source videos and the output. DeepFaceLab
works with specific file names and locations, so that the batch files can work.
For example, the source file is always named “data_src” and the destination is
named “data_dst”.
There is no software interface as most people know it. Just a list of numbered batch files representing the steps of the process. First the source and destination videos have their frames extracted as picture files.
Then several analysis steps are run, followed by GPU-based training, where the neural net learns what it needs about the faces in the two videos to build a model. Finally a new composite video is produced.
Misuse of Deepfakes
As we mentioned above, deepfakes are very
controversial. It may violate existing laws in some countries and new laws are
in the works to deal with the technology and its applications.
Deepfakes can be used to create hoaxes, such as a video of a president saying crazy things. It can be used to insert people into pornographic films with the purpose or harassing or otherwise harming them.
As you can probably imagine, you could do a lot of damage with a convincing deepfake and the consequences if you are caught may become much more severe in the near future.
Question Everything
Now that this technology exists and works as
well as it does, it means we have to look at media like videos in a whole new
light. If someone circulates a video on social media of a famous person or
politician saying or doing something controversial, you’ll first have to ask if
the video is even real.
Most poorly-done deepfakes are obviously fake,
once you know what to look for and have seen a few. However, in some cases even
a trained eye may have trouble telling that some sort of CG manipulation is
happening and as the tech improves it will eventually become impossible.
