前回、5月7日から9日に東京国際フォーラムで行われた Unite 2018 Tokyo の個別セッションの「Unity for ディープ・ラーニング:ツールキット『ML-Agents』のご紹介 」の前半を紹介しました。
これは Unity Technologies で Head of Global Evangelism Content を務める Mike Geig が行ったセッションとなります。
「Unity for ディープ・ラーニング:ツールキット『ML-Agents』のご紹介 」 Part 1

前回、このセッションの前半として、Unity の Machine Learning の基本的考え方、Imitation Learning のデモで使われたカーレースの細かい設定法や機械学習自体のデモのパートを紹介しました。
Unite 2018 Tokyo AI_04(セッション映像の切抜)

今回はこのセッションの後半部分の紹介となります。

Imitation Learning を使ったカーレースデモの設定法が終わると、次に他の例がいくつか紹介されました。
これらも他の場所で見たことのある例ですね。
【Twelve Agents, One Brain, Independent Rewards
Unite 2018 Tokyo AI_05(セッション映像の切抜)

手である Agents が12こあり、1つで学習するより12倍経験がつめて早く学習ができる例。
20秒くらいでうまくバランスできるようになるとのこと。
Unite 2018 Tokyo AI_06(セッション映像の切抜)

【Two Agents, One Brain, Cooperative Rewards
Unite 2018 Tokyo AI_07(セッション映像の切抜)

報酬がリンクしているため、協調するかたちで学習されていく例。
Unite 2018 Tokyo AI_08(セッション映像の切抜)

【Four Agents, Multi-Brain, Competitive Rewards
Unite 2018 Tokyo AI_09(セッション映像の切抜)

マルチブレインの例となります。学習の方法としては、まずストライカーだけを学習させたそうです。
そして、キーパーを個別に学習。最後に、それら学習結果を統合して、ストライカーとキーパーを組み合わせた形での学習を実行したとのこと。

面白いことに、学習が進むにつれて、コードなどで指示はしてないが、ストライカーはゴールを決めやすい敵ゴール前あたりに陣取り始め、キーパーは自分のゴール前でストライカーからのゴールをブロックしやすい場所に動き始めるとのこと。
Unite 2018 Tokyo AI_10(セッション映像の切抜)

【Curriculum Learning】
そして、その後、他の学習法を紹介。Curriculum Learning と言うものです。これは、強化学習の1つのタイプとなります。
複雑すぎるタスクがあった場合、たまたま良いことが起きれば学習できるかもしれないが、複雑で大きなタスクだと たまたまと言うのは発生するのは難しい。
そうすると、いっこうに学習が進まない可能性があります。
それを解決する方法として、Curriculum Learning は簡単で小さなタスクから学習を始めていき、複雑で大きなタスクへ進めていく方法となります。
Unite 2018 Tokyo AI_11(セッション映像の切抜)

以下はリリース済みの ML-Agents の機能一覧となります。半年くらいでこれくらい出してしまっており、すごいハイペースで開発を進めているようです。
Unity の AI への意気込みが感じられますね。
Unite 2018 Tokyo AI_12(セッション映像の切抜)

ちなみに、このセッションでは 0.3が最近リリースされたと言っていますが、この記事を執筆時点で、既に 0.4がリリースされております。
ほんとに速いですね。

現在、Unity の Machine Learning に関するトップには Danny Lange がいます。
彼は以前は Uber で Machine Learning のトップを務め、その前は Amazon、その前は Microsoftと、各社で Machine Learning のトップとして活躍してきた Machine Learning 界の大物です。
彼のGDCでのMachine Learningに関するセッションの紹介。

彼を引き込んだことでも、Unity が AI、Machine Learning に対して力を入れていることが分かります。
(もちろん、Cinematic な映像、VR,AR、Performance 改善なんかの方が重点を置いているかと思いますが。)

こんな形で、この AIのセッション、とても有意義なセッションでした。
私の Unityに関して、今一番の関心は AIだからと言うのもあるかもしれませんが、彼のセッションはほんとに引き込まれてしまいました。(彼がエバンジェリストの親玉で、プレゼン自体がとても分かりやすかったせいでもあるかな。)

ところで、冒頭にも書きましたが、彼はAIの専門家と言うわけでなく、Unityのエバンジェリストなので、他のテーマでもセッションを行っています。
それが、「アーティストがUnityでサクッといいビジュアルを作るテクニック講座」と言うことで、まったく別の内容も話しています。
(以下がそのセッションの動画です。)
 

Sponsored Link