服ができてる!!Adobe Research等の研究チームがディープラーニングを用いて衣服アニメーションを生成する新アプローチ「GANPaint Studio」を公開!!
「 ↑ すごいことばかりで、何が すごいのか分からないから もうなんでも 普通に見えるのよね」
「 ディープラーニング を速く覚えなければ、と 遅れを感じ始めたクリエイターもいるだろ☆
Adobeの描画ツールの使い方を速く覚えなければ……、ぐらいの意味で言っていて
べつに これは蜂です。これは船です。これはトラックです。 とか調べたいわけではないよな☆」
「 ディープラーニングが 終わったあとのツール を使いこなそう、という意味でしょ」
“ディープラーニングを用いて衣服アニメーションを生成する新アプローチ“
「 ディープラーニングを使って衣服アニメーションを生成するソフトは 今までにもあったが、 新しいアプローチで行った、
とかなら なんか あんまり べつに、だよな☆」
Learning an Intrinsic Garment Space for Interactive Authoring of Garment Animation
「 ほーん、 今までには無かったが、ディープラーニングを使ってできるようになった らしいぜ☆
そういえば 研究チームが発表したとか書いてあったよな☆ 研究と付いていて、新しくないものを発表するわけがないよな☆」
learned intrinsic garment space
「 ↑ つまり 上図のように スカート があったとするだろ☆」
「 Skeb で絵をリクエストしてるクリエイターなら もっと リクエストしたくなるような絵を描きなさいよ!」
「 ↑ 多分、ボディのアクションに応じて 衣服の取りうる形 を学習したんじゃないか☆?」
「 どんなアクションしたら こんなスカートになるのか……☆?」
「 ↑ 確かに 人体の取りうる形は たくさん ありそうだよな☆
こういうポーズが すごい数 作られて、 トレーニング・データ train_X と呼ぶとしよう☆」
「 GPU は書いてないんで 分からないぜ☆ ディープラーニングの時代になんで GPU 書いてないんだろうな☆?」
「 ↑ じゃあ、上に向かって飛んでるとか、重力があるとか、なんか いくつかの 入力(feature)があるんだろ☆
その結果、スカートの形状が上図のようになったとするだろ、これは トレーニング・データ train_y だぜ☆」
「 そうそう……、機械学習勢は トレーニング・データを じゃぶじゃぶ生成して、 数を集めるんだぜ☆
この作業は ディープ・ラーニングを始める前にやることで、
1か月に 30万件 作成しても 3か月で 90万件、これじゃ全然5億件に届かん、教師データの生成 速くせな☆
みたいなのも 見どころのひとつだぜ☆
Adobe の研究チームが何件 教師データを生成したか知らんけど☆」
「 Adobeのプロダクトで 動画を作りたい人は 教師データを生成したいわけではないのよ! 見どころじゃないの! 使う方なの!」
「 こんな train_X が来たら、 train_y が出てくる、というのを えんえん とやるわけだぜ☆
これが 機械学習☆
機械学習をするとき、ディープ・ニューラル・ネットワーク(DNN)を使っていたら ふつうのディープ・ラーニング☆
今では いろんな ディープ・ラーニングがある☆」
「 train_X の方は たくさんあるんで 大文字の X、
train_y の方は 1つしかないので 小文字の y だぜ☆」
「 これは fit と呼ばれるフェーズで、この対応付けが終わると 成果物として 予測モデル という 容量食うデータができる☆
この予測モデルにも 決定木モデルや 線形回帰モデル など 数種類あって どれを使うかも 機械学習勢が考えるところだぜ☆」
「 Adobe のプロダクトで 動画を創りたい人には どうでもいいことね」
「 で、トレーニング・データは全部使ってしまうのではなく、 答え合わせ用に残しておくんだぜ☆
バリデーション・データ val_X を入れると、答えの val_y は出てくるか試すんだぜ☆
このときの val_y が、 よく記事で出てくる Prediction ☆ 予測という意味だぜ☆」
「 お父んは 機械学習 の説明をしただけで ディープ・ラーニング の説明はしてないと思う☆」
「 ディープじゃないニューラル・ネットの ラーニングは、 ↑上図 桃色の入力層と、黄緑色の 出力層を除くと、1層しか 真ん中に持ってないんだぜ☆」
「 野球のバッティングで 腰ばかり見ているコーチとか要るだろ☆
腰ばかり見ているコーチ、足元ばかり見ているコーチ、顔の向きばかり見ているコーチ とか役割が分かれてるんだぜ☆
そのコーチらは 与えられた 各feature に対して、 0.7倍 とか 0.3倍 とか重み(W) を持ってるわけだぜ☆
で、こいつはイケる!と思ったコーチは発火する☆ あとは 発火したコーチたちの意見を集めて 重心が低いタイプ とか答えを出すんだぜ☆
雑に説明すれば☆」
「 そういうコーチが 7人いる、とか 決めとくんだぜ☆ そこが 中間層☆
ディープでないラーニングの ニューラル・ネットは 中間層が 1層☆」
「 ディープな ニューラル・ネットのラーニングは、 中間層が 2つ以上あるだけか☆?」
「 そう☆ 腰ばかりを見ているコーチと、足元ばかりを見ているコーチの両方を見ている嫌らしいコーチ みたいなやつが 2つ目の中間層に ずらっと並んでいる☆」
「 で、 中間層は 多ければいいとか 何層もあればいいというものではなく、
入力と 出力に合わせて ちょうどいいサイズがあるはずだぜ☆
そのちょうどいいところを人類は知らないので、計算資源と金と研究者が探すんだぜ☆ そういうやつらが強いんだぜ☆」
「 研究者たちは どんな感じで ディープ・ラーニングしたか 論文とかに書くだろ☆
他の連中 計算資源も 使ったデータも持ってないから そういう 秘伝のタレの配分を明かしても 問題ないわけだぜ☆」
「 そういう技術を どの業界で 何に使えば どんなでかい問題を解決して、それが金になるか が重要なんだぜ☆」
「 Adobe はそれを 衣服のひらひらの計算 を ディープ・ラーニングにやらせたわけだぜ☆
それで 動画制作作業の20%ぐらい 衣服のひらひらをいじってたのを 動画制作作業の1~2%に抑えたんだろ☆ お得だぜ☆」
「 入力に対して 物理演算で 衣服の計算をするやつもいれば、 もっと誇張したいクリエイターもいるだろ☆
どんな トレーニング・データ で学習したかで 予測は変わるんだぜ☆
予測モデル を自分のエスパー能力で感じ取って ツールを使うやつとか 出てくるだろ☆」
「 コンピューターがはじき出すのは 正解ではなく 妥当な可能性の1つですからね」
「 Adobeの社員が この予測モデル でき悪いな……、先月に作った予測モデル採用したろ☆! とか やってそうだよな☆」
「 そこらへんの、自分の感性と、予測モデル の間をどう調整できるか 言語化されていて10年は使えるとか、そういうユーザー側の方で
ツール制作者の方を縛る手法が あるかどうかだよな☆ 新しいツールが出るたびに つまみを ぐいっといじる、とかでもいいけど☆」
「 2020年モデルが 一番 感性に合ってるから 2021年モデルは使わね☆! とか あると思うんだが☆ 同じ味が出せね、みたいな☆
色覚検定みたいに 衣服の ふわり感とは とかの 標準団体ができるんじゃないか☆?」
<おわり>
Crieitは個人で開発中です。
興味がある方は是非記事の投稿をお願いします! どんな軽い内容でも嬉しいです。
なぜCrieitを作ろうと思ったか
また、「こんな記事が読みたいけど見つからない!」という方は是非記事投稿リクエストボードへ!
こじんまりと作業ログやメモ、進捗を書き残しておきたい方はボード機能をご利用ください!