RiggingJs - 機械学習を使ってWebカメラの人物に沿って3Dモデルを動かす
機械学習はさまざまな分野で活用されています。画像や動画の分析で使われていることも多いです。人の目で見れば認知できる情報も、従来のアルゴリズムではコンピュータには判別しがたいものでした。しかし、機械学習の柔軟性によって乗り越えられています。 そんな機械学習を使ってスケルトンモデルに動きを与えられるのがRiggingJsです。
RiggingJsの使い方
デモです。顔を細かく認識しています。
顔の向きに合わせてモデルが動いているのが分かります。
公開されているデモでは顔だけ動きますが、映像の認識は体のパーツも行われています。後はそれを3Dモデルに投影することで、手や足の動きまで再現できるでしょう。WebVRなどアバターを使った3Dサービスで使えそうです。
RiggingJsはJavaScript製のソフトウェア(ソースコードは公開されていますがライセンスは明記されていません)です。
haruiz/RiggingJs: Tensorflow.js and Three.js skeletal animation tool