このリポジトリでは、株式会社バンダイナムコ研究所が収集したモーションキャプチャのデータセットを公開しています。
ゲームや映画といったメディアはリアルで表現力豊かなキャラクターアニメーション表現を追求しており、多様なスタイルのモーションをAIで生成することに長年の関心があります。コンテンツ制作の規模が大きくなるにつれ、モーションキャプチャなどの方法を使用した収録で多様なモーションを揃えられなくなる将来が予想されます。近年注目を集めているのは、特定のコンテンツを含むクリップ内のモーションを、同じコンテンツを維持しながら別のスタイルの別のモーションに変換することを目的としたモーションスタイル転送（Motion Style Transfer 以下、MST）です。モーションはコンテンツとスタイルで構成され、コンテンツはモーションのベースであり、スタイルはモーションに関連付けられたキャラクターの気分や性格などの属性で構成されます。
データセットには、日常の動作、格闘、ダンスなど、さまざまなコンテンツが含まれています。アクティブ、疲れ、幸せなどはスタイルです。これらは、MSTモデルのトレーニングデータとして使用できます。以下のアニメーションは、可視化されたモーションの例を示しています。
現在、このリポジトリには2つのデータセットがあり、どちらもdatasetディレクトリの下にあります。
- Bandai-Namco-Research-Motiondataset-1 (Details)
- 17種の幅広いコンテント、日常動作、格闘、ダンスなど
- 15種のスタイル.
- 総計36,673フレーム.
- Bandai-Namco-Research-Motiondataset-2 (Details)
- 10種のコンテント、主にロコモーションや手の動きについてのもの
- 7種のスタイル
- 総計384,931フレーム.
utilsディレクトリの下に、可視化用のサンプルスクリプト（Blender用）があります。詳しくはこちらをご覧ください。
データのダウンロードはGitHubのDownload zipか下記のリンクよりダウンロードができます.
各データセットは、バンダイナムコ内のモーションキャプチャスタジオで収集された3人のプロのモーションアクターの動きに基づいています。ノイズ除去、プロポーションの整形、クリッピングなどの後処理を適用しました。データはBVH形式で提供されます。
データセットとスクリプトは、次のlincenseで利用できます。
- Bandai-Namco-Research-Motiondataset-1: CC BY-NC-ND 4.0
- Bandai-Namco-Research-Motiondataset-2: CC BY-NC-ND 4.0
- Motion visualization on Blender: MIT
前述のように、MSTの分野は最近注目を集めています。このトピックに興味がある場合は、以下の調査とデータセットの網羅的ではないリストを参照してください。これらの論文で紹介されたモデルは、高レベルのパフォーマンスを示しており、MSTに関連するデータセットはさまざまなモーションデータを提供します。
- (Jurnal of Sensors 2021) A Cyclic Consistency Motion Style Transfer Method Combined with Kinematic Constraints [Paper]
- (CVPR 2021) Autoregressive Stylized Motion Synthesis with Generative Flow [Paper]
- (CVPR 2021) Understanding Object Dynamics for Interactive Image-to-Video Synthesis [Paper]
- (ACM Trans. Graph 2020) Unpaired Motion Style Transfer from Video to Animation [Paper]
© [2022] Bandai Namco Research Inc. All Rights Reserved