何も作らずに脳死でVTuberプレゼンシステムを実現する方法
リモートで会議や登壇をする機会が増えましたね。
これを機に自分のプレゼンテーションや画面にキャラクタが常駐するタイプのVTuberシステムを導入しようかなと思ったので、やり方をメモしておきます。ソフトウェアは基本的に無料です。
やれること
zoomやmeetとかで自分の顔をキャラにする
zoomやmeetとかで自分の顔をはじっこに出しつつ画面共有
環境
- macOS 10.15
- TrueDepthによる顔認証が可能なiOSもしくはiPad
- OBS
- OBS-VirtualCam
- フェイストラッキングアプリ
- パペ文字
- VTube Studio
- vear
- SHOWROOM V
流れ
自分の場合はこうやりました。
シンプルですね。わざわざ図もいらなかったかもしれません。
各種フェイストラッキングアプリ
基本的に顔の向き、アイトラッキング、表情、背景変更などの機能は共通して実装されています。特徴的な違いを下に書いていきます。
パペ文字
VTuber Studio（無料版）
- Live2Dのモデルのみ対応
- VTuber Studio on PCアプリへのストリーミング（有償版だと時間無制限）
- キャラがかわいい
vear
- VRM特化でVRoid Hubと連携機能有り
- メガネとかのアクセサリやフィルタ機能で盛れる
SHOWROOM V
- VRM特化。モデル数が豊富。VRoidHub連携有り。ジョイマンアバタがある。
- ハンドトラッキングが不安定ながら実現されている。ピースとか指差し、バイバイの動作もなんとかできる。
- 頭の回転に体が追従してしまうのが残念。
OBSの設定
今回はフェイストラッキングアプリとしてパペ文字を使用させていただきました。
自分の顔をVTuber化したい場合
- OBSのソースに映像キャプチャデバイスを追加。
- デバイスを選択してミラーリングする。
- OBS-Virtualcamが正常に動作しているならツール > Start Virtual Cameraが出てくるのでそれをクリック。
- zoomやmeetで映像のソースをOBSに設定してやる。
画面共有の際にVTuber化した自分をはじっこに表示したい場合
OBSのソースに映像キャプチャデバイスと画面キャプチャを追加。
映像キャプチャの画面を好きな場所に移動&縮小する。
- ソースにある映像キャプチャを右クリックしてフィルタを設定しにいく。
フィルタとしてちょうどいいサイズになるようにクロップ/パッドを設定し、さらにクロマキーで背景を抜く。
完成〜〜
このOBSの画面を各種リモートツールで共有するのでが、ミキサーやソースといった余分なウィジェット的なものは表示 > ドックから消すことができます。
更新：リモートツールでこの画面を共有しようとすると、二重にキャプチャ する感じになってしまい、配信先でのfpsがガタ落ちしてしまいました。画面共有ではなく、前半と同様にOBS-VirtualCamを使用した方が良いみたいです。
うーん、痒いところがいくつか
そもそも今回の動機は、リモート登壇中の画面共有時にキャラクタを表示させたい、というものでした。あのイルカみたいに。
VTuberアプリとかフェイストラッキング機能をそこまで追っかけてなかったのですが、今回複数試してみて思ったことがいくつかあるので書きます。
- webカメラベースのフェイストラッキングにはまだ満足できない。
- iPhoneやiPadのTrueDepthを用いたフェイストラッキングで満足できるクオリティになる。
- VRMアバターは種類は豊富だがTrueDepthの細かいメッシュの表現をしきれない。このナマケモノが表情の表現力としては優秀すぎる。
- VRMアバターで簡単な腕振り動作が実現できるものが少ない！（これが一番痒い）
作るか
足りないなら自分で作れってことでもし何か出来上がったら追記します。
最後に
ご意見などありましたらコメントください〜
Unityちゃんを使用しています © UTJ/UCL
いやー新しいUnityちゃんもめっかわになったので使いたいです。
