VRChat用アバターでリップシンクを行うには、3Dモデル側で音声に対応した表情パターンを作成しておく必要がある。
幸いなことに、今回利用する「窓辺とおこ」の3Dモデルには、リップシンク用に母音に相当する「あいうえお」の表情パターンが用意されているので、これを活用する。なお、VRChatは英語ベースで作られているため、この素材を英語の発音にあわせてあてはめていくことになる。
Unityを起動し、前回記事で設定を行ったプロジェクトファイルを開いたら、まずは画面左の「Hierarchy」で「Model」を選択する。
画面右側のInspector内の「VRC_Avator_Descriptor (Script)」にある「Lip Sync」を「Viseme Blend Shape」に変更する。
Unityでプロジェクトを開いたら、Hierarchyの「Model」を選択する。VRC_Avator_Descriptor (Script)のLip Syncを「Viseme Blend Shape」に変更。Lip Syncの下に追加された「Face Mesh」の項目が表示されるので、右側の丸いボタンをクリックして「Select SkinnedMeshRenderer」を開く。
Select SkinnedMeshRendererで「face」を選択する。選択後Select SkinnedMeshRendererを閉じる。
Unityでプロジェクトを開いたら、Hierarchyの「Model」を選択。Select SkinnedMeshRendererで「face」を選択。Face Mesh以下に「Visame:○○○」という15個の項目が表示される。これが発音と表情パターンを紐づけるための設定項目だ。
各項目はドロップダウンリストとなっており、クリックすると3Dモデルに用意された表情パターンを選択していく。なお、該当する表情が無くても「-none-」を選択せず、いずれかの表情パターンを適用しなければならない。
Face Meshの下に「Visame:○○○」という項目が15個表示される。発音と表情パターンを対応させるための項目だ。各項目はドロップダウンリストとなっており、3Dモデルの表情パターンから適当なものを割り当てることになる。今回利用した窓辺とおこの3Dモデルには、15パターンの表情は用意されていないので、各項目に近いと思われる表情パターンを設定していくことになる。VRChatが用意している「設定ガイド(Part 3: Visemes And Other Blend Shapesに記載)」を参照しつつ、各項目に適した表情パターンを設定しよう。
なお、この項目をガイドに従って設定した場合であっても完璧なリップシンクにはならないので、表情の選択はざっくりとしたものでOKだ。以下のような設定でも、アバターがしゃべっているという演出には十分、かなり良い雰囲気にはなる。
今回適用した設定。発音を完璧に再現する口パクは難しいが、アバターがしゃべっている感じを演出するには十分な効果がある。