Blender Add-on : Lipsync Tool

Blenderのためのリアルタイム・リップシンク

概要
オープンソースの音声認識ソフト(STT)juliusを利用したリップシンクツールで、改造したjuliusを用いる。Linux、Windowsでのビルド、動作は確認済。小改造なのでおそらくMacでもビルド可能な筈。

機能
リアルタイムでマイク入力によるリップシンク（シェイプキーアニメーション）を行う。通常のレコードアニメーションではシェイプキーは登録されないため、ビューポートアニメーションでシェイプキーアニメーションを登録する機能を備える。
コアモジュール（julius）については、追加した引数によってリアルタイムで音素候補をウェイト付きで出力する機能を追加している。その他の機能は従来のjuliusと変わらず、辞書の設定、調整やサポートツールの利用も変わらない。

問題点
音響モデルと辞書。日本語についてはjuliusディクテーションKITのものがそのまま利用可能。
日本語以外については、現在のところ商用利用可能な日本語辞書はVoxforge.orgのGPLv2辞書ぐらいしか見当たらないが、単語辞書、文法辞書はデモ用の最低限のものしか登録されておらず、辞書にない音素記号は抽出出来ないので追加する必要がある。
juliusのフォーラムで紹介されているgoogleの辞書（有償）と言うのも加工が必要。
サイズが大きすぎてgoogleサイトに置けないので、公開時にはリンク先のみ記す。


The real-time lipsync for Blender

Overview
The lipsync tool with julius as an opensource voice recognize software(STT),it uses the modified julius. I built and tested on Windows and Linux. Its modify is a little,so perhaps it can on Mac,too.

Function
It animate shapekeys with mic in a real time. The standard recording animation function can't entry shapekeys, so it have also the function for recording action.
The core module as julius was added the function to output phonemes symbols with those wrights in a real time. There is nothing as different from the original julius without that. So the way to set or adjust the dictionary,and to use support tools is as same as for the original.

The Problem
It needs the acoustic model and the dictionaries. In Japanese,the dictionary in julius dictation Kit(Japanese only) is available,but in Other languages,I found only the GPLv2 dictionaries on voxforge.org. But its words and grammar dictionary is just for demo,it has the least. julius can't output phoneme symbols out of dictionary. So it must be added words dictionary.
Anyway,those dictionary files are too large to put on the google-site, because those include acoustic models.
So when I'll publish this tool,I'll note only the links for the dictionaries.