Blender Add-on : Real-time Lipsync Debug

Lipsyncスクリプトをvoxforge.orgの英語辞書を使ってデバッグ＆一部変更。

1. tri-phone + 長音が正しく処理されていなかった不具合を修正
2. Linuxで相対パスが正しく処理されなかった不具合を修正
3. ストリームバッファを4096→8192に拡張
4. 棄却値を尤度から尤度×レベルに変更（音量0.1でも尤度0.9と言う風に感覚的に解り難かったため）

I debugged the lipsync script and change some of the functions with English model from voxforge.org.

1. Repair the bug that it can't correct the combination of tri-phone with long-voice( : ).
2. Repair the bug that it can't correct the relative path in Linux.
3. Extend the stream buffer from 4096 byte to 8192 byte.
4. Change the thresholds from the plausibility to the plausibility multiplied with the volume( because it was hard to know such cases like that in a sencibility, the plausibility is 0.9 even though the volume is 0.1.) 

英語の辞書について
voxforge.orgの辞書＆モデルをダウンロードして、単語辞書にCMU音響モデルのwikiにある単語を追加してテストしていますが、品質がそれほどよく無く、エラーも多いので対応するトライフォンが無いと言うエラーは解消する程度には辞書を充実させる必要があるかもしれません。
尚、voxforge.orgのモデルに添付されている辞書だけでもやはり同様のエラーが出るので、そもそも基本的には音響モデルがメインで辞書は動作させるための最低限のサンプルなのですが、 整合性の点では最初から甘いのでしょう。
また、スペイン語やポルトガル語のような開音節主体の言語は、そのかなりを日本語辞書で賄える筈です。

About English dictionary
I tested with the model and dictionaries from voxforge.org, and added the words from CMU phonemes wiki to that word dictionary. But that quality is not good, and it output many error and warn messages. So it may be necessary to correct the dictionaries as well as to remove the message that the tri-phone does not exist.
Even if we use voxforge.org default dictionary, the same message are output, so its correction is not good from the first, and it should be for working in the least with the English acoustic model.
In the languages with open syllable mainly like Espanol or Portuguese, Japanese language model can cover many.

リップシンクのメインモジュール
古い話なので今一度。オープンソースの音声認識ソフトjuliusのデバイスストリーミング処理のごく一部を改造して、サーバーモード時の出力レコードに音素候補をその尤度値と共にリアルタイム出力するようにしています。
使用には127.0.0.1:10500へのアクセスを許可する必要があります。

The core module
This lipsync core module is the modified julius as open source voice recognize software, its modified part is minimum, and make to output the phonemes list with plausibilities to the record in server mode.
It is necessary to open 127.0.0.1:105000.


Lipsync tool( modified julius and Blender add-on ) http://sites.google.com/site/khuuyjblend/home/blender/script/lipsync
julius ( julius original and Japanese dictionaries ) http://julius.sourceforge.jp/
voxforge.org ( English model ) http://voxforge.org/
CMN phonemes ( wiki ) http://www.speech.cs.cmu.edu/cgi-bin/cmudict

Blender-Sculpt 2

やはり、リトポ不要、もしくはテクスチャベイク後に一部貼り直し＋UV修正なベースメッシュを作る方がはるかに効率的か・・・

Anyway, to make the base-mesh as unnecessary to re-topology, or as necessary only to retake some parts of the mesh and uv, it looks much better than to make new mesh to re-topology...

Blender Add-on : BlendPose Add-on

BlendPose Add-on updated for Blender 2.63 API
http://sites.google.com/site/khuuyjblend/home/blender/script/blendpose

Blender-Sculpt

あまり使っていなかったスカルプトに挑戦中。
Blenderのスカルプトモードにハイド機能が追加されたため、廉価GPUでも全身いけるかな？と思ったからなんだけど、Multiresolution Lv3で大まかな形にする（下絵なしで作りながら考えていた。この無計画さが駄目すぎる・・・） ⇒ Lv4で全体の流れを削る ⇒ Lv5で均してディテールを詰める（いまここ）と言う流れ。全身のプロポーションを作る段階から分割数を多くしていると重すぎるからだが、これだと殊の外、時間が掛りすぎている。
と言うのは、ポリゴンが細かい方がブラシの効きがよく、粗いとかなり強引に引っ張ったりすることになる。
普通はこういうの一体何時間ぐらいで作るもんなんだろうか？

I'm trying SCULPT now, I have rarely used it before.
This is why I thought it possible with even low-rank GPU because Blender sculpt mode got HIDE function. But in a real, I make rough shape in Multiresolution modifire's Lv3( I made it without the design, and that haphazard is bad... ), decide shape in Lv4, make the detail and the surface smooth in Lv5 (Now, on here), because it is too heavy to display many polygons for making full body style, so it is hard to subdivide to high level from the first. But that task makes me to spend much time.
The blush is more useful with more dens polygons, and need to drive forcibly with rough polygon.
In general, how time do they spent to make such full body sculpt model.

Blender Add-on : Lipsync Tool #2

⇒ 詳細 / Details 作成中

構成 : Blender python-script + 改造版julius
入力 : 既定の録音デバイス（手動でjuliusを起動する場合は環境変数PORTAUDIO_DEV_NUMで変更可能）
必須 : julius用の音響モデル、辞書、及び設定ファイル
（基本juliusウェブサイトで公開されているものが利用できるが、設定ファイルにinputがmic以外で設定されているとエラーになる）
動作確認済：Ubuntu11.10_amd64、Windows32bit/64bit(Visual C++ 2008 SP1再頒布パッケージ要）
（ソースコードを公開しているので、上記以外の環境についてはご自分でビルドして下さい）
モジュールの配置：任意。但し、パスに空白を含まないこと。（Windowsの場合はportaudio_x86.dllを同一フォルダに置いておくこと）
設定ファイルの配置：任意。但し、パスに空白を含まないこと。


SET : Blender python-script + modified julius
INPUT : Default recording device(microphone) (If starting julius with handle,it can be changed with the environment value as PORTAUDIO_DEV_NUM)
MUST : The acoustic model , the dictionaries and configuration file for julius
(The configures published on julius web site is available, but if it has the line as input without mic, it can't)
TESTED : Ubuntu11.10_amd64、Windows32bit/64bit(Need Visual C++2008 SP1 republish package)
PLACE OF EXECUTABLE MODULE : Any, but the path must not include SPACE (If on Windows,portaudio_x86.dll must be put at where is same as the julius executable module)
PLACE OF CONFIGURE : Any, but the path must not include SPACE.

Blender Add-on : Lipsync Tool

Blenderのためのリアルタイム・リップシンク

概要
オープンソースの音声認識ソフト(STT)juliusを利用したリップシンクツールで、改造したjuliusを用いる。Linux、Windowsでのビルド、動作は確認済。小改造なのでおそらくMacでもビルド可能な筈。

機能
リアルタイムでマイク入力によるリップシンク（シェイプキーアニメーション）を行う。通常のレコードアニメーションではシェイプキーは登録されないため、ビューポートアニメーションでシェイプキーアニメーションを登録する機能を備える。
コアモジュール（julius）については、追加した引数によってリアルタイムで音素候補をウェイト付きで出力する機能を追加している。その他の機能は従来のjuliusと変わらず、辞書の設定、調整やサポートツールの利用も変わらない。

問題点
音響モデルと辞書。日本語についてはjuliusディクテーションKITのものがそのまま利用可能。
日本語以外については、現在のところ商用利用可能な日本語辞書はVoxforge.orgのGPLv2辞書ぐらいしか見当たらないが、単語辞書、文法辞書はデモ用の最低限のものしか登録されておらず、辞書にない音素記号は抽出出来ないので追加する必要がある。
juliusのフォーラムで紹介されているgoogleの辞書（有償）と言うのも加工が必要。
サイズが大きすぎてgoogleサイトに置けないので、公開時にはリンク先のみ記す。


The real-time lipsync for Blender

Overview
The lipsync tool with julius as an opensource voice recognize software(STT),it uses the modified julius. I built and tested on Windows and Linux. Its modify is a little,so perhaps it can on Mac,too.

Function
It animate shapekeys with mic in a real time. The standard recording animation function can't entry shapekeys, so it have also the function for recording action.
The core module as julius was added the function to output phonemes symbols with those wrights in a real time. There is nothing as different from the original julius without that. So the way to set or adjust the dictionary,and to use support tools is as same as for the original.

The Problem
It needs the acoustic model and the dictionaries. In Japanese,the dictionary in julius dictation Kit(Japanese only) is available,but in Other languages,I found only the GPLv2 dictionaries on voxforge.org. But its words and grammar dictionary is just for demo,it has the least. julius can't output phoneme symbols out of dictionary. So it must be added words dictionary.
Anyway,those dictionary files are too large to put on the google-site, because those include acoustic models.
So when I'll publish this tool,I'll note only the links for the dictionaries.

Blender-Script : Changed Matrix process

Blender2.62でまたMatrixの手順が変わった（バグ修正の続き）ので、リグ関係のスクリプトがまたアウトになったんじゃないかと思うが、今、こういうものを作っていたりするので、暇になったらまたチェックする。

 The process of Matrix was changed at Blender 2.62 again (it's the task to fix bug since 2.59?), so I was wondering that my rigging script might be broken again.
But now I'm making this and having other tasks, so when I get time,I'll check about them.