マルチリンガル対話システム

概要

「マルチリンガル対話システム」は、複数の言語でしゃべることができる対話システムのことです。

ここでは、2つのJuliusコンポーネントを使ってマイクからの入力された日本語および英語の発話音声を認識し、その結果を発話するようなシステムを実現します。

利用するコンポーネント

この例では、以下のコンポーネントを利用します。

  • AudioInput, AudioOutputコンポーネント: 音声データの取得と再生
  • Juliusコンポーネント: 日本語、英語音声認識
  • CombineResultsコンポーネント: 複数の音声認識器の出力を統合
  • SEATコンポーネント : 音声対話制御
  • OpenJTalkコンポーネント : 日本語音声合成

コンポーネントの接続

すべてのコンポーネントをエディタ画面に配置し、各コンポーネント間に以下のリンクを作成します。:

PulseAudioInput -> Julius1
PulseAudioInput -> Julius2
Julius1(result) -> CombineResults(result1)
Julius1(status) -> CombineResults(status1)
Julius2(result) -> CombineResults(result2)
Julius2(status) -> CombineResults(status2)
CombineResults(result) -> SEAT
SEAT -> OpenJTalk
OpenJTalk -> PulseAudioOutput

リンクを作成すると、以下のスクリーンショットのようになります。

../../_images/multilingalsystem.png

利用方法など

マルチリンガル対話システムを動作させるには、音声認識エンジンに与える認識文法と対話制御エンジンの振舞いを記述した対話スクリプトを用意する必要があります。

この音声認識文法と対話スクリプトは、XML形式のドキュメントですが、OpenHRIでは、これらのドキュメントを簡単に記述するためのツールも提供しています。 ツールの使い方については、 OpenHRIマニュアル を参照して下さい。

また、マルチリンガル対話システムの利用方法については、OpenHRIのオフィシャルサイト内の チュートリアル を参照して下さい。