PAGE TOP

 OpenRTC-aist »

   
Home Task Navi HRI REST_API
コミュニケーション知能モジュールパッケージ OpenHRI >> KinectAudioImageInput (KINECTをつかった音声、画像入力RTC)

KinectAudioImageInput (KINECTをつかった音声、画像入力RTC)

概要

音声入力デバイスとしてマイクロソフト社製のKinectを使用し、 KinectSDK を用いて音源の方向と周囲雑音の少ない音声信号を取得するためのコンポーネントKinectAudioImageに対して、KINECTのカメラを使った画像入力と認識したユーザの骨格情報を取得するコンポーネントです。
現在、このコンポーネントで取得できる音声データは、16bits, 16KHzに固定されております。 また、画像取得に関しては、カラー画像か深度画像を選ぶことができます。深度画像を選んだ場合のみユーザの骨格情報を取得することができます。
このコンポーネントから出力される画像は、CvMonitorというコンポーネントで確認することができます。また、骨格情報は、ChoreonoidとそのプラグインRobotMotionRtcPluginを使うことで、G-ROBOT GR-0001 を操作することもできます。

動作確認OS

  • Windows 7以上のOS (Windows for Kinect の制限によりVMware等の仮想OS上では動作しません)

依存ライブラリ

  • OpenRTM-aist : OpenRTM-aist-1.1.0-RELEASE(C++)
  • Kinect for Windows SDK : Kinect for Windows SDK-1.5

ダウンロード

このコンポーネントは、下記からダウンロードすることができます。 また、現在はソースコードのみがダウンロード可能であり、VS2010(Express Editionでも可)でのみコンパイル可能です。

データポート

名前フローポートデータ型説明
signal OutPortTimedOctetSeq
録音した音声データ
angle OutPortTimedDouble
録音された音源の方向
rawImage OutPortTimedOctetSeq
カラー画像または深度画像(コンフィグレーション:capturingで設定)
tracking OutPortTimedShortSeq
姿勢データ(表示用の座標)、深度画像取得の設定時のみ
skeleton OutPortTimedFloatSeq
姿勢データ(ロボット操作用の座標)、深度画像取得の設定時のみ

コンフィグレーション

名前データ型デフォルト値設定範囲説明
max_angle double0.3 -0.9~0.9
録音可能な音源の方向の上限(Kinectの正面を0とする)
min_angle double-0.3 -0.9~0.9
録音可能な音源の方向の下限(Kinectの正面を0とする)
capturing int0 0,1,2
0:画像取得なし、1:カラー画像取得、2:深度画像取得
intval int100 1以上
画像取得のインターバル設定。ECが、音声取得の周期で動作するために、各周期で画像取得すると、音声取得に影響があるため。

使用例