Xacti社の360°Web会議カメラにAI機能を実装する#6

はじめに

これまで、第1回から第5回目まで、各機能について解説を行ないました。今回はまとめとして、実際の会議の様子をご紹介します。なお、諸事情により静止画での説明となります。動画も確認したいという場合は、OpenVINO.jpまでお問い合わせください。

Xacti社の360°Web会議カメラ CX-MT100

Xacti社 360°Web会議カメラ CX-MT100をテーブルの中心に配置し、上下パノラマモードで撮影するとこのような動画が撮影できます。

Web会議画面の構成

青色の枠はPerson detection、緑色の枠はFace detectionで検出した結果です。認識した領域を切り出す事で、Web会議画面を構成します。

Web会議画面その1

Web会議画面その1です。上部に参加者を、下部に全体の様子を表示しています。参加者それぞれを認識し、名前、所属などを表示します。

Web会議画面その2

Web会議画面その2です。4人の参加者を切り出しています。参加者それぞれを認識し、名前、所属などを表示します。

話者特定機能

ミーティング中の話者を特定する機能です。facial-landmark detectionを利用して、上唇と下唇(緑色の点)を検出します。mouthで表示されているのが上唇と下唇の差分を数値化したものです。

OCR機能

会議室にある、ホワイトボードに記載した文字を読み取る機能です。

ホワイトボードのズームをONにした画面です。

認識したテキスト領域を示すウィンドウ(右)と、検出した文字のウィンドウ(左)を表示しています。

上下パノラマモードに対してOCRを行なった例です。

認識したテキスト領域を示すウィンドウ(右)と、検出した文字のウィンドウ(左)を表示しています。

まとめ

今回で「Xacti社の360°Web会議カメラにAI機能を実装する」の短期連載が終了となります。OpenVINOを利用する事で、様々なシーンへのAI活用が可能ですので、ぜひ検討してみてください。検討や実装にあたって不明な点などがありましたら、お気軽にOpenVINO.jpまでお問い合わせ頂けると嬉しいです。

最後になりますが、今回の実装にあたって、yas-simさんのプログラム(https://github.com/yas-sim)が非常に参考になり助かりました。ありがとうございました。