ARグラスにおける指文字を用いた新たな文字入力手法
ヒーローズリーグ2021 Myヒーロー賞(スポンサー賞)受賞
作品紹介
ヘッドマウントディスプレイ(HMD)が今後普及していくために、快適な文字入力手法は重要な課題です。
HMDで文字入力をする際、物理キーボードを使うのはスマートではありません。音声入力は周囲に人がいる状態で使用しにくい。そんな問題を解決するため手話の一種である「指文字」に注目し、HMDに内蔵されたカメラに向け指文字を示すことにより文字を入力することができるユーザインタフェースを作成しました。
画面を見ずに操作することができるため、聴覚障害者でも利用できる文字入力手法としての応用も期待できます。
使用技術
MOVERIO BT-30E
MediaPipe Hands
Python
