VTuber配信における感情の伝わりにくさに着目し、感情を可視化するリアルタイム表現システムを制作しました。表情解析ライブラリPy-featとGSRセンサーを組み合わせ、緩やかな感情はPy-featから、瞬間的な感情はGSRセンサーから検出します。推定結果をエフェクトとして配信画面することで、視聴者が直感的に感情の変化を感じ取れるようになり、より楽しく没頭できる視聴体験を実現できるようになりました。さらに、既存の配信ソフトと連携し、実際の配信環境での活用も可能にしています。
Python
Py-feat
GSRセンサー
nizima LIVE
OBS Studio