顔筋動作で感情認識、精度93%達成

米国の研究チームは、音声だけでなく顎や顔面筋の関節運動（アーティキュラトリーモーション）を組み合わせた感情認識システム「MAJIC」を発表した。20名の参加者から10言語、複数シナリオにわたって収集したデータで検証した結果、感情分類の正解率93%、F1スコア91%を達成した。既存の音声のみを用いたベースラインモデルを上回る性能を示している。

従来の音声感情認識（SER）システムは、訓練を受けた俳優が強く感情を表現したデータセットでは高精度を示すものの、日常会話のような微妙な感情表現になると性能が大幅に低下するという課題を抱えていた。MAJICはこの弱点に対して、ピッチや韻律といった音声特徴に加え、発話時に生じる顎の動き・顔面筋の振動・音声誘発振動をセンサーで取得し、マルチタスク学習フレームワークで統合することで補完的な情報源を確保した。

ビジネス応用の観点では、コンタクトセンター業務への影響が最も直接的である。顧客対応部門では、通話中のオペレーターや顧客双方の感情状態をリアルタイムで検知することにより、顧客満足度スコア（CSAT）やネットプロモータースコア（NPS）の向上施策と連動させることが可能となる。感情が高まった通話を自動検知してスーパーバイザーへアラートを送る仕組みは、既にクラウド型コンタクトセンタープラットフォームで試験的に導入されているが、微妙な不満や潜在的な解約兆候の検知精度が低いことが課題だった。MAJICの精度水準はこの障壁を超える可能性を示している。

医療・介護分野においても応用価値は高い。精神科・心療内科の診療補助ツールとして、問診中の患者の感情状態を定量的に記録することで、主観的評価に依存していた診断プロセスの標準化に貢献できる。また、認知症初期における感情表現の変化をモニタリングする用途や、遠隔医療面談における医師の感情疲労度の管理にも転用が考えられる。患者アウトカム指標や再入院率といったKPIへの間接的な寄与が期待される。

人事・採用部門では、面接評価の客観化ツールとして活用が検討されうる。ただし、感情データの収集と利用に関しては個人情報保護規制や労働法制との整合性が不可欠であり、欧州のAI規制法（EU AI Act）が感情認識技術を高リスクカテゴリに分類している点は留意が必要だ。日本においても個人情報保護法の要配慮個人情報に関連する解釈が今後明確化される見通しであり、法務・コンプライアンス部門との連携が導入の前提となる。

技術実装面では、同システムが10言語のデータで頑健性を検証している点が多国籍企業にとっての導入障壁を下げる要因となる。グローバルなカスタマーサポートセンターや、異言語環境での医療サービス提供においても単一モデルの適用可能性を示唆している。

今後の課題としては、顔面筋センサーの装着が必要な現状のハードウェア制約をどのように克服するかが挙げられる。非接触センサーやウェアラブルデバイスへの技術移転が実用化のカギを握るとみられ、スマートフォンのフロントカメラや耳装着型デバイスへの統合が次のフェーズとして注目される。