■第21回 日本聴覚障害学生高等教育支援シンポジウム 聴覚障害学生支援に関する実践共有セッション2025 ■タイトル：音楽感情認識に基づく聴覚障害者向け音楽視覚提示システムの構築 ■発表者：国立大学法人 筑波技術大学 産業技術学部 大川ゼミ、武田晴彦、大川学 ■1章 研究背景 音楽感情認識(MER)について 音楽 文化や言語を超えて人類共通の芸術表現が可能であり、聴き手に豊かな感情を提供することができます。 聴覚障害者での音楽 音楽は聴覚を前提とした表現であり、聴覚障害者にはその感情的側面の享受が困難です。 音楽の感情表現 エンターテインメント分野 (映画・ゲームなど)や、感情の可視化・分析などの技術応用に活用されています。 ■2章 研究目的 課題として、音楽は言語化が難しく、字幕では「♪」記号で表示されるのみで、「楽しい曲」なのか「悲しい曲」なのかといった情景の伝達も困難です。 また、ピアノなどの楽器演奏では歌手の表情や歌声の情報が欠落するため、さらに感情の把握が困難です。 対策として、音楽を「聴いて楽しむ」から「見て楽しむ」へ転換することで、聴覚障害者の新たな鑑賞体験の創出を目指します。 また、音楽を「聴いて作る」から「見て作る」へ転換し、聴覚障害者の新たな音楽創作支援を目指します。 ■3章 提案手法 システム概要を図で示します。 音楽データが、特徴抽出を経て、機械学習モデルによって感情が認識され、最終的に映像として提示される、という@からCの4段階の流れを矢印で示しています。 @音楽データについて 音楽聴き手の感情を4分類した音楽感情ラベル付きデータです。 A特徴抽出について AudioドメインとSymbolicドメインの2種類で行います。 Bモデルについて 機械学習を用いた音楽感情認識モデルを構築します。 C映像提示について 映像ソフトと連携し、感情情報を音楽に合わせて視覚的に表現します。 次に、AudioとSymbolicの2種類のドメインの概要について、内容・特徴・モデルを表で示します。 Audioドメインは音響情報で、特徴はMFCC(メル周波数ケプストラム係数)、モデルはCNNベースとなっています。 Symbolicドメインは楽譜的記号情報（演奏構造）で、特徴は音符長・ベロシティ・拍密度・キーなど、モデルはTransformerベースとなっています。 ■4章 実験方法 データセットとして「EMOPIA」を使用します。 この参考文献は、H. Hung et al., "EMOPIA: A Multi-Modal Pop Piano Dataset for Emotion Recognition and Emotion-Based Music Generation," in Proc. ISMIR, 2021. データセット「EMOPIA」について 感情ラベル付きのポップピアノ音楽データセットです。 1087の音楽クリップ (アニメ、ポップ、映画サウンドトラック、個人制作楽曲など)が含まれています。 感情ラベルは、ラッセルの円環モデルに基づき、Valence(快・不快)とArousal(覚醒度)の4象限Q1からQ4で分類されます。 感情の4象限Q1からQ4を、感情カテゴリ・Valence（快・不快）・Arousal（覚醒度）の観点から表で示します。 第1象限(Q1)は「Positive-Energy」。Valenceは高(ポジティブ)、Arousalは高(活力あり)。 第2象限(Q2)は「Negative-Energy」。Valenceは低(ネガティブ)、Arousalは高(緊張・怒り)。 第3象限(Q3)は「Negative-Calm」。Valenceは低(ネガティブ)、Arousalは低(沈静)。 第4象限(Q4)は「Positive-Calm」。Valenceは高(ポジティブ)、Arousalは低(穏やか)。 構築した機械学習モデルからArousalとValenceを抽出し、音楽の流れに合わせて音楽感情をリアルタイムに可視化します。 ■5章 実験結果 音楽特徴量の可視化の例として2つの図を提示しています。 @サンプル音楽のメルスペクトログラムの画像 横軸が時間、縦軸が周波数で、音の強さが色の濃淡で示されています。 Aサンプル音楽の4象限分類結果のグラフ 横軸が推測値、縦軸が象限で、Q1・Q2・Q4はマイナスの値を示す一方、Q3はプラスの値を示しています。 ■6章 まとめ 音楽感情認識に基づく聴覚障害者向け視覚提示の構築を目指し、現在までに提案手法のプロトタイプを作成しました。 今後の展望は @動的な視覚表現への拡張 Aユーザ評価の実施による有効性検証 B音楽作成支援への応用可能性の検討 の3つです。 ■謝辞 本研究発表の一部は、JSPS 科研費 JP 25K15107の助成によります。 本研究にご協力いただいた関係者の皆様に、心より感謝申し上げます。 ■問い合わせ先 実施責任者 筑波技術大学 産業技術学部産業情報学科 准教授 大川 学 Email: mnb_okawa7[at]a.tsukuba-tech.ac.jp (※[at]は@に置き換えてください。)