ピアノの演奏を上達させるために、ピアノレッスンにて先生からの指導を受けるという状況は珍しくない。しかし、指導者は学習者の演奏をレッスン時にしか確認することができないため、学習者にとって適切な指導をおこなうことができない可能性がある。 先行研究により、身近に熟達者がいない環境にいるピアノ学習者は，自分自身の熟達状況を把握することが難しく，得意な箇所ばかり練習してしまうなど効率が悪い練習をしてしまう場合が多いということも示されている。 そこで、個人練習時の練習状況の可視化に着目した。これにより、指導者はレッスンという短い時間の中では見つけることができない、学習者の得意・苦手箇所を把握することができ指導効率が上がる。 このような背景から、本研究では、練習状況の可視化をおこなう記録システムの開発をおこなう。

本研究では、ピアノ演奏追跡技術を用いた練習記録システムを開発する。ただし、楽譜追跡をおこなうために視線情報を利用する。 従来の楽譜追跡技術では、MIDIの打鍵情報のみを利用していることにより、打鍵ミスや弾き直しを含む演奏の追跡をおこなうことができなかった。 しかし、視線情報を利用することで、楽譜のどの位置を見ているかが分かり楽譜追跡を可能にする。

　提案システムの機能は主に2つであり、1つ目は「演奏ミス箇所の提示」、2つ目は、「さまざまな単位での練習量の提示」である。 　「打鍵ミス箇所の提示」については、ピアノの演奏をする際、打鍵ミスや弾き直し、弾きとばしが起こりうるが、指導をする際このような打鍵ミスは指摘すべき点であるため、この機能を考案した。 前述した楽譜追跡システムを利用し、演奏情報を取得、そして打鍵ミス箇所を探索する。提案システムでは、打鍵ミス頻度が高い箇所を楽譜上に赤いバーで表示する。

　「さまざまな単位での練習量の提示」については、指導者が学習者の個人練習状況を把握するため、この機能を考案した。 提案システムでは、小節単位や練習日単位などさまざまな単位での練習量を可視化することにより、楽曲内での練習できている部分、出来ていない部分や、一週間で一日の練習量が多い日、少ない日などを把握することができる。現段階のプロトタイプでは、小節単位での可視化について、練習量が多いほど色の濃度が濃くなるようにヒートマップで表示している。

また、提案手法が情報理解の促進に有効であるかの検証と、練習量と打鍵ミスが提示する情報として適切であるかの検証をおこなうための予備実験もおこなった。