学習には、教室での講義や参考書での自習以外にもさまざまな形態があります。我々はその中でも身体の動作を伴う「操作」の学習を支援するため、「複合現実感(MR)での教示像提示による操作学習支援システム」を開発しています。複合現実感技術を用いて、学習者が実際の操作を自身で行いながら、手本も見ることができるようにしました。さらに、学習者の状況をシステムが認識し、その状況に応じて、手本が表示されるインタラクティブな学習支援システムとなっています。
システム利用風景
下図はシステム利用時の学習者の様子とその視界です。学習者が操作するボタンと共に、手本が表示されています。手本は学習者の状況に合わせて表示されるインタラクティブな動画になっています。
システム機材構成
左図は本システムの機材構成です。現在は一般性のある操作として、いくつかのボタンを一定の順序で押してゆくという操作を対象としています。学習者の動作と頭部の向きは、モーションキャプチャシステムによりリアルタイムに認識されます。学習者がどのボタンを押しているか、押すボタンは間違っていないかということに応じて、学習者が装着しているビデオシースルー型のヘッドマウンテッドディスプレイに手本が表示されます。
主な発表文献
- Tomoo Inoue, Motofumi Nakanishi, Physical task learning support system visualizing a virtual teacher by mixed reality, Proceedings of the Second International Conference on Computer Supported Education (CSEDU 2010), pp.276-281, 2010.