コンピュータの操作には長らくマウスやキーボードが使われてきた。タッチパッドやタブレット、キーボードなど入力するデバイスは変化があったが、基本的な方式は変わっていない。だが最近、徐々に新しい入力方式としてWebカムを使ったものが出始めている。

コンピュータでマルチタッチを実現する際や、AR（拡張現実）の中のオブジェクトに触れる際などに使われているこの方式を使った例としてMIT Media Labで研究、開発されているTrackMateを紹介しよう。

今回紹介するオープンソース・ソフトウェアはTrackMate、Webカムを使った入力インタフェースだ。

TrackMateを説明するのはなかなか難しい。紹介動画があるので、それを見てもらうのが一番早いだろう。簡単に言えば、Webカムで撮影している中でオブジェクトの形を認識し、その動きに合わせてコンピュータ上で何らかの操作を行うというものだ。その意味ではマルチタッチが最も近い。

Trackmate :: 5 ways to get started from adam kumpf on Vimeo.

異なるのは指先だけでなく、その形状や認識されている向きによってもアクションを変えられるということだろう。積み木のようなオブジェクトを動かしたり、その一部を抜き取ることで動作を変えるデモや、写真を立てると顔を認識してその人のWebサイトを表示したりする。

基本は真っ白のキャンバスの上にオブジェクトを配置する。そのため、光源を当ててWebカムの認識する部分を白く統一する方が認識の精度が高まる。そしてオブジェクトを配置することで影を作り、操作を行えるようにする。なお、認識自体は色彩の変化も検出可能らしい。

指先の動きだけでなく、オブジェクトの状態の変化も認識できるのが面白い。さらにWindows、Mac OSX、Linuxとマルチプラットフォームで動作するのも良い。こうした技術がもっと進んでいけば、未来はとても面白いことになりそうだ。

Trackmate

　http://trackmate.sourceforge.net/