Kinect permite a construção de interface ‘Minority Report’, e guitarra no ar

Vários hacks do controle de movimentos Kinect tem tentado concretizar uma interface ao melhor estilo Minority Report, mas todos eles só tem mostrado que ainda há muitos desafios a serem superados. Isso até agora: não foi apenas possível, mas feito; as equipes do MIT “Robot Locomotion Group” e “Learning Intelligent Systems” desenvolveram um sistema que usa os drivers do Kinect para Linux para detectar todos os seus dedos das mãos, podendo usá-los para interagir com uma tela:

“Esta é uma interface gráfica inspirada no filme ‘Minority Report’. Ela usa o sensor Kinect da Microsoft, e o recentemente lançado driver libfreenect para conexão do Kinect com o Linux. A interface gráfica e o software de detecção de mãos foram escritos no MIT para uma interação com o pacote aberto de robótica “ROS”, desenvolvido por Willow Garage (willowgarage.com). O software de detecção de mãos apresenta as habilidades do Point Cloud Library (PCL), uma parte do ROS que o MIT vem ajudando a otimizar. O software de detecção de mãos é capaz de distinguir as mãos e dedos em uma nuvem de mais de 60.000 pontos em 30 frames por segundo, permitindo uma interação natural em tempo real.”

A seguir temos um protótipo de uma Air Guitar em ação, cortesia de Chris Oshea. O protótipo foi escrito em C++ e usa o openFrameworks e openCV para processamento de imagens, além do addon ofxKinect e do driver libfreenect no Mac, bem como colaborações das comunidades openframeworks e openkinect.

Obviamente que a guitarra aérea ainda possui uma série de limitações, mas Oshea diz que é agradecido à Microsoft por disponibilizar o Kinect para as massas. O aparelhinho da Microsoft é inovador não apenas pela sua tecnologia, mas também por ser, no exterior por enquanto, barato e flexível.