Mit schnellen Bewegungen fliegen die Arme des Mannes durch die Luft. Er zieht Dokumente ins Bild, zoomt sie mit den Fingern heran und sortiert in rasantem Tempo die Bilder, Briefe und Lebensläufe vor sich auf der Wand. Die Rede ist von dem futuristischen Charakter John Anderton aus Steven Spielbergs Film "Minority Report". Wie ein Dirigent mit dem Taktstock sei Orchester beherrscht, scheint er die digitalen Unterlagen um sich herum im Griff zu haben. Mit ganz natürlichen Bewegungen. Der Wunsch, geradezu spielend mit den Gegenständen in unserer Umgebung interagieren zu können, lässt dank der Forschung und der Innovationsfreude kleiner wie großer Unternehmen die Welt der Fiktion hinter sich.
Technik als Erweiterung des Körpers
Eines der aktuellsten Beispiele, das die Gestensteuerung technisch schon umsetzt, ist das MYO-Armband. Wer das breite, graue Kunststoffband um den Arm trägt, kann mit einem Schnipsen die Musik-Playlist am Computer anspringen lassen. Die Spielekonsole erkennt die Schießbewegungen der Hand und mit simplen Armdrehungen lässt sich ein kleines Modellflugobjekt steuern. Die Präsentation auf der Leinwand zoomt der Dozent heran, in dem er die Hand zur Faust ballt und den Arm zu sich heranzieht. „Das MYO schafft mit einfachen Bewegungen eine direkte Verbindung zur Technologie, als würde man nach etwas greifen oder echte Gegenstände bewegen“, erklärt Stephen Lake, Unternehmensmitbegründer der Firma Thalmic Labs aus Ontario in Kanada, die das Armband erfunden hat. „Wir finden, dass Technik eine natürliche Erweiterung unseres Körpers sein sollte.“
Er ist fest davon überzeugt, dass die Technik unseren Alltag verändern wird. „Mit dieser Schnittstelle lässt sich Gebärdensprache in Worte übersetzen oder eine direkte Kommunikation mit neuen Geräten wie Google Glass wird möglich“, sagt Lake. Er ist fest davon überzeugt, dass die Technik unseren Alltag verändern wird. „Mit dieser Schnittstelle lässt sich Gebärdensprache in Worte übersetzen oder eine direkte Kommunikation mit neuen Geräten wie Google Glass wird möglich“, sagt der Unternehmer.
Die Technik hinter dem Armband analysiert die Armmuskulatur. Mit jeder Bewegung werden andere Muskelpartien angespannt, wieder andere bleiben passiv. Diese Kontraktionen erkennt das Armband über Sensoren, die Thalmic Labs erfunden und patentiert haben. Die Daten, die über die Sensoren erfasst werden, fließen in einen komplexen Algorithmus, der dafür sorgt, dass die Bewegungen und Gesten wiedererkannt werden. Das MYO-Armband soll Ende 2013 erstmals an Kunden versendet werden und etwa 150 US-Dollar (umgerechnet 115 Euro) kosten.
So spannend das Gadget klingt, die Gestensteuerung kommt nur langsam im Markt an. Wie die Sprachsteuerung wird sie von Experten seit Jahren als der ultimative und brandneue Weg, Geräte zu kontrollieren, vorher gesagt. Doch noch tut sich die Ablöse der Touch-Technologie schwer auf dem Markt.
Konsolen setzten auf Gestensteuerung
Am weitesten verbreitet ist die Technik ganz sicher unter den Konsolenspielern. Nintendos Wii hat die Gestensteuerung in Party- und Familienspiele umgesetzt und auch Microsofts XBOX setzt auf die Kinect-Technologie. Dabei werden die Bewegungen der Spieler von einer Kamera erfasst und so auf den Bildschirm übertragen.
„Diese Technik bringt etliche Teilprobleme mit“, sagt Marius Shekow, wissenschaftlicher Mitarbeiter am Fraunhofer-Institut für Angewandte Informationstechnik (FIT). Hier erforscht er gemeinsam mit Dr. Leif Oppermann und dessen Team nutzerorientierte Informations- und Kooperationssysteme. „Das Dilemma bei den Kameras war lange Zeit, dass sie nur lichtabhängig und stationär funktioniert haben“, sagt Shekow. Inzwischen sei man daher auf Tiefenkameras umgestiegen, die weniger lichtempfindlich sind. Dennoch bleibt die Körpererkennung in grellem Tageslicht schwierig.
Außerdem müssen in Zeiten des mobilen Internets auch mobile Lösungen her. Inzwischen werden immer mehr Systeme an mobilen Endgeräten wie Laptops, Tablets und Smartphones getestet, so die Forscher.
Die stationäre und die aufdringliche Lösung
Die stationären Lösungen mit Kameras bezeichnet die Wissenschaft als „non-intrusive“ – also nicht aufdringlich. Das bedeutet, dass kein Gegenstand den Körper in seinen Bewegungen einschränkt. Produkte wie das „MYO-Armband“ gelten entsprechend als „intrusive“. Es muss ein Gerät am Körper getragen werden, damit die Technik funktioniert. „Dafür ist diese Technik aber auch deutlich genauer“, sagt Shekow.
Seit Jahren wird an Gadgets gearbeitet, die die natürliche Interaktion von Körper und Technik fördern. Eines der bekanntesten und beeindruckenden Beispiele ist die SixthSense-Technologie von Pranav Mistry. Der Informatiker wurde 1981 in Indien geboren und promovierte am Massachusetts Institute of Technology (MIT). 2009 stellte er seine Erfindung vor, die ihn als „Mann mit den bunten Fingern“ bekannt machen sollte. In einem TED-Talk erklärte er damals vor begeisterten Zuhörern, was es damit auf sich hat.
Am Anfang seiner Forschung, erzählt Mistry, habe er sich die Frage gestellt, wie sich alltägliche Gesten zur Interaktion mit der digitalen Welt nutzen lassen. Das war im Jahr 2001. Damals baute er seine Computer-Maus auseinander, mit der er bis dahin die Programme auf seinem Bildschirm mal links und mal rechts angeklickt und dadurch benutzt hatte. Die Idee war es, die beiden Sensoren darin neu nutzbar zu machen – gemeinsam mit der Maus eines Freundes, standen ihm vier dieser Sensoren zur Verfügung, die der damals gerade einmal 20 Jahre alte Wissenschaftler in eine Reihe schaltete kurzum an vier Fingern seiner Hand befestigte.
Die Anfänge der Bewegungssteuerung
Dadurch entstand eine Verbindung zwischen seiner Hand und dem Bildschirm. Auf einmal ließen sich auf einem Klebezettel Nachrichten schreiben, die gleichzeitig digital dargestellt wurden. Davon ausgehend experimentierte Pranav Mistry. Die Sensoren an den Fingern verteilte er am Ende auf vier Klebebändern, die er an Zeigefinger und Daumen beider Hände anbrachte – ein rotes, ein gelbes, ein blaues und ein grünes. Die „intrusive technology“ an den Fingerspitzen verband er mit einer mobilen Version der „non-intrusive technology“. Dafür band er sich eine Kombination aus Kamera, Mini-PC und Projektor um den Hals, die die Fingerbewegungen aufnimmt und in eine digitale Sprache übersetzt.
Die Möglichkeiten dieser Technologie ließ das Publikum beim TED-Talk jubeln: Auf einmal konnte Mistry jede Oberfläche als Bildschirm nutzen – die weiße Wand, ein Blatt Papier oder der Oberarm. „Die Kamera verfolgt unsere Bewegungen und mit einem Projektor wird die digitale Information wieder ausgespielt“, erklärt Mistry. Über den Projektor lassen sich auch Karten an die Wand werfen, die man dann mit einfachen Fingerbewegungen verkleinern und vergrößern kann. Formt der Wissenschaftler Daumen und Zeigefinger zu einem Rechteck, wird die Bewegung erkannt und ein Foto geschossen. Die Bilder lassen sich dann wieder an jede Wand werfen und als Bildergalerie anzeigen.
Wir brauchen was zum Anpacken
Mit der SixthSense-Technologie ist ein Szenario wie im Hollywood-Blockbuster Minority Report längst Realität geworden. Doch bis heute sieht man die Menschen nicht wild durch die Straßen gehen, sondern mit geneigtem Kopf auf ihr Smartphone schauen. Im Gegensatz zu etlichen Marketingabteilungen großer Unternehmen oder engagierten Startups ist die deutsche Forschung skeptisch, dass die Gestensteuerung tatsächlich die Touch-Technologie ablösen wird.
„Wir brauchen das haptische Feedback bei der Interaktion mit Gegenständen. Das fehlt beim Greifen in den luftleeren Raum“, sagt Gero Herkenrath, Wissenschaftlicher Mitarbeiter am Lehrstuhl Medieninformatik und Mensch-Computer-Interaktion an der RWTH Aachen. „Das Konzept, Dinge anzufassen, um sie zu manipulieren, hat sich bewährt.“ Um das zu untersuchen, wurden Studien zur Büroarbeit durchgeführt. Dazu forderten die Forscher Probanden auf, Tastaturen zu nutzen, die einfach auf die Tischoberfläche projiziert wurden. Deutlich schneller als bei der Standardtastatur drifteten im Versuch die Hände der Tippenden ab. Da sie keine Tasten fühlen konnten, an denen sie sich wieder hätten orientieren können, wurde der Schreibfluss durchbrochen. „Blind korrigieren war den Versuchspersonen nicht möglich“, sagt Herkenrath.
Dass der Wunsch der Menschen nach einem etwas "Fühlbarem" groß ist, hat auch die Industrie erkannt. Das amerikanische Unternehmen Tactus hat auf der diesjährigen CES in Las Vegas angekündigt noch in diesem Jahr Tablets und Smartphones herauszubringen, die eine fühlbare Tastatur auf dem Display integriert haben.
Menüführung ohne Berührung
Auf der einen Seite gibt es also den Schritt zurück zur Tastatur, auf der anderen Seite wird gemutmaßt, dass Samsung am Donnerstag in New York ein Smartphone präsentieren könnte, das sich komplett ohne Berührung steuern lässt. „Floating-Touch-Display“ nennt sich diese Innovation, die auch schon bei Sonys Xperia Sola integriert ist. Der Clou: Das Display reagiert, sobald sich der Finger bis auf wenige Millimeter angenähert hat. Damit würden die Koreaner ihren Weg in Sachen Gestensteuerung konsequent weiter verfolgen. Bereits heute wählt das Galaxy S3 automatisch eine Nummer an, sobald das Telefon zum Ohr gehalten wird – sofern vorher ein Kontakt aufgerufen wurde. Mit dem neuen Modell soll angeblich auch das Scrollen per Augenbewegung möglich gemacht werden. Zum Einsatz könnte diese Technik beim Lesen langer Artikel kommen. Sind die Augen am Ende einer Seite angekommen, würde das Telefon dann von alleine umblättern.
Komplexität beherrschen
„All das sind relativ kleine und simple Anwendungsbereiche, bei denen Gesten Sinn machen können“, sagt Gero Herkenrath. Wird das Anwendungsfeld zu komplex, könnten sich zu viele Bewegungen überlagern und die Technik überfordern. Herkenrath ist sich sicher, dass sich am Ende nur durchsetzen wird, was praktisch ist und den Menschen einen Vorteil bringt. „Es ist ja schön, dass ich mit Gesten Dinge steuern kann. Wenn ich davon einen sogenannten Gorilla-Arm bekommen, habe ich aber wenig davon“, sagt er und zieht dann noch einen Vergleich zur Sprachsteuerung Siri. „Wir werden genauso wenig an der Bushaltestelle zum Dirigenten werden, wie wir in aller Öffentlichkeit laut mit unserem Telefon sprechen“, ist er sich sicher.
Ein weiteres Problem sehen die Wissenschaftler Leif Oppermann und Marius Shekow vom Fraunhofer FIT in der Festlegung von Gesten. „Hier gibt es keine Standards, das sieht man schon bei den Touchscreen Geräten. Für jedes Gerät und für jeden Anwendungszweck müssen die Gesten neu gelernt werden“, sagt Oppermann. Ein Beispiel dafür ist die Kritik an den Gesten in Microsofts neuem Betriebssystem Windows 8. „Wer die Touchfunktionen des Programms anwenden möchte, muss sie komplett neu lernen“, sagt der Wissenschaftler. Und Microsoft hat die Gesten komplett anders definiert als zum Beispiel Apple.
Andere Länder, andere Gesten
Übertragen auf allgemeine Handgesten ist das problematische daran, dass Gesten sich nicht internationalen Regeln unterwerfen lassen, wenn sie intuitiv sein sollen. „Gewisse Posen und Gesten bedeuten von Land zu Land sogar unterschiedliche Dinge“, sagt Oppermann. Eine Alternative wäre es natürlich, dem Gerät individuelle Bewegungen beizubringen. Doch ob sich diese Mühe lohnt, hängt auch hier wieder von dem Nutzen ab, den der User am Ende daraus zieht.
Was Ihre Gesten über Sie verraten
signalisiert laut den Bewerbungsexperten von Hesse/Schrader Konzentration oder Nachdenken
bedeutet Ungeduld oder Nervosität, vielleicht sogar Provokation
zeigen die eigene Überlegenheit
Gesagtes wird zurückgenommen, weil Unsicherheit in der Sache besteht
demonstriert Selbstzufriedenheit, wirkt aber nicht immer sympathisch
zeigt bei Zurücklehnen grenzenlose Souveränität
lässt auf Desinteresse, Unkonzentriertheit oder Nervosität schließen
steht für Nachdenklichkeit, Erschöpfung oder Langeweile
zeigt Ratlosigkeit oder Unsicherheit
steht für Nachdenklichkeit und Zufriedenheit
zeigen bei Frauen: Unsicherheit oder Angst, bei Männern: Ablehnung und Verschlossenheit
signalisieren Überheblichkeit, gleichzeitig Abwehr gegen Einwände
Ein grundsätzliches Problem der Gestensteuerung beschrieb R.J.K. Jacob bereits in seinem Paper „What You Look At Is What You Get: Eye Movement-Based Interaction Techniques“. Hier geht er auf die Schwierigkeit ein, bewusste von zufälligen Gesten zu unterscheiden. Jacob benutzt in seinem Paper einen Vergleich zum griechischen König Midas, der per Zauber über die Fähigkeit verfügte, alles in Gold zu verwandeln, was er ansah. Am Ende schaute er seine eigene Tochter an. „Es muss so etwas wie ein Start- und ein Endsignal geben“, sagt auch Leif Oppermann. Ansonsten könnte ein zufälliger Wink ganze Projekte löschen, um nur ein plakatives Beispiel zu nennen.
Fakt ist: Der Fortschritt der Technologie hört nicht beim Arbeitsplatz mit Tablet, Notebook und Smartphone auf. Längst hat sich der Begriff vom „Internet der Dinge“ durchgesetzt. Unsere alltäglichen Räume und die Dinge darin werden immer digitaler: das Auto, die Wohnung, die Stromversorgung – Kühlschränke, Schreibtischlampen, Heizungen. Und auch hier sind neue Formen der Regulierung denkbar. Durch Gesten, durch Blicke, durch die Stimme.
Designer denken bei ihren Produkten diese Entwicklungen mit und treiben den Trend der Gestensteuerung weiter voran. In einem Interview mit der Zeit sagte der Star-Designer Mark Rolston: „Wir wollen, dass die Interaktion eins wird mit den Handlungen im realen Leben. Das ist das Designziel.“ Und noch viel treffender: „Computer werden nicht mehr etwas sein, das wir benutzen. Sie werden etwas sein, worin wir leben.“
