Gewischt, gezogen und angetippt wird bereits seit einigen Jahren auf Smartphones oder Tablet-Computern. Hierfür haben sich bestimmte Handbewegungen etabliert, die wir heute ganz selbstverständlich verwenden. Aber wie verhält es sich, wenn wir gar keine Oberfläche mehr berühren müssen, sondern per Geste in der Luft unsere Klimaanlage im Auto steuern oder einen Musiktitel auswählen können? Seit rund drei Jahren forscht ein Projektteam bei Carmeq an der Gestensteuerung und untersucht, wie mittels Handbewegung Fahrzeugfunktionen ausgeführt werden können.

Ganz konkret befasst sich das Team „Automotive Gestures / Multimodale Bedienung“ mit Funktionen, die sich per Geste bedienen lassen. Sie betreffen verschiedene Entwicklungsbereiche, beispielsweise die Steuerung von Funktionen im Fahrzeug, wie Infotainment, Temperatur und Licht. Aber auch die Frage, wie sich in Zukunft per Handzeichen ein Taxi heranrufen lässt, wenn alle Autos selbstständig auf den Straßen unterwegs sind, wurde im Rahmen einer Roadmap für Gestenbedienung betrachtet.

Interdisziplinarität als Schlüssel

Schnell wurde im Projekt klar, dass Gestensteuerung ein interdisziplinäres Feld ist, bei dem neben dem Wissen aus dem HMI-Bereich auch eine Reihe anderer technischer Kenntnisse wichtig sind, etwa wenn es um die Anbindung von Sensoren geht. Von Anfang an arbeiteten deshalb Experten aus den Carmeq-Teams HMI Konzepte und Systementwicklung sowie Fahrerassistenzfunktionen 3 zusammen. Gemeinsam nahmen sie unter die Lupe, bei welchen Funktionen die Gestensteuerung für den Fahrer sinnvoll ist. Gleichzeitig behielten sie immer im Blick, was sich technisch tatsächlich umsetzen lässt.

Zunächst machte sich das interdisziplinär besetzte Carmeq-Team daran zu untersuchen, welche Gesten sich für die Bedienung im Auto grundsätzlich eignen. Dabei befassten sich die Mitarbeiter unter anderem damit, wie häufig bestimmte Gesten verwendet werden und welche interkulturellen Differenzen es gibt – denn nicht jede hierzulande unverfängliche Handbewegung ist auch in einem anderen Land harmlos. Außerdem setzten sie sich mit der Gestenerkennung auseinander, also welche Bewegungen eindeutig von den Sensoren als Befehle registriert werden. Eine Herausforderung war es somit, mögliche Fehlbewegungen zu erkennen, um die Sensoren entsprechend programmieren zu können.

Das Projektteam entwickelte Prototypen, die während des Prozesses immer wieder mit potenziellen Nutzern des Systems getestet wurden. Hierbei ging es darum, mögliche Fehlerquellen oder Risiken vorab weitestgehend auszuschließen. Wenn der Fahrer beispielsweise Bewegungen vor Sensoren in der Mittelkonsole ausführt, sollten Schalthebel oder Handbremse nicht im Weg sein. Der weitaus wichtigste Aspekt bei der Gestensteuerung: Kein Befehl darf den Fahrer vom Verkehr ablenken, sondern alles soll gefahrlos nebenbei funktionieren. Gleichzeitig kommt es darauf an, dass die Gesten intuitiv und selbsterklärend sind, da Nutzer im Allgemeinen nicht akzeptieren, für eine Steuerung spezielle Bewegungen lernen zu müssen.

Erweiterung zur multimodalen Bedienung

Neben Kundenprojekten lief die interne Konzeptarbeit weiter. In diesem Rahmen ergänzten die Mitarbeiter die Gestensteuerung um zwei weitere Module: Sprachbefehle und Eyetracking, also die Möglichkeit, per Augenbewegung Funktionen zu steuern. Alle drei Optionen wurden unter dem Begriff „multimodale Bedienung“ zusammengefasst. Was multimodale Bedienung konkret in der Anwendung bedeutet, lässt sich anhand des Prototypen „M3I“ von Carmeq erleben: Bei der Bedienung des Drei-Modalitäten-Infotainments können Sprache, Gestik und Blick eingesetzt werden. Wie dies am besten funktioniert und wie die einzelnen Befehlsmöglichkeiten aufeinander abgestimmt sein sollten, untersuchte auch eine studentische Mitarbeiterin aus der Projektgruppe. Im Rahmen ihrer Masterarbeit stellte sie sich unter anderem die Fragen, wann es sinnvoll ist, Sprachsteuerung für die Befehlseingabe einzusetzen, oder für welche Funktion sich Eyetracking besser eignet. Zudem befasste sie sich damit, wie groß Sensor-Flächen in jedem Fall sein müssen, damit die Blickerkennung funktioniert.

Im Rahmen ihrer Masterarbeit stellte sie sich unter anderem die Fragen, wann es sinnvoll ist, Sprachsteuerung für die Befehlseingabe einzusetzen, oder für welche Funktion sich Eyetracking besser eignet. Zudem befasste sie sich damit, wie groß Sensor-Flächen in jedem Fall sein müssen, damit die Blickerkennung funktioniert.

Grundlegende Fragen vorab zu beleuchten, ist wichtig, denn nicht jede Modalität – und damit die Verwendung teurer Sensoren – eignet sich für alle Bereiche im Auto. Für primäre Fahrfunktionen wie Lenken oder Bremsen taugen Gesten beispielsweise nicht. Aber für einzelne Funktionen bei der Bedienung von Infotainment-Geräten sind die ferngesteuerten Befehle bestens geeignet. So könnte beispielsweise per Handbewegung ein Telefonanruf entgegengenommen oder die Audiolautstärke reguliert werden. Auch wäre es denkbar, das Innenlicht mit einem Wisch zu dimmen oder die Temperatur zu regulieren.

Gestensteuerung auf dem Vormarsch

Momentan streben die Mitarbeiter des Innovationsprojekts Lösungen an, bei denen Blickerkennung und Gesten kombiniert werden: Wenn etwa der Blick über die Konsole schweift und einen bestimmten Punkt fixiert, wird das dort verortete Menü aktiviert und könnte dann kontextsensitiv mit Gesten bedient werden.