Grundlage des Systems ist eine Brille mit Videokamera und integrierten RGB-D-Sensoren. Die blinde Person gibt zunächst ihr Ziel per Sprachbefehl an. KI-Algorithmen verarbeiten dann die visuellen Daten der Brille, um die Ausrichtung des Ziels zu schätzen und in Echtzeit eine hindernisfreie Route zu bestimmen. Signale über die Umgebung vor der Person können ihr über Knochenschall-Kopfhörer – das sind kabellose Kopfhörer, die Schallwellen direkt an Schädel senden, ohne dabei das Trommelfell zu passieren – übermittelt werden.

Während die Person sich also Schritt für Schritt durch den Raum bewegt und dabei den Hindernissen auf dem Weg ausweicht, aktualisiert das System die dreidimensionale Szene in Echtzeit. Synchronisiert werden die Bewegungen durch smarte Einlegesohlen im Schuh der Person.

Das Video zeigt den Einsatz des Systems in einer Büro-Umgebung:

Das künstliche Sehen wird zudem durch sensorische Impulse auf der Haut unterstützt. Dafür entwickelten die Forschenden eine ultradünne und dehnbare künstliche Haut, A-Skin genannt. Die Antriebstechnik dafür sitzt am Handgelenk, die Sensoren auf der der Rückseite des Zeige- oder Mittelfingers – so werden die normalen Bewegungsabläufe der Hand nicht gestört.

Dabei messen die Finger-Sensoren beim Laufen den Abstand zu seitlich liegenden Objekten. Kommt die Person etwa einem Hindernis links von ihr zu nahe, veranlasst eine Vibration des linken Handgelenks die Person, sich nach rechts zu bewegen, und umgekehrt. All das geschieht innerhalb weniger Millisekunden. Ebenso helfen die Finger-Sensoren und Vibrations-Impulse beim Greifen von Gegenständen.

Das Gerät wurde in verschiedenen Anwendungsszenarien sowohl mit humanoiden Robotern als auch mit sehbeeinträchtigten und blinden Menschen in virtuellen und realen Umgebungen getestet. Durch die Verbindung visueller, akustischer und haptischer Sinneseindrücke konnten die Forschenden wesentliche Verbesserungen bei der Bewältigung von Navigationsaufgaben feststellen, etwa wenn die Studienteilnehmenden Hindernissen beim Durchqueren eines Labyrinths ausweichen mussten oder einen bestimmten Gegenstand greifen sollten.

Bisherige Seh-Assistenzsysteme waren oft zu sperrig, zu schwer und nicht uneingeschränkt tragbar. Und aufgrund der schlechten Benutzerfreundlichkeit und den aufwendigen Schulungen dafür, fanden sie innerhalb der Community sehbeeinträchtigter und blinder Menschen nur selten Anwendung und wenig Akzeptanz. Deshalb wurden sowohl die Software als auch die Hardware des Systems verbessert. Neben der technischen Umsetzung besteht die größte Herausforderung darin, leistungsstarke und dennoch kompakte und stromsparende Geräte zu entwickeln.

pm