Augmented Reality mit der Hololens – Wie funktioniert das überhaupt?

Die Hololens ist bereits seit 2015 für Entwickler verfügbar. Mir war sie bisher nur aus den Medien oder von Konferenzen bekannt. Ich habe aktuell das Vergnügen, die Hololens genauer kennenzulernen und die reale Welt um mich herum virtuell zu erweitern. In dieser Blogserie werde ich auf die Funktionsweise und die Technik der Hololens eingehen und einen kleinen konkreten Anwendungsfall umsetzen.

Geschichte der Hololens

Die Hololens – entwickelt von Microsoft – wurde am 30. März 2016 in den USA veröffentlicht. In Deutschland kann die Brille seit Oktober 2016 gekauft werden. Bisher werden ausschließlich Entwicklerversionen vertrieben. Eine reine Anwenderversion gibt es nicht. Es wird spekuliert, dass die nächste Version der Hololens Anfang 2019 erscheinen wird.

Technik

Auszug der verbauten Hardware

Zur offiziellen und vollständigen Beschreibung der verbauten Hardware

Das Display

In der Brille wurden zwei 16:9-HD-Displays verbaut. Es handelt sich hierbei um sogenannte Waveguides Displays. Ein bekannter Anwendungsfall für Waveguide-Technologie ist das Glasfaserkabel. Lichtimpulse werden auf der einen Seite des Kabels eingespeist und auf der anderen Seite von einem Empfänger interpretiert. Die Lichtimpulse bewegen sich durch das Kabel, indem sie von den Außenwänden reflektiert werden. Ein ähnliches Konzept wird bei den Waveguides Displays angewandt.

Quelle: Holographic Waveguides: What You Need To Know To Understand The Smartglasses Market von Christopher Grayson

Ein Prisma bricht das Licht auf der einen Seite des Displays und leitet es um. Durch Reflektion bewegt sich das Licht durch den Glaskörper. Am anderen Ende treffen die Bilder erneut auf ein Prisma, durch das sie wieder zusammengesetzt werden. In der ersten Generation der Hololens wird aktuell ein horizontales Sichtfeld von etwa 35° erreicht. Dieses soll sich mit der nächsten Version verdoppeln. Für eine ausführlichere Beschreibung des Verfahrens empfehle ich den unter dem Bild verlinkten Artikel.

Die Sensoren

Die Hololens nutzt eine Vielzahl an Sensoren und Kameras, um sowohl die eigene als auch die Position der virtuellen Objekte im Raum zu bestimmen. Anhand von vier sogenannten “Environment Understanding Cameras” sowie einer Tiefenkamera kann die Hololens eine Virtuelle Repräsentation der Umgebung anlegen. Diesen Prozess nennt man Spatial Mapping.

Abbildung: Ein Teil einer virtuellen Karte meines Arbeitsplatzes. Man kann die Schreibtische, Monitore und Teile unserer Arbeitskollegen erkennen.

Weiter werden sogenannte Spaial Anchors – also Ankerpunkte – an prägnanten Orten im virtuellen Raum platziert. Mit deren Hilfe kann die Position des Benutzers oder anderen virtueller Objekte bestimmt werden. Die Positionen dieser Anker befinden sich relativ zur World Origin – also dem Punkt, an dem sich der Benutzer beim Starten der Anwendung befunden hat. Diese Art der Positionserkennung wird Inside-out Tracking genannt. Anders als beim Outside-in Tracking, bei dem Kameras im Raum verteilt werden und mittels Triangulierung die Position der Brille bestimmt wird, nutzt man bei diesem Verfahren die Ankerpunkte. Je besser der Scan der Umgebung funktioniert, desto besser und stabiler wird die Qualität der Darstellung. Für das Erkennen der Umgebung nutzt die Tiefenkamera ein Time-of-Flight-System. Bei diesem Verfahren werden Lichtimpulse von der Hololens ausgesendet. Die Kamera misst, wie viel Zeit das Licht von der Kamera zu Objekten und zurück benötigt. Anhand der vergangenen Zeit lässt sich die Entfernung zu diesen Objekten berechnen.

Abbildung: Lichtimpulse werden gesendet, um eine Virtuelle Karte der Umgebung zu erzeugen

Fazit/Ausblick

Auch wenn die Hololens in der ersten Version noch in den Kinderschuhen steckt, bietet sie einen eindrucksvollen Einblick in das, was aktuell möglich ist und was uns zukünftig erwartet. Das Blickfeld ist noch sehr eingeschränkt und das Display zeigt, insbesondere bei schnellen Bewegungen, dass in diesen Bereichen noch Potential vorhanden ist. Ich freue mich trotz vorhandener Schwächen darauf, mit der Hololens zu experimentieren und Anwendungsfälle aufzuzeigen. In meinem nächsten Beitrag werde ich mit einem Anwendungsfall beginnen und zeigen, wie man für die Hololens mithilfe der Unity Engine entwickelt.

Quellen:
What’s Inside Microsoft’s HoloLens And How It Works
Hololense Hardware Details
Holographic Waveguides: What You Need To Know To Understand The Smartglasses Market