Smartphones mit Dualkameras – die fehlende Verbindung für Augmented Reality

Smartphones mit Dualkameras werden immer häufiger, und die Tatsache, dass sie Bestandteil des neuen iPhone 7 Plus sind, deutet darauf hin, dass sie sich auch mehr und mehr etablieren. Aber während Dualkameras den Bemühungen entspringen, die Bildqualität zu verbessern, haben sie das Potenzial, uns auf einen viel interessanteren Weg zu bringen: Der wahre Grund könnte sein, dass Apple die Dualkameras benutzt, um sich auf die Welt der Augmented Reality einzustellen, die vor wenigen Monaten vom Phänomen Pokémon Go eingeführt wurde.

Das Prinzip der Augmented Reality war seit Jahren eine Lösung, die nach dem Problem gesucht hat. In den letzten Monaten war Pokémon Go die App, die die Augmented Reality nach Jahren in die Mitte der Gesellschaft gerückt hat. Da beispielsweise die Apple Watch nun ebenfalls in der Lage ist, Pokémon Go direkt auszuführen, hofft das Unternehmen offenbar, die Antwort gefunden zu haben. Das neue Dualkamera-System des iPhone 7 Plus könnte genau die Plattform sein, um vollkommen in die erweiterte Realität zu expandieren.

Die Hersteller präsentieren Dualkameras als Mittel, um Smartphone-Kameras dabei zu helfen, sich mehr wie eine professionelle digitale Spiegelreflexkamera zu verhalten – der digitale Abkömmling des Kameradesigns, das seit Mitte des 20. Jahrhunderts beliebt ist. Der Hauptgrund für die Zunahme an Dualkameras ist ihre physische Notwendigkeit. Es ist nicht möglich, ein Zoomobjektiv mit Profimaßen an einem Mobiltelefon anzubringen – die heutigen Smartphones sind einfach zu klein. Auf der anderen Seite stößt die Integration von Kamerazoom-Funktionen in die Software schnell an die Grenzen der Bildqualität. Aber da Objektive immer günstiger werden, ist eine zweite physische Kamera nun praktikabel, mit Software zum Wechseln zwischen beiden und zum Einfügen von Bildern beider Kameras.

Zwillingskameras mit verschiedenen Brennweiten, etwa einem Weitwinkel- und einem Teleobjektiv, bieten diverse Vorteile. Das Teleobjektiv kann verwendet werden, um die Verzerrung auszugleichen, die bei Weitwinkelobjektiven charakteristisch ist, indem es den abflachenden Effekt einer langen Linse ausblendet. Das Vorhandensein zwei geringfügig verschiedener Arten von Sensoren sorgt für einen besseren Dynamikbereich, den Bereich von Hell und Dunkel in Szenen, in dem eine Kamera Details erkennen kann. Ein größerer Dynamikbereich und mehr Informationen über die Szene sorgt für schärfere Details und sattere Farben.

Sich für den Zoom auf echte optische Linsen statt auf Software zu verlassen, reduziert das digitale Rauschen, das Bilder körnig werden lässt. Und mit rauscharmen Bildern mit mehr Bildinformationen ist es möglich, die Qualität des Softwarezooms zu verbessern.

Die Konstruktion stereoskopischer Szenen

So reizvoll das auch sein mag, das Hinzufügen einer zweiten Kamera auf der Rückseite bietet noch viel interessantere Möglichkeiten. Das Vorhandensein zweier geringfügig verschiedener Blickpunkte bedeutet, dass Livebilder in Hinblick auf die Tiefeninformation pro aufgenommenem Pixel verarbeitet werden können, sodass die Bilder eine zusätzliche Dimension an Tiefendaten erhalten. Da die Entfernung zwischen den beiden Kameras bekannt ist, kann die Software in Echtzeit Triangulationen durchführen, um die Entfernung zu übereinstimmenden Punkten in beiden Bildern zu ermitteln. Tatsächlich tut unser Gehirn etwas Ähnliches – dieser Vorgang nennt sich Stereopsis – sodass wir in der Lage sind, die Welt in drei Dimensionen wahrzunehmen.

Das iPhone nutzt Algorithmen für maschinelles Lernen, um die Objekte in einer Szene zu überprüfen, und schafft so eine Echtzeit-3D-Tiefenkarte der Umgebung und Objekte. Momentan nutzt das iPhone dies, um den Hintergrund vom Vordergrund zu trennen, um sich gezielt auf Objekte im Vordergrund fokussieren zu können. Dieser Effekt des Ausblendens von Hintergrunddetails, Bokeh genannt, ist eine Besonderheit von Spiegelreflexkameras und nicht ohne weiteres für kleinere Kameras wie jene in Smartphones verfügbar.

Die Tiefenkarte ermöglicht es dem iPhone, eine variable Apertur zu simulieren, welche die Möglichkeit bietet, Teile des Bildes, die außerhalb des Fokus liegen, anzuzeigen. Zwar ist das eine beneidenswerte Zusatzfunktion für die Nutzer von Smartphone-Kameras, aber nur lediglich eine Spielerei im Vergleich dazu, was Tiefenkarten wirklich können.

Natürliche Interaktivität entwickeln

Was Apple bietet, ist der erste Schritt hin zu einem Gerät wie Microsofts HoloLens. Microsoft hatte nur wenig Erfolg mit den vorangegangenen System Kinect, das kurzzeitig als Controller für die Xbox-Spielekonsolen angeboten wurde. Aber für Forscher und Ingenieure ist das Kinect ein bemerkenswertes und nützliches Stück Ingenieurskunst, das benutzt werden kann, um mit Computern natürlich zu interagieren.
Microsoft integriert einiges von der Hardware, der Software und den Erkenntnissen des Kinect in das HoloLens-System und erweitert diese durch simultane Lokalisierung und Kartenerstellung (SLAM), bei der die Umgebung in 3D kartiert und die Information benutzt wird, um geografische Überblendungen auf oder innerhalb eines Video-Feeds zu realisieren.

Eine Software, die eine vergleichbare Analyse für die Haltung und den Aufenthaltsort von Personen innerhalb einer Szene für Smartphones mit Dualkameras zur Verfügung stellt, würde ein virtuelles Fenster in die echte Welt öffnen. Durch Gesten, die ausgelesen werden, könnten die Nutzer mit einer Welt voll ‚Mixed Reality‘, also einer Mischung aus virtueller und realer Welt, interagieren, während der Beschleunigungsmesser und die GPS-Daten des Telefons Veränderungen aufzeigen und vorantreiben, wie diese Welt präsentiert und weiterentwickelt wird.

Es gab Spekulationen, dass Apple diese Technik für seinen Service Apple Maps nutzen will, um Objekte der realen Welt um digitale Informationen zu erweitern. Andere Nutzungsmöglichkeiten werden sich zeigen, wenn Dritthersteller und App-Designer ihre physischen Produkte mit sozialen Medien sowie den Möglichkeiten zum Einkaufen und Bezahlen verbinden, die das Smartphone bietet.

Apple ist nicht zufällig dort angelangt. Zusätzlich zum Erwerb von LinX hat Apple außerdem im Jahr 2015 mit Metaio einen echten Augmented Reality-Pionier aufgekauft, was an einen Plan zur Entwicklung einer Plattform für ‚Mixed Reality‘ denken lässt. Metaio hat nicht nur an Software für Augmented Reality gearbeitet, sondern auch an einem mobilen Hardware-Chipset, das diese Augmented Reality wesentlich schneller funktionieren lassen würde.

Bezeichnenderweise hat Apple zudem bereits im Jahr 2013 PrimeSense gekauft. Wenn der Name nicht vertraut klingt: PrimeSense ist ein israelisches Unternehmen, das seine Technologie zur 3D-Abtastung an Microsoft zugelassen hat, woraufhin die Kinect entwickelt werden konnte.

Wenn man Apples Fokus auf soziale Netzwerke dazuzählt, erhält man durch Augmented Reality die Möglichkeit, ein Nachrichtensystem mit Fernpräsenz – holografische Repräsentationen oder Repräsentationen der Augmented Reality entfernter Gesprächspartner – zu schaffen, oder einen Facetime-Videokonferenz-Service mit digitalisierten Hintergründen und Charakteren. Bald könnte es nicht mehr nur ein Pokémon sein, dem wir mit unserem Telefon hinterherjagen.

Dieser Artikel erschien zuerst auf „The Conversation” unter CC BY-ND 4.0. Übersetzung mit freundlicher Genehmigung der Redaktion.


Image (adapted) Taking a close up“ by Susanne Nilsson (CC BY-SA 2.0)


 

Schlagwörter: , , , , , , , , , , , , , ,
Jeffrey Ferguson

Jeffrey Ferguson

hat 10 Jahre Erfahrung in der Londoner Videospiel-Industrie und ist Dozent an der University of Westminster. Er ist derzeit Mitglied der Motion Capture Society, London Unity Users Group und BIMA und forscht zu Wahrnehmungs-Interfaces in Videospielen, interaktiver Software-Produktion, Stereo Vision, VR, AR und Haptik.

More Posts