Augenreflexionen liefern geheime Bilder in 3D, US Wissenschaftler fangen reflektiertes Licht ein und erstellen damit 3D Modell der Umgebung

Augenreflexionen liefern geheime Bilder in 3D, US Wissenschaftler fangen reflektiertes Licht ein und erstellen damit 3D Modell der Umgebung

College Park, PTE, 29. Juni 2023

Forscher der Universität Maryland haben 3D Bilder aus Augenreflexionen mittels »NeRF« gerendert. Sie fangen dabei das reflektierte #Licht ein und erstellen ein 3D Modell der Umgebung. Auf dem Preprint Server »arXiv« schildern die #Forscher unter dem Titel »Seeing the World through Your Eyes« die Methoden, mit denen sie die Augenreflexionen erfassen und in kohärente 3D #Renderings umwandeln.

NeRF erzeugt 3D Bilder

Sehen benötigt Licht, das durch das transparente Gewebe der Hornhaut, der Pupille und der Linse in die Augen gelangt. Wenn das Licht die Netzhaut erreicht, erzeugen die Photorezeptoren Signale und leiten sie über den Sehnerv an das Gehirn weiter, wo ein Bild entsteht. Ein Teil des Lichts, das in das Auge eintritt, wird von einem stark reflektierenden dünnen Flüssigkeitsfilm auf der Hornhaut in die Welt zurückgeworfen. Ein neuronales Strahlungsfeld (»NeRF«) ist ein neuronales KI Netzwerk, das auf Basis mehrerer 2D Bilder neuartige kontinuierliche Ansichten komplexer 3D Szenen erzeugen kann. Mit einigen Dutzend Standbildern aus verschiedenen Winkeln kann »NeRF« eine 3D Darstellung erzeugen, die so tief und detailliert ist, dass sie kaum von einem Video zu unterscheiden ist, das sich um ein Objekt oder einen Raum bewegt.

Das Team hat nun Bilder von einer hochauflösenden Kamera in einer festen Position aufgenommen, die auf eine Person in Bewegung gerichtet ist, die in Richtung Kamera blickt ähnlich wie bei einem Passfoto. Zoomt man auf die Reflexion im Auge der abgebildeten Person, wird ein Spiegelbild des Sichtfelds sichtbar und Objekte in der Umgebung sind erkennbar. Im Bild finden sich Artefakte des Auges, die Komplexität der Iris Texturen und die identifizierbaren, aber niedrig aufgelösten Reflexionen, die in jedem Bild erfasst wurden. Um die Iris aus den Bildern zu entfernen, wurde eine Texturzerlegung durchgeführt, indem eine 2D Texturkarte trainiert wurde, die die Iristextur erlernt und löscht.

Flächenleuchten eingesetzt

Unter Ausnutzung der Hornhautgeometrie haben die Forscher Berechnungen angestellt, um zu verfolgen, wohin die Augen schauen. Dies ermöglicht auch die Bestimmung des Kamerawinkels, die Aufzeichnung der Bildkoordinaten über die gekrümmte Geometrie und die Festlegung einer Blickrichtung, die die »NeRF« KI später zur Rekonstruktion des 3D Renderings verwenden kann. Trotz kleiner Ungenauigkeiten bei der Bestimmung der Hornhautposition und der Geometrie, ist die Methode bei der Rekonstruktion der Szene effektiv.

Flächenleuchten an den Seiten der Person (außerhalb des Bildes) wurden verwendet, um das Objekt vor der Person zu beleuchten. Die abgebildete Person wurde aufgefordert, sich innerhalb des Kamera Sichtfelds zu bewegen, während mehrere Bilder aufgenommen wurden. Beim Testen der Methode an einem menschlichen Auge ist eine sehr bescheidene Auflösung des Bildes zu sehen, allerdings in einer 3D Darstellung mit Tiefenkartierung. In einem idealisierten synthetischen Test mit einem falschen Auge vor einem digitalen Bild wurde ein deutlicheres Bild mit einer verbesserten Auflösung der 3D Abbildung erzielt.

In einem dritten Test wurde die Methode auf Bilder von Augenreflexionen aus Musikvideos von Miley Cyrus und Lady Gaga angewandt, um zu rekonstruieren, was sie beim Drehen ihrer Videos beobachten. Das Augenbild von Miley Cyrus scheint ein LED Gitterlicht zu zeigen, was gut passen würde, da sie in dem Video eine Träne vergießt und das Starren in ein helles Licht dazu beitragen könnte, den gewünschten #Effekt zu erzielen. In Lady Gagas Auge ist etwas zu sehen, das als Kamera auf einem Stativ interpretiert werden könnte, aber das Bild ist unklar. In beiden Musikvideo Szenarien ist wahrscheinlich nur der Popstar im Studio gut beleuchtet, da sich Licht, Kamera und Action um ihn drehen. Im Alltag hingegen, etwa beim #Zoom Anruf oder beim Selfie Post, könnte die Beleuchtung eher dazu dienen, Infos über die Umgebung zu sammeln.