Instant Avatar - Sofortige Erzeugung von fotorealistischen menschlichen Modellen mittels mobiler Geräte

Das realistische Erfassen und Darstellen von Menschen in vollem Detailgrad ist eine der größten Herausforderungen in der Informatik. Der menschliche Körper variiert sehr stark in Form und Aussehen, und ein hoher Detailgrad ist notwendig, um eine glaubwürdige virtuelle Repräsentation einer Person zu schaffen. Viele Technologien kämpfen mit dem sogenannten Uncanny Valley Effekt: Dieser besagt, dass virtuelle Abbilder von Menschen, die beinahe (aber nicht vollständig) photorealistisch sind, als besonders verstörend wahrgenommen werden. Sogar die neuesten Ansätze in diesem Bereich schaffen es nicht, Photorealismus oder Glaubwürdigkeit zu erreichen. Darüber hinaus benötigen alle derzeitigen Lösungen aufwändige Versuchsaufbauten und spezielle Hardware. Dies wiederrum schränkt die praktische Nutzbarkeit der Technologie ein und verhindert damit auch einen kommerziellen Erfolg. Können diese Probleme gelöst werden, so eröffnet sich eine Vielzahl an Möglichkeiten im Gesundheitswesen, in der Bildung, im E-Commerce sowie in der Unterhaltungsindustrie. Die Aktivitäten von Firmen unterstreichen die Relevanz des Themas. Fast jeder Aspekt unserer digitalen Kommunikation wird von realistischen Avataren profitieren. Um das zu erreichen, muss die technische Lösung mobil und einfach zu benutzen sein und darf keine spezielle Hardware benötigen. Daher werden die Projektpartner neueste Ansätze aus dem Bereich der 4D-Avatar-Rekonstruktion sowie des bildbasierten Rendering kombinieren. Das vorgeschlagene System basiert auf den Prinzipien der Photogrammetrie sowie der Surface Light Fields und wird in der Lage sein, feine Details sowie blickwinkelabhängige Effekte wiederzugeben, indem Information dynamisch aus Referenzbildern extrahiert wird. Mimik und Bewegung werden mit neuartigen Tracking- und Klassifizierungsalgorithmen erfasst und können dann wiederum auf Avatare angewandt werden, um eine realistische und glaubhafte Darstellung zu schaffen. Das Institut für maschinelles Sehen und Dartellen unter der Leitung von Prof. Dieter Schmalstieg hat langjährige Erfahrung in den Bereichen 3D-Rekonstruktion, Deep Learning, Augmented und Virtual Reality, Visualisierung sowie anderen relevanten Themen. Das Team hochqualifizierter Experten mit Fokus auf Erforschung und Entwicklung von mobilen ARLösungen und hat bereits kommerzielle Produkte in dem Bereich auf den Markt gebracht. Zusammen mit der Förderung dieses Projekts sind die Voraussetzungen für einen nachhaltigen wissenschaftlichen und kommerziellen Erfolg gegeben.