VR (360° -Rundgang, Produktvisualisierung)

 Die Bedeutung des Arbeitspaketes VR wurde anfangs für die KMU als zu hoch eingeschätzt. Durch die Vorgespräche und Anforderungsanalysen im Rahmen der Priorisierung wurde jedoch schnell klar, dass das Themengebiet interessant aber vom erwarteten Nutzen geringer einzustufen ist, als andere der im Projekt betrachteten Digitallösungen.

VR ist eher ein ‚nice to have‘ für KMU – vorher sind jedoch grundlegendere Themen der Digitalisierung zu betrachten. Erst wenn eine digitale Grundlage geschaffen worden ist, auf der aufgebaut werden kann, sollten fortgeschrittene Visualisierungsthemen wie VR angegangen werden. Wichtig ist aber auf jeden Fall, die Unternehmen für neue Möglichkeiten zu sensibilisieren.

In Moonrise wurde sich für die Umsetzung eines 360°-Produktionsrundgangs sowie die VR-Visualisierung von Produkten vor deren Fertigung entschieden.

360°-Rundgang - Umsetzung eines immersiven, virtuellen Rundgangs durch die Produktion

Erstellung Storyboard

Im ersten Schritt, der Erstellung eines Storyboards, wird zunächst ein Überblick, ein Konzept bzw. ein Plan erstellt, was überhaupt dargestellt werden soll. Dabei muss auch entschieden werden, welchen Umfang bzw. welche Länge das Ergebnis haben soll und für welche Zielgruppe (Kunden, Lieferanten, zukünftige Mitarbeitende etc.) ein Rundgang erstellt werden soll. Für die Erstellung des Rundgangs und die spätere Orientierung muss in einem Grundriss bzw. Laufplan mit Stationen festgelegt werden, wo Marker auftauchen sollen. Wichtig ist auch festzulegen, was z.B. aus Gründen der Geheimhaltung später zu sehen sein soll und was nicht (360°-Aufnahme – ggf. Bereiche aussparen, Details von Maschinen/Produkten unkenntlich machen usw.).

Bildaufnahmen

Sind die grundsätzlichen Überlegungen abgeschlossen, kann mit der Aufnahme der Bilder begonnen werden. Hierfür wird eine 360°-Kamera mit einer Auflösung von ca. 8K (z.B. Insta360, Ricoh Teta) sowie ein Stativ benötigt. An jedem relevanten Punkt der Produktion werden dann Aufnahmen gemacht. Dabei sollte mit der Belegschaft besprochen werden, ob es akzeptabel ist, wenn Mitarbeitende auf den Fotos zu sehen sind, oder nicht. Der Fotograf selbst kann die Bilderstellung per WLAN oder Bluetooth Verbindung zwischen Smartphone und Kamera auslösen, so dass er sich außerhalb des im Bild sichtbaren Bereichs platzieren kann. Ein „hinter der Kamera“ gibt es nämlich bei 360° Aufnahmen nicht.

Die Bilder müssen ggf. mit einer Standard-Bildbearbeitungssoftware nachbearbeitet werden, bevor sie mittels Stitching (z.B. über die Kamerasoftware) zusammengefügt werden. Die 360° Bilder können dazu prinzipiell mit beliebiger Fotoretusche-Software bearbeitet werden. Dann besteht jedoch die Herausforderung, dass man die auf 2D gestauchten Bilder nicht perspektivisch korrekt sieht, sondern sich vorstellen muss, welche Form ein Rechteck in der 360° Aufnahme in der 2D Projektion hat. Besser funktionieren Werkzeuge, die direkte Unterstützung für 360° Aufnahmen mitbringen wie z.B. Affinity Photo seit Version 2.0.

Das Stitching, also das perspektivisch korrekte Zusammenführen der Einzelbilder zu einem 360° Bild kann je nach Kamera direkt dort schon erledigt werden, oder anschließend als Post-Processing Schritt auf dem PC. Dazu liefern die Hersteller meist die passende Software mit, so dass z.B. vorher noch Anpassungen bei der Helligkeit gemacht oder Farbstiche ausgeglichen werden können (wie bei einem RAW-Entwickler).

Ein bereits aufgenommener Grundriss der Produktionsanlage bzw. erstellte Laufplan dient zur Orientierung und hilft bei der Erstellung des Rundgangs, wo die Marker einzufügen sind.

Video-/Tonaufnahmen

Für einen virtuellen Rundgang ist neben dem Bildeindruck die Hintergrundinformation mindestens genauso wichtig. Dies lässt sich entweder per Text, Ton oder Video erreichen. Das lesen längerer Texte ermüdet schnell und wird für VR-Anwendungen nicht empfohlen. Eine Stimme „aus dem off“ ist besser, wirkt jedoch eher wie im Museum. Ein Video mit hochrangigen Unternehmensvertretern stellt die Verbindung deutlich besser her, führt jedoch zu sehr großen Datenmengen, wenn sie als 360° Video aufgenommen werden und überfordert schnell die Internetverbindung der Zielgruppe. Selbst moderne Videokompressionsverfahren wie h.265 können dies nicht vermeiden.

In Moonrise wurde daher eine innovative Lösung gewählt, die hochauflösende 360° Bilder mit Standard 2D Videos in normaler Full HD Qualität kombiniert hat. Die 2D Videos entstanden im Studio mit Green-Screen so dass sie anschließend nahtlos in die 360° Aufnahme projiziert werden können. Der aufmerksame Zuschauer erkennt zwar die Manipulation aufgrund fehlender Schatten und evtl. unterschiedlicher Beleuchtung zwischen Video und Umgebung. Die Lösung erscheint jedoch trotzdem als bester Kompromiss aus visueller Qualität, persönlicher Ansprache der Zuschauer und Datenrate. Die Unterstützung für Videos mit transparentem Hintergrund ist aktuell noch ausbaufähig. In Meta Quest 3 und Pico 4 sind solche Videos jedoch abspielbar.

Zusätzlich worden im nächsten Schritt begleitende Video-/Tonaufnahmen von einer oder mehreren Personen (Ganz-/Oberkörper) erstellt. Hierfür ist keine Spezialkamera/-mikro benötigt, jedoch eine gute Ausleuchtung bzw. ein Greenscreen für die Aufnahmen vor Ort. Die Beschreibung kann spontan oder über einen vorformulierten Text erfolgen. Die Videos müssen dann ähnlich wie die Bilder nachbearbeitet werden (ggf. Greenscreen entfernen, in einem kompatiblem Format speichern, das Transparenz unterstützt wie VP9).

Zusammenführen

Wenn sowohl Bilder als auch Videos fertig sind, müssen beide zusammengeführt und finalisiert werden. Dies kann z.B. über die Javascript Bibliothek A-Frame erfolgen, um VR-Inhalte direkt im Web-Browser darzustellen (WebVR bzw. WebXR). Zusätzlich können weitere Informationen (zu Videos, Infopoints, dynamische Hotspots, Detailbilder etc.) eingeblendet werden.

Präsentationsform

Die Endergebnisse können dann z.B. VR-Brillen (z.B. für Messeauftritte), durch Projektion auf Leinwand/TV (z.B. Messe), einfach über Smartphones/Tablets oder durch Einbindung in die Website (z.B. Link, verlinkte Grafik, iFrame) bzw. Social Media wiedergegeben werden. A-Frame erlaubt sowohl die 2D-Betrachtung am Monitor, bei der man über die Maus den Blickwinkel ändert, als auch die immersive Darstellung in der VR-Brille.

Während des gesamten Erstellungsprozesses ist es sinnvoll, die Unternehmen an die Hand zu nehmen und ihnen aus der Erfahrung heraus und mit einem ‚externen Blick‘ den einen oder anderen Umsetzungstipp zu geben. Durch regelmäßige Feedbackschleifen können Zwischenergebnisse präsentiert, das Endergebnis somit ‚vorstellbarer‘ gemacht und auch Änderungen leicht eingearbeitet werden.

Visualisierung von Produkten vor deren Fertigung

Wenn Produkte für Kunden neu konstruiert werden, dann liegen sie häufig schon als 3D Modell in einer CAD-Software vor. Trotzdem erfordert es noch viel Abstraktionsvermögen und ein Stück weit Fantasie sich anhand dieses Modells vorzustellen, wie es am Ende in dem Umfeld, wo es eingesetzt werden soll aussehen wird oder wo es evtl. Schwierigkeiten bei der Montage oder dem Handling geben könnte. Eine VR-Visualisierung kann erstere Herausforderung fast vollständig lösen und mit etwas Mehraufwand auch entscheidende Hinweise für die zweite Aufgabenstellung geben. Der erste entscheidende Schritt dazu ist die Übertragung der 3D Daten von der CAD-Software in ein Programm, dass direkt die VR-Anwendung erstellen kann (z.B. Unity oder Unreal) oder eine Zwischenlösung, die zum Vorbereiten der 3D Daten für den Einsatz in VR verwendet wird wie z.B. Blender oder Maya. Für eine anschauliche Darstellung benötigen die 3D Modelle nämlich noch zusätzliche Informationen, die im CAD-Programm i.d.R. nicht hinterlegt sind, wie Texturen. Diese weisen den Oberflächen nicht nur einfarbige Farbinformationen zu, sondern können auch komplexe Muster und realistische Materialien wie Holz simulieren.

3D Datenformate

Die erste Hürde ist der Datenexport aus dem CAD Programm. Dafür stehen häufig eine Handvoll verschiedenere Formate und mehr zur Auswahl, jedes mit spezifischen Vor- und Nachteilen. Für VR ist FBX von Autodesk das verbreitetste Format. Kann das nicht direkt erzeugt werden, dann können auch OBJ oder das STEP Format als Zwischenschritt genutzt und mittels Blender oder Maya in FBX umgewandelt werden. Es gibt aber auch spezialisierte Software wie Pixyz von Unity oder 3DViewStation VR-Edition, die sich genau dieses Problems der Datenkonvertierung annimmt und den mitunter aufwändigen Workflow deutlich vereinfacht.

Aufgrund der stolzen Preise der Spezialsoftware von 1000€ pro Jahr und mehr wurde im Projekt ein Anwendungsfall manuell konvertiert. Der Aufwand betrug dafür jedoch mehrere Personentage, so dass sich im Unternehmensalltag die Softwarelizenz schnell bezahlt macht. Wichtig ist dabei v.a. auch ein 3D Modell mit einer überschaubaren Anzahl an Polygonen zu bekommen. Während die CAD Software meist auch mit mehreren Millionen Polygonen umgehen kann, bzw. die Geometrie mit Bezier-Kurven oder NURBS deutlich effizienter beschreiben kann, sind VR-Lösungen je nach Hardware auf ca. 2 Mio Polygone (PC-basierte VR mit leistungsstarker Grafikarte) oder sogar nur 500.000 Polygone limitiert (Standalone VR mit Quest 3 oder Pico 4 Ultra).

Texturierung und Beleuchtung

Anschließend müssen sinnvolle Texturen zugewiesen werden. Dazu können einfache Materialien schnell selbst erstellt werden, z.B. einfarbige Metall- oder Kunststoffoberflächen. Für Holz, Ziegel, Marmor oder ähnliche Oberflächen sollte auf kostenlose Angebote wie von Polyhaven zurückgegriffen werden, wo nicht nur hochauflösende seamless textures angeboten werden, sondern auch Zusatzdaten für Normal Maps inklusive sind. Seamless bedeutet, dass man für größere Objekte keine Stoßkanten sieht, wenn der rechte Rand der 2D Texture an den linken Rand stößt und dies in der 3D Projektion prominent zu sehen ist. Die Normal Map simuliert den Lichteinfall bei rauen Oberflächen, die ungleichmäßig geformt sind und erhöht den Realitätsgrad erheblich, ohne nennenswerter Rechenzeit zu kosten.

Durch geeignete Beleuchtung werden die 3D Objekte in Szene gesetzt und durch Schatten zusätzlicher Realismus erzeugt. Auch hier gilt es wieder sich auf eine handhabbare Anzahl an Lichtquellen zu beschränken, da insb. die Schattenberechnung für viele Lichtquellen schnell die schnellsten Grafikkarten an ihre Grenzen führt. Ggfs. konzentriert man sich auf 1-3 Hauptlichtquellen, die Schatten erzeugen während alle weiteren Lichter ohne Schattenwurf konfiguriert werden.

Zusätzliche 3D-Objekte, die im Einsatz typischerweise zusammen mit dem Produkt verwendet würden, können den positiven Eindruck weiter verstärken.

Im Projekt wurden die im Produkt eingebauten LED-Lichtstreifen ohne Schattenwurf konzipiert, so dass zwar der Leuchteffekt deutlich wurde, die Rechenzeit sich jedoch in Grenzen hielt. Ansonsten wäre alleine für die zum Boden hin strahlende Beleuchtung in der Fußleiste zwei Dutzend Lichter zu berechnen gewesen.

Interaktivität

Vollends immersiv wird die Nutzung von Virtual Reality Anwendungen durch die Interaktion mit virtuellen Objekten. Einfach Dinge wie „in die Hand nehmen“ und „von allen Seiten betrachten“ lassen sich dabei mit Entwicklungsumgebungen wie Unity mit zwei Mausklicks realisieren. Dinge wie Türen oder Schubläden öffnen und schließen sind etwas aufwändiger, aber immer noch zugüg umgesetzt. Um den schrittweisen Zusammenbau eines Geräts aus Einzelteilen in VR halbwegs realistisch zu simulieren ist jedoch eine aufwändige Programmierung nötig, die in vielen Fällen das Budget insb. für KMU sprengen wird. Vielfach reicht es jedoch schon Größenverhältnisse durch die VR Simulation besser abschätzen zu können und z.B. die Ergonomie aus erster Hand überprüfen zu können.

Im Projekt konnte man z.B. durch die Tür des Infostandes gehen und somit das Produkt von innen aus Sicht des Mitarbeiters, sowie von außen durch die Augen des Kunden betrachten. Auch eine Einschätzung der Lesbarkeit von Infotexten auf dem Bildschirm des Terminals ist möglich, da die Größenverhältnisse sehr gut auf die reale Welt übertragbar sind.