Diplomarbeit von Benjamin Rudolf Untergasse 2, 72116 Mssingen ben@total-ar.

com / MatrikelNr: 409098

Filmakademie Baden-Wrttemberg GmbH Animationsinstitut / PS/Q Interaktive Medien Medienkonzeption - WS 2011/2012

Abgabe: 28.02.2012 Betreuender Dozent: Inga von Staden

Die Vision Die Menschen Die Technik Der Prototyp

ber das Projekt TOTAL-AR Der Beginn unseres Vorhabens ist nun knapp zwei Jahre her und an jedem der dabei vergangenen Tage wunderte ich mich ber eine Sache. Warum wurde es nicht lngst zuvor umgesetzt? Whrend der ansteigenden AR-Hype-Phase durchforstete ich tglich das Netz, um auch kein Projekt zu verpassen. Ich fand einige knstlerisch und technisch spannende, aber hauptschlich am Markt orientierte Projekte. Vielleicht lag es daran, dass unser Projekt einerseits aus nichtkommerzieller Neugierde entstand und andererseits zu inhaltlich ist, um in der Forschung entwickelt zu werden, aber ich konnte kein anderes Projekt finden, welches die wirklich reine Absicht verfolgte, dem Menschen inhaltlich eine maximal erfahrbare Immersion zu bieten. Obwohl die ntigen Techniken seit Jahren im Netz lagen, kombinierte niemand Raum-Tracking mit einer Videospielengine. Geschweige denn, um damit eine narrative Erfahrung zu vermitteln.

The screen is a mirror. Smash it! Free the virtual! hange the human consciousness! C
TOTAL-AR Motto

Meine persnlichen Beweggrnde... ... dieses Projekt zu initiieren und voranzutreiben, sind in ihrem Ursprung ausschlielich philosophischer Neugierde zuzuschreiben. So haben die anderthalb Jahre am Thema der erweiterten Realitt zwar durchaus der Frage gegolten, wie diese Technologie effektiv eingesetzt werden kann und wie sie sich entwickeln wird. Aber die fr mich wirklich spannenden und auch wesentlich lnger anhaltenden Erkenntnisse liegen in einer tieferen Auseinandersetzung mit der anthropologischen Bedeutung von TOTAL-AR.

Die Vision

KERN
Creative Kernel
Die virtuelle Welt verschmilzt immer mehr mit der Realitt und es ist abzusehen, dass in den kommenden sechs Jahren die letzten groen Barrieren berwunden werden. Wir wollen diese Zukunft heute schon prototypisch erfahrbar machen und dabei erforschen, welche Auswirkungen und Mglichkeiten diese Entwicklung auf die Gesellschaft und den Umgang mit virtuellen Inhalten haben wird.

Mission Statement Unsere Motivation

Wir entwickeln eine Immersionstechnik, die es erlaubt, interaktive 3D Objekte rumlich przise und in Echtzeit in ein aufgenommenes Videobild zu integrieren. Gleichzeitig realisieren wir ein Brille um diese Inhalte direkt vor dem Auge darzustellen. In verschiedenen spielerischen und narrativen Szenarien, werden wir berprfen, ob eine solche Verschmelzung der Welten vom User angenommen wird und welche Wirkung sie auf ihn haben kann.

Die Denkweise einer Epoche orientiert sich immer an den ildern ihrer Technik und AR B ist ein mchtiges solches.
Benjamin Rudolf

Wir wollen Pionierarbeit leisten und aufzeigen, dass Augmented Reality schon heute ber Applikationen auf Smartphones hinaus ein enormes Potential besitzt. Die Erfahrungen, die wir in der Realisierung sammeln, werden uns einen Vorsprung darin geben, wie in diesem vernderten Realitts-Virtualitts-Kontinuum zuknftig konzipiert werden kann.

Benefit des Users

Whrend der User Augmented Reality bisher von seinem Smartphone kennt und dort Objekte nur auf einem Marker platziert oder per GPS (Accelerometer) in einer Richtung ausgerichtet sehen kann, wird er durch TOTAL-AR mit virtuellen Objekten interagieren knnen, die ein sehr przises Wissen ber den Raum besitzen und dadurch ein nie zuvor da gewesenes Immersionserlebnis erzeugen.

Wann ist AR total?

Die Bezeichnung TOTAL-AR wurde notwendig, um innerhalb des groen Spektrums von auftauchenden AR- Anwendungen ein spezielles Segment zu definieren und eine Grundlage fr Entwicklung und Diskurs zu liefern.

Der Kontrast zwischen real und virtuell wird versucht so weit wie mglich zu reduzieren. Objekte haben eine Ausdehnung, erklrbare Positionierung, Gre und Oberflche.

In der Anschauung

In der Imitation

Die virtuellen Objekte versuchen soweit wie mglich ein Bewusstsein ber die Gegebenheiten des realen Raumes zu besitzen. So z. B. ber Wnde, Lichtverhltnisse, physikalische Bercksichtigung von realen Objekten und Verdeckung durch diese.

3
4

Die Perspektive des Users muss dem gewohnten Sichtfeld entsprechen. Das Device soll nicht als Vermittler betont werden, wie z. B. beim Halten eines Smartphones.

In der Perspektive Inhaltlich

Es geht nicht um Darstellung! geht um Leben und Erfahrung! Es

Das AR-Segment, welches durch die Definition von TOTAL-AR beschrieben wird, trennt sich scharf von solchen der reinen Informationsvermittlung oder auch Anwendungen mit werkzeuglichem Charakter ab. Nicht jedoch, weil solche Nutzungen nicht ebenfalls mglich wren, sondern weil im Fokus ein emotionaler Faktor steht. Die erschlossenen Welten sollen der unseren nicht rein zweckdinglich sein, sondern sie mit ihrer Fremdartigkeit bereichern.

Wenn die Darstellungen einen narrativen, spielerischen oder sthetischen Aspekt besitzen und ein inhaltlichen Bezug zur realen Umgebung vorhanden ist.

Ein langer Weg

1968
Ivan Sutherland entwickelt an der Harvard Universitt das erste virtual- und augmented-reality head-mounted Display mit dem Namen The sword of Damocles. Sein Gewicht war so schwer, dass es hngend von der Decke getragen werden musste. (Bild rechte Seite) Thomas Caudell prgt den Begriff der Augmented Reality durch seine unterscheidende Definition zur virtuellen Realitt.

1992

1994

Paul Milgram und Fumio Kishino beschreiben das Realitts-Virtualitts-Kontinuum

1996
Jun Rekimoto realisiert eine Methode, Marker visuell zu identifizieren und 3D-Objekte darauf auszurichten.

1997
Die bis heute verwendete Definition von AR wird durch Ronald Azuma gesetzt. - Die virtuelle Realitt und die Realitt sind teilweise berlagert - Interaktivitt in Echtzeit (Abgrenzung zu Filmeffekten) - 3D-Objekte rumlich positioniert (Abgrenzung zu Overlays)

1999
Hirokazu Kato und Mark Billinghurst stellen mit AR-Toolkit ein Framework zur non-commercial Nutzung ins Netz und erffnen damit der weltweiten Community einen spielerischen Umgang mit AR.

olog y is fficiently advanced technArthur C. Clarke Any su indistinguishable from magic.

Whrend Technologien zur berblendenden Darstellung recht frh erforscht wurden, setzte erst Ende des letzten Jahrhunderts eine wissenschaftliche Errterung der Idee von AR ein. In den 90ern konnte durch GPS zwar die Funktion eines Kompasses erreicht werden, aber das Jahrzehnt musste fast vergehen, bis die Markertechnologie das rumliche Ausrichten ermglichte.

Die Zeit wird reif

2007
Mit dem iPhone lst sich die Computernutzung vom Schreibtisch und es entsteht ein Bewusstsein fr die Vorteile, Informationen jederzeit und berall an den realen Raum zu koppeln und darin einzublenden.

2008

Georg Klein verffentlicht mit PTAM den Source Code fr eines der bis dato mchtigsten TrackingTools. Ab jetzt kann eine Kamera ohne viel zustzliche Technologie korrekt im Raum lokalisiert werden.

2010
Mit der Einfhrung der Kinect in den Verbraucherbereich, wird der Tiefeninformation messende Prime-Sensor kostengnstig verfgbar und verndert unsere Interaktion im Raum.

2012
Innovega Inc verffentlicht seine fr die DARPA entwickelte Kontaktlinse und lst damit eines der grten Hindernisse zur Darstellung von AR im natrlichen Blickfeld. Nun kann sowohl die Ferne des Raumes als auch das Display einer Brille gleichzeitig fokussiert werden.

Durch die rasante Entwicklung von Handys zu Smartphones fanden alle notwendigen Technologien gleichzeitig in die Hand der breiten Masse. Augmented Reality wurde dem Endkonsumenten vertraut.

Trotz des Bewusstseins, das fr AR entsteht, fokussiert sich die Nutzung selbst 2012 auf die Einblendung von Informationen und kleine Spiele mit Markern. Die totale Verschmelzung bleibt aus.

2013
Eine ganze Reihe von Herstellern fhrt Lookthrough-Brillen in den Konsumenten-Bereich ein.

Trends & Tendenzen

Was aus der asiatischen Kultur schon bekannt ist, knnte sich auf eine hnliche Weise auch in der westlichen Welt ausbreiten. Eine Verlagerung der Spieler heraus aus dem Szenario des Einzelnen vor dem Bildschirm hinein in ein gemeinschaftliches Erlebnis im ffentlichen Raum. Whrend in den letzten Jahren die Spielekonsolenentwicklung jedem ermglichte, hoch qualitative Spiele zu Hause zu spielen, wrden TOTAL-AR-Games ihre Strke durch speziell konstruierte Environments erhalten. Vergleichbar mit Sporthallen, Skaterparks, Fitnessstudios oder Kinos, werden diese Orte aufgesucht, da sie ein fr den Konsumenten nicht privat reproduzierbares Erlebnis oder eine privat nicht erschwingliche Technologie bieten. In der von Videospielen durchdrungenen Kultur, zu der wir uns momentan entwickeln, haben solche Sammelpunkte ein groes Potential, die Nachfolger von Bowling-Bahnen und Billardhallen zu werden. Mittags ein Caf fr Freelancer, abends eine Bar mit umfangreichem Spieleangebot in mietbaren Separees. Wenn sich die Gesellschaft dahingehend entwickelt, dass die User nicht nur alleine vor ihrem Computer, sondern lieber gemeinsam in der ffentlichkeit spielen mchten, dann werden diese Hallen eine perfekte Grundlage fr TOTAL-AR bieten. Kontrollierbar gestaltbare Settings fr Spiele in kleinen Gruppen.

Der erste heute schon rentable Markt fr Augmented Reality liegt in mobilen Applikationen und entwickelt sich momentan rasant. Jupiter Research errechnete, dass der Markt in den kommenden Jahren von derzeit unter $2 Millionen auf $732 Millionen in vier Jahren anwachsen knnte. ABI research hat eine konservativere Prognose: $350 Millionen in 2014. Diese Schtzungen basieren auf folgenden Einnahme-Modellen: kaufen einer App, Nutzungsgebhren oder dem Erwerb einer bezahlten Premiumversion (ggfls mit Werbung).
Quelle:http://argency.eu/subdomains/blog/blog_html_code/?p=81 Bild:Jupiter Research

Momentan beobachten wir ein erstes Erfllen dieser Prognose und eine Branche, in der jeden dritten Tag ein weiterer technischer Durchbruch den Markt vorantreibt. Trotzdem halten wir diesen Hype fr eine gefhrliche berbewertung, da nur wenige Anwendungen neben dem anfangs auftretenden Wow-Effekt auch wirklich Sinn ergeben. Folgend Gartners Hype-Zyklus wird die AR-Entwicklung nach dem ansteigenden Hoch der berzogenen Erwartung in das Tal der Enttuschung fallen. Diese groe Depression wird aber hauptschlich den anfangs rentabel erscheinenden Markt fr Smartphones betreffen. In der Forschung und der Industrie, wo AR-Technologien sinnvoll eingesetzt werden knnen, wird sich der Entwicklungsschub allgemein positiv auf Software, Hardware und Innovation ausgewirkt haben und ein vernnftiges Wachstum erzeugen. Erst wenn erprobte Volumen-Trackingverfahren und Devices zum Tragen am Kopf Massenware werden, kann auch der Markt fr mobile Devices sein Tal berwinden.

Die Menschen

Die PrototypPrsentation
Wie kombinieren wir die gewonnen Ressourcen? Der fr einen User begehbare Prototyp wird von zwei Screens erweitert, wovon der erste ein Livebild des Geschehens nach auen und der zweite das virale Promotionvideo angereichert mit Zitaten zeigt. Gleichzeitig knnen User ihre eigenen Post-It-Gedanken um diese Screens anordnen.

Visionen Sammlung Inspirationen

Was denken fhrende Kpfe verschiedener Disziplinen darber? Wir sammeln die Assoziationen von Akademikern unterschiedlichster Fachrichtungen per E-Mail und live vor Ort User-Inspirationen auf Post-Its.

Quantitative Messung Viralitt Videomaterial & Zitate Prototyp & Erkenntnisse

Kann das Videomaterial im Netz faszinieren? Eine Messung der Begeisterung anhand der Verbreitung des Materials. (ber welchen Kontext und welche Milieus wird es verteilt?)

Promovideo
Post It

Qualitative Dokumentation
Welche Emotion entsteht beim ersten Kontakt? Wir sammeln auf Fragebgen und per Video Inspirationen und Emotionen, die aufkommen, wenn man Passanten der Fugngerzone durch die Brille schauen lsst.

Live

Usability Beobachtungen
Wie optimieren wir die Nutzung? Wir berprfen am Prototyp Strken und Schwchen im Umgang mit der Technologie und entwickeln mit Schauspielern deren Text in einer spielbaren PC-Version.

Wie wir inspirieren

Wie wir Emotionen messen

Was verstehst du unter Augmented Reality?

Die berlagerung von Realitt mit virtuellen Inhalten

65%
Das sind doch so Handy-Apps

Der Begriff ist mir unbekannt

30%

13%

Hast du jemals etwas hnliches wie TOTAL-AR gesehen oder erlebt?

60%

Nein (40% assoziieren es mit 3D-Kino oder Installationen)

hoffentlich mach ich nix

reales kaputt :D
Melanie Bochert * Bezogen auf 23 Personen die TOTAL-AR getestet haben. Von den Befragten im Alter zwischen 10 und 60 Jahren war der Groteil unter 34 Jahre alt.

sehr cool

Wenn schon die englische Bezeichnung unter den Befragten berwiegend bekannt ist, kann davon ausgegangen werden, dass das Prinzip der erweiterten Realitt einem noch wesentlich greren Publikum vertraut ist. Whrend die Mehrheit TOTAL-AR als eine absolut neue Erfahrung aufnimmt, gibt es auch viele

Vergleiche mit bekannten Immersions-Methoden wie 3D-Kino oder auch AR auf Smartphones. Somit lsst sich schlussfolgern, dass TOTAL-AR sich zwar erkennbar von sonstigem AR unterscheidet, aber ein Fokus darauf gelegt werden sollte, die Besonderheiten hervorzuheben und zu vermitteln.

Ich habe mich wie in einer anderen Welt gefhlt.

Jessica Keefer
Ja, die Idee einer virtuell erweiterten Welt fasziniert mich

78%

65%

Ja, ich habe frher schon davon getrumt, in meine Lieblingsfilme einzutauchen

Ja, ich wnsche mir mehr davon

76%

Ja, ich bin davon berzeugt, dass die Menschheit jede Chance nutzen wird, um weiter mit ihren Phantasiewelten zu verschmelzen

80%

Diese Zahlen sind die ausschlaggebensten der ganzen Umfrage, da deren Antworten nicht abhngig vom Projektverstndnis oder Vorstellungsvermgen der befragten Person sind. Die hier signifikant ausschlagenden Werte beziehen sich auf eine positive Emotion, welche grundstzlich mit AR, aber wesentlich mehr mit TOTAL-AR verbunden wird.

Es ist dieselbe Emotion, welche ber das Buch zum Film hin zu interaktiven Computerspielen fhrte. Dieses sehnschtige Verlangen immer weiter mit unseren Phantasiewelten zu verschmelzen, fordert es geradezu, dass wir die erschaffenen Welten nun aus ihrer Flchigkeit in den Raum entlassen.

*Ideensammlung der Befragten

54%

Hatten spontan eine Idee, was sie persnlich oder andere gerne in AR erleben wrden

Ja, ich wurde dazu angeregt, ber Wahrnehmung und Realitt nachzudenken

35%
Die Antworten auf die Frage nach dem Nutzen einer vielleicht zuknftigen Technologie sind nicht allzu ernst zu nehmen, wenn man folgende Aussagen von durchaus kompetenten Personen bedenkt: - US Prsident (1877) Wer braucht schon ein Telefon? - Daimler Es wird wohl in Zukunft nicht mehr als eine Million Autos geben - Warner (1927) Wer zum Teufel will denn schon Schauspieler reden hren? - J. Neumann (1949) Es scheint, dass wir die Grenzen dessen erreicht haben, was mit Computern mglich ist. Was wir jedoch aus den Antworten ableiten knnen ist, dass TOTAL-AR nicht zu abstrakt oder technisch ist, sondern intuitiv zu eigenen Ideen und sogar Projektfremden Gedanken anregen kann. Dieses Verstndnis ist eine grundlegende Bedingung, damit ein Technologie von den Menschen angenommen wird.

52%

Wurden inspiriert darber Nachzudenken, wie die Zukunft aussehen kann

Wo glaubst du knnte TOTAL-AR verwendet werden?

Platz 1

In Spielehallen
Platz 2

In der Forschung
Platz 3

In Freizeitparks

Platz 4

In Kunstinstallationen Im privaten Bereich

Platz 6

Platz 5

Im Theater Im ffentlichen Raum

Nicole Bettray
Die Technologie kann grundstzlich berall eingesetzt werden, wo ein Vorteil darin besteht, virtuelle Objekte in einer realen Umgebung zu betrachten, oder wenn ein Mehrwert daraus gewonnen werden kann, sich mit natrlichem Blickwinkel in diesen virtuellen Objekten oder um diese herum bewegen zu knnen. Dies kann der Fall sein, wenn die Objekte noch in einer Planungsphase sind, nicht vor Ort sein knnen oder wenn die Objekte in ihrer Besonderheit gar nicht real existieren. Darber hinaus besteht ein Nutzen auch dort, wo auf begrenztem Raum verschieden voluminse Inhalte prsentiert werden sollen.

Platz 7

So sieht die Zukunft der Spieleindustrie aus.

Wrdest du dir Kontaktlinsen einsetzen, um die Welt erweitert zu sehen?

Vielleicht

56%
9%

34%
Ja

Nein

Wrdest du eine Brille tragen, die mit einem Beamer die Erweiterung direkt ins Auge projiziert?
Nein

22%

48%
Ja

Vielleicht Im Gegensatz zu den letzten zehn Jahren, in denen der Markt fr Head-Mounted Displays hauptschlich damit kmpfte, HD in stilistisch tragbaren Brillen darzustellen, findet aktuell ein wirklicher Innovationsschub statt. Das Einblenden von Inhalten auf transparenten Glsern zieht in den Verbraucherbereich ein. Es gibt jedoch ein riesiges Missverstndnis, welches von der Industrie gerne weiter propagiert wird. So ist es nicht wie oft behauptet ohne weiteres mglich diese Brillen zum Betrachten einer erweiterten Realitt zu nutzen. Man bentigt zustzlich eine spezielle Kontaktlinse, da sonst nicht Nahes und Fernes gleichzeitig scharf fokussiert werden kann. Sollte dies zu einer Hrde fr den Massenmarkt werden, gibt es alternativ Konzepte, in denen ber kleine Projektoren direkt ins Auge projiziert wird.

30%

Ich bin Teil des Spiels.

Barbara Mnzmas

Die Technik

Entwicklung/Verlauf
Im Sommer 2010 experimentierte ich mit der OpenSource Software AR-Toolkit, welche es recht einfach ermglichte, 3D-Objekte auf Markern darzustellen. Besonders faszinierend war die Wirkung, die entstand, wenn ein Objekt zwar von einem Marker fixiert, aber nicht direkt auf ihm platziert wurde. Durch Zufall stie ich auf eine Fehlinterpretation im Code, welche es mir ermglichte, virtuelle Objekte durch reale Objekte zu verdecken. Dieser Effekt berzeugte mich, dass wesentlich mehr Immersion mglich sein musste. Ich fragte mich, warum ich im Netz nur Videos fand, bei denen AR auf dem Tisch platziert wurde. Wre es nicht problemlos mglich, AR-Inhalte in Menschengre zu zeigen? Im Herbst 2010 erklrte ich meinem damaligen Produzenten, dass ich ein Gebude mit so vielen AR-Markern ausstatten mchte, dass die virtuell berlagerte Welt stets einen Fixierungspunkt daran finden knnte. Wir begannen ber die Zukunft und markerloses Tracking zu phantasieren. Als er meinte, dass wir vielleicht auch eine solche Technologie nutzen knnten, erklrte ich ihn fr verrckt. Wir experimentierten im Rahmen unserer Mglichkeiten mit Markern in der Unity3D Engine. Jedoch fra der nur ber Umwege einzubindende Videostream alle Performance. Sowohl Begeisterung als auch Engagement von bitter ntigen Mitstudenten blieben aus und dem Projekt drohte das Ende. Im Frhjahr 2011 musste etwas geschehen und ich hatte im Internet einen noch recht unbekannten, offenen Code fr markerloses Tracking gefunden. Wenn dieser funktionieren wrde, knnten wir auch endlich Programmierer fr uns begeistern. Vllig fremd der Materie blieb mir nichts anderes brig, als mich drei Wochen lang in Linux und das Compilieren des Systems einzuarbeiten. Bis heute unverstndlich bleibt, warum es letztendlich funktioniert hat. Aber wir hatten pltzlich ein Tracking, wie es keiner von uns je gesehen hatte, und konnten damit Programmierer fr uns gewinnen. Jetzt konnte es losgehen.

Da unser Tracking an das Betriebssystem Linux gebunden war und wir fr unsere Ziele eine Videospiel-Engine ankoppeln wollten, endete unsere Suche nach einer solchen, als wir auf der FMX 2011 am Stand der Blender Organisation erfuhren, dass deren Software genau auf unsere Bedrfnisse passte. Es war eine Betriebssystem unabhngige, offene Struktur mit einer groen Community und ermglichte 3D-Modelle direkt in der Spieleumgebung zu bearbeiten. Obwohl es zu Beginn hie, dass die erste Hrde einer Videostreamimplementation schon einmal erfolgreich vorgenommen wurde, kostete uns dieser Schritt wegen einer kurz zuvor durchgefhrten API-nderung letztendlich ein weiteres halbes Jahr. Parallel dazu hatten wir einen Server geschrieben, der das Tracking mit der Engine verband. Im November 2011 war es uns zum ersten Mal mglich, ein virtuelles Wesen mit allen Vorteilen einer Videospiel-Engine in den Realraum einzublenden. Es war ein Urzeitmensch, aber mit ihm kamen die zeitgemen Mglichkeiten von Physiksimulation, Lichtkontrolle, einer 3D-Soundumgebung, Texturen, Animationssteuerung und Interaktion. Natrlich ergaben sich daraus viele weitere Probleme und schon allein der Verdeckungseffekt durch Realobjekte, welcher zu Beginn ja zufllig entstanden war, kostete in seiner Rekonstruktion nun mehrere Monate.

Technik- Aufbau
Bild

Webcam1 Webcam2
Die erste Webcam simuliert das natrliche Sichtfeld des Users. Ihr Bildmaterial wird direkt an die UserKamera der Videospielumgebung bermittelt. Umgekehrt zum Prinzip einer GreenBox wird es nun mglich, hinter virtuellen Objekten das Bild des echten Raumes darzustellen. Die zweite Webcam mit Fisheye-Objektiv nimmt soviel Orientierungspunkte im Raum auf wie mglich und bermittelt diesen Videostream an die Trackingsoftare PTAMM.

Codes
Das Trackingsystem PTAMM (Parallel Tracking and Multiple Mapping) Nach dem SLAM* Verfahren an der Robotic Research Group der Oxford Universitt von Georg Klein entwickelt, kann diese Software die Position einer Kamera ber mehrere Rume hinweg positionieren. Sie wurde auf der ISMAR 2007 zum ersten Mal der ffentlichkeit prsentiert und wird seit 2008, fr nichtkommerzielle Zwecke, offen im Internet weiterentwickelt. *SLAM (Simultaneous Localization and Parallel Mapping) ist eine Methode, mit der ein mobiler Roboter gleichzeitig eine Karte seiner Umgebung erstellen und seine Pose innerhalb dieser Karte schtzen kann.

Server fr Matrizenaustausch bermittelt Kamerabewegung an Engine. Videostream Implementation / Ohne die Darstellung eines LiveVideoBildes in der Engine wre es nur Virtual Reality. Importieren der Punktwolke / Hierdurch werden die markanten Punkte, die das Tracking im Raum gefunden hat, in der Engine sichtbar. Kamera Relations-Script / Um die virtuelle Welt nicht jedes Mal manuell auf der Realitt auszurichten, wird einmal die Punktwolke ausgerichtet und die ntige (Pos,Rot,Scale) auf die Kamera bertragen. StealthShader / Dieser Effekt ist ntig, um Virtuelles hinter realen Objekten verschwinden zu lassen. Optische Verzerrung / Die virtuelle Welt muss den optischen Verzerrungen des Realbilden angeglichen werden, um nicht seltsam unnatrlich zu wirken.

PositionsDaten

Bild

Engine

Tracking

Die Bewegung der zweiten Webcam ermglicht es dem Trackingprogramm PTAMM, markante Bildpunkte des Raumes in Relation zueinander zu setzen und durch die entstehende Parallaxenverschiebung deren Position zu berechnen. Solange nun gengend bekannte Punkte im Bild sind, beschreibt eine 4x3 Matrize przise die Position und Rotation der Kamera im Raum. bertragen auf die virtuelle Kamera der Engine vollzieht auch diese jede Kopfbewegung des Users. Die beiden Welten berlagern sich nun. Interaktionen finden traditionell via eines Bluetooth angeschlossenen Wii-Controllers statt.

Wii-controller

Wenn das Device nicht zum User kommt, baut der User sein eigenes
2011 haben wir alle im Verbrauchermarkt verfgbaren HMDs auf einen mglichen TOTAL-AR Einsatz berprft. Abgesehen davon, dass keine Handvoll AR fhig war, befanden sich diese, wenn nicht ausverkauft, in einem Preissegment zwischen 1.500 und 5.000 Euro. Schnell stellte sich heraus, dass die von uns angenehme Gewichtsverteilung gewnschten Eigenschaften nicht mit einem komplett abgedunkelt bereits erhtlichem Device zu erreichen waren und wir wesentlich abgestimmter planen Mgliche Anbringung von 2 Webcams konnten, wenn wir den Aufbau selber Stabiles Gerst zusammenstellten.

Die Cams

Das HMD

2 x Sony EyeToy (modifiziert) 1 x SkiBrille Sonderangebot 1 x Vuzix VR 920 (gebraucht) Folien, Kleber, Materialen ca.

30 Euro 15 Euro 145 Euro 20 Euro 210 Euro

Die Halterung

Die Sicht

Das ultimative TOTAL-AR Device

Wo liegt die Krux bei der Erschaffung des ultimativen AR-Devices der Zukunft?
(nicht TOTAL-AR)

einfache Handhabung natrliche Sicht Style

Wer mit seinem Device an den Massenmarkt der Smartphonebesitzer mchte, muss es mindestens so attraktiv wie das iPhone machen. Nur ein Statussymbol wird in der ffentlichkeit am Kopf getragen werden. AR-HMDs mit Monitoren gehren endgltig abgelst. Ein mglichst ungestrtes Sichtfeld ist anzustreben. Kontaktlinsen wren in diesem Sinne die nicht zu bertreffende Lsung, gefolgt von verschiedenen Brillenund Projektorlsungen. Die Hrde, sich eine Kontaktlinse einzusetzen, wird sehr wahrscheinlich verhindern, dass ein darauf angewiesenes Konzept den Massenmarkt erobern kann. Hierzu gehren auch alle Brillenlsungen. Das System Airscouter - Die Zukunft der AR-Devices? Der japanische Mischkonzern Brother hat 2010 in kleinen Stckzahlen sein Virtual-Retina-Display Airscouter vorgestellt. Hiermit werden die virtuellen Objekte direkt auf die Netzhaut des Auges projiziert. Dieser Schritt wurde notwendig, da die klassischen Head-Mounted Displays mit ihren vor dem Auge getragenen Bildschirmen den Blick einschrnkten, das Gefhl nahmen wirklich vor Ort zu sein und feinmanuelle Arbeiten mit den Hnden sehr erschwerten. Dieses System erlaubt nun ein natrliches Sichtfeld mit virtuellen Inhalten, die erst im Auge erzeugt werden. Jedoch fehlt zur virtuellen Erweiterung des kompletten Sichtfeldes noch einiges (momentan kann eine Flche so gro wie ein Computerbildschirm vor dem User eingeblendet werden). Darber hinaus ist die Anbringung des Projektors seitlich am Auge eine nicht alltagsfhige Lsung, welche bestimmt auch nicht sonderlich treffsicher ins Auge projiziert. Eine Kamera zur Analyse des Raumes ist in diesem Konzept nicht zu finden. Quelle: http://www.brother.com/en/news/2008/rid/

Das EyeTap - Die Zukunft der AR-Devices? Ein EyeTap ist ein dem Monokel hnliches Head-Mounted Display, das vor dem Auge getragen wird und im Gegensatz zu allen anderen AR-Techniken die Funktionen einer Kamera und eines Displays vereint. EyeTaps fangen einen Teil der einfallenden Lichtstrahlen ein und leiten diese ber ein Prisma an die Kamera weiter. Das Bild wird getrackt, virtuell erweitert und ber einen Projektor zurck in das Prisma projiziert. Die Lichtstrahlen landen an derselben Stelle, an der sie zuvor entnommen wurden und berlagern damit die ursprngliche Szene. In das Auge fallen letztendlich also sowohl Lichtstrahlen, die das EyeTap ungendert passieren, als auch knstlich erzeugte Lichtstrahlen. Dadurch ergibt sich eine saubere, transparente berlagerung des realen und des computererzeugten Bildes. Quelle: http://de.wikipedia.org/wiki/Eyetap

Das smarte It-Device - Die Zukunft der AR? Ken Perlin, Professor fr Computer Wissenschaft an der NYU formuliert die Anforderung an ein AR-Device fr den Massenmarkt vollkommen realistisch, wenn er sagt, dass es unabhngig von der Technologie schlicht und einfach so sexy sein muss, dass es zu einem IT-Device wird. Einem Gert, das attraktiv genug ist, um zu einem Statussymbol werden zu knnen und im Alltag keine Beschrnkungen mit sich bringt. Deshalb vertritt er die Theorie, dass das Gert sich nicht im Gesichtsfeld des Users befinden sollte und Augenkontakt wie gewohnt mglich bleibt. Perlin, der selbst an der Entwicklung eines solchen Gertes mitarbeitet, schtzt ein, dass sie bis 2016 direkt ins Auge projizieren knnen und hierfr kein greres Gert bentigen, als man es heute von Bluetooth-Headsets gewohnt ist. Ein Projektor wrde ber einen kleinen Spiegel neben dem Auge Wellenlngen an eine Kontaktlinse bermitteln, welche diese dann korrekt im Auge platziert. Quelle: http://blog.kenperlin.com/

VUZIXs Lookthrough-Brille - Die Zukunft der AR-Devices? Nachdem Vuzix Ende 2011 einen zukunftsweisenden Vertrag mit dem amerikanischen Militr abschloss, wurde kurz darauf bekannt, dass der HMD-Hersteller bis Sommer 2013 in Kooperation mit NOKIA die gewonnenen Erkenntnisse auch auf ein Verbraucherprodukt anwenden will. Zwar hat die Firma Lumus aktuell schon eine erste Lookthrough-Brille mit HD-Auflsung im Verbraucherbereich verffentlicht, aber von einem Giganten wie Vuzix wird nun erwartet, dies auch mit einem Konzept zu tun. Schon allein optisch wre dies die erste vernnftig anwendbare Lookthrough-Brille, mit der sich ein Mensch auerhalb seines Hauses bewegen mchte. Dass Vuzix weiter denkt, ist auch daran festzustellen, dass die Brille ber zwei Kameras verfgen soll (links und rechts am Bgel). Das Problem der Fokussierung wird hierdurch jedoch noch nicht gelst. Der Blick wird entweder durch die Brille in den realen Raum fokussieren oder man konzentriert sich auf die berlagerten Inhalte der Brille. Eine Lsung bietet jedoch die Kombination mit einer Kontaktlinse (zweite Idee rechte Seite). Quelle: http://www.chipchick.com/2012/01/vuzix-smart-glasses-technology.html

Zwei Ideen einer Kontaktlinse - Die Zukunft der AR-Devices? Eine weitere Alternative fr AR-Darstellungen wird momentan an der Universitt Washington erforscht. Die dortigen Forscher wollen ein Display als Kontaktlinse herstellen. Es ist wenig davon bekannt, aber man stellt sich Fragen wie z.B. nach Energieversorgung, ob die LEDs nicht vllig berstrahlen, ber welche Kamera getrackt werden soll oder ob das Auge dann Virtuelles als auch Realitt gleichzeitig fokussieren kann? Wesentlich verstndlicher und erfolgsversprechender klingt das Produkt der Firma Innovega. Diese entwickelte fr das Verteidigungsministerium eine Kontaktlinse, welche sowohl die Nhe als auch Fernes gleichzeitig scharf sehen lsst. Dies ergibt zusammen mit den Kooperationsplnen zwischen VUZIX und dem Militr eine perfekte Kombination. Die Technik wird komplett in komfortabel tragbare und austauschbare Brillen integriert, whrend die Kontaktlinse ausschlielich das Problem der Fokussierung lst. Quelle: http://www.justgetthere.us/blog/archives/Augmented-Reality-in-a-Contact-Lens.html

Der Prototyp

Das inhaltliche Szenario muss:

1. einen Bezug zur Befreiung der Medien aufweisen.
Wenn die Funktion der Technik inhaltlich aufgegriffen wird, kann ihre Bedeutung dem User auch bildlich und narrativ ermittelt werden.

2. flexibel genug sein um die Tech-Demo nicht einzuschrnken.

Es darf kein gern zu zeigendes Anwendungsbeispiel geben, welches nicht in unser Szenario integrierbar ist.

3. flexibel auf Techniknderungen reagieren knnen.

Der Inhalt sollte nicht zu abhngig von den teils unkalkulierbaren Fortschritten der Technik sein und stets einen alternativen Weg nutzen knnen

4. sowohl fr User mit umfangreichem als auch beschrnktem Zeitvolumen funktionieren.

Der narrative Anteil sollte sich eher wie eine Serie als wie ein Film verhalten. Selbst einzelne Elemente sollten ohne den gesamten berblick verstndlich sein.

Um nicht auf ein spezielles Gebude oder einen Raum angewiesen zu sein, sollte sich die Geschichte in mglichst verschiedene Umgebungen einbetten knnen.

5. unabhngig vom Setting sein.

6. ressourcenabhngig skalierbar sein.

Die Herausforderung eine Tech-Demo so zu konzipieren, dass verschiedenste Bilder und Funktionen als ein zusammenhngendes Erlebnis wahrgenommen werden, lsten wir durch eine simple Rahmenhandlung. Schnell fhrte uns die Analogie des Zappings zu der Idee, dass ein explodierender Fernseher verschiedene Kanle in die Realitt entlsst. Gleichzeitig bentigte es eine Operator-Person, welche durch das Erlebnis fhrt, Anweisungen gibt, aber auch einen inhaltlichen Bezug zum Geschehen besitzt. Diese fanden wir in dem kleinen tollpatschigen Roboter T.E.D.. Dadurch, dass er die komplette Prsentation begleitet, gibt er uns die Mglichkeit auerhalb des Raumes das Geschehen zu beobachten, ohne den User in seiner Immersion zu stren.

Bei wechselnden Zeit-Ressourcenbedingungen als auch bei unerwarteten Verzgerungen ist es notwendig, das Szenario modular reduzieren zu knnen. So kann auch zu einem spteren Zeitpunkt daran weiter angeknpft werden.

7. eine intuitive Interaktion besitzen.

Da sich der User ohne groe Einfhrung zurechtfinden soll und die komplette Navigation auf natrlichem Wege funktioniert, werden alle Interaktionen mit maximal zwei Tasten auszufhren sein.

Whrend die Prsentation recht unspektakulr beginnt und der User denken knnte, dass der Roboter einem lediglich die Darstellung von 3D-Objekten im Raum erklren will, dient dieses erste Level in Wirklichkeit nur als Vorbereitung. Sobald sich der User mit der ungewohnten Sichtweise und der Steuerung vertraut gemacht hat, wird der Roboter ungehorsam und verleitet dazu, eine angeblich noch geheime Anwendung zu testen. Dem User steht nun frei

mit einer Steinschleuder an verschiedenen virtuellen Objekten seine Zielgenauigkeit zu erproben. Whrend der Roboter kaputtgehende Objekte hinnehmend kommentiert, warnt er davor, dass dies mit dem im Raum befindlichen Fernseher nicht passieren darf. Fest mit der Neugierde des Users rechnend, beginnt das wirkliche Abenteuer damit, dass er den Anweisungen nicht folgend doch auf das Gert schiet und mit der Explosion des Bildschirmes verschiedene TV-Inhalte in den Raum entlsst.

Der Roboter, welcher total aufgebracht reagiert, verdeutlicht subliminal dass dies nicht Teil der Prsentation ist. Der User wird hierdurch vllig berrascht in eine Ebene gezogen, welche ihn in vollem Kontrast nicht mehr als Gast, sondern hauptschlichen Akteur versteht. Als Motivation dient das spielerische Element, die Scherben des Bildschirms in den verschiedenen Leveln aufzusammeln und zur Rettung der Situation wieder zusammenzusetzen.

Die Scherben knnen ber beliebig viele Levels hinweg als Belohnung fr unterschiedlichste Aufgaben dienen. Bis zum Diplom wurden neben der Rahmenhandlung zwei dieser Senderkonzepte umgesetzt. Der Prototyp endet auf aktuellem Stand damit, dass nach einem knapp berlebten DschungelAbenteuer und einer abgewehrten Alieninvasion der Fernseher repariert ist und der Roboter den User froh und wtend zugleich des Raumes verweist.

Wie geht es weiter?

Ein Werkzeug zur Vorvisualisierung von 3D-Effekten als kommerziell anwendbares Nebenprodukt Da in der Filmindustrie ein erheblicher Vorteil entsteht, wenn der Regisseur schon am Drehset die sonst blich spter eingefgten Effekte in seiner Kamera betrachten kann, haben wir schon zu Begin des Projektes Kamera-Studenten durch noch nicht gebaute Filmsets gehen lassen um zu erproben, ob ein Vorteil darin besteht Kamerafahrten frher planen zu knnen, oder konzeptuelle Schwachstellen im Setbau frher zu erkennen. Nach einer Besttigung des Vorteils, haben wir diesen Schwerpunkt in ein zweites Projekt ausgelagert. Dieses auf dem selben AR-Prinzip beruhende Werkzeug wurde durch mehrere Stipendia gefrdert und wird momentan parallel zu TOTAL-AR in der Forschungsabteilung des Animationsinstitutes weitergefhrt.

Interessenbekundung aus Industrie und Pdagogik Schon whrend der Entwicklung unseres Projektes kooperierten wir mit der VISENSO GmbH, welche ausdrckliches Interesse daran bekundete die TOTAL-AR Technologie sowie das Know-How unseres Projektes anwenden und weiterfhren zu wollen Die VISENSO GmbH, Stuttgart, ist einer der fhrenden Anbieter von Visualisierungs- und Virtual-Reality (VR) sowie Augmented Reality (AR) Komplettlsungen (Soft- und Hardware). Das Unternehmen entwickelt Individuallsungen fr den Aufbau interaktiver 3D-Stereo Erfahrungswelten im Bereich Produktentwicklung (Immersive Engineering), Marketing und Sales (Immersive Selling), Kunst (Immersive Art) sowie im Bildungsbereich (Immersive Teaching).

Franziska Remmele lead producer

Benjamin Rudolf creative director

Stephan Konegen second producer

Felix Bucella technical director

Martin Schwarz programmer

Thomas Krger game programmer

Sven Prohm 3D artist

Fabian Schaub game designer

Katrin Schweiger composer

Benjamin Lew-Klon actor

Markus Staender writer

Michael Mller motion designer

Quellen:
Infos zur Geschichte von AR: https://www.icg.tugraz.at/~daniel/HistoryOfMobileAR/ Bild Hand durch Spiegel: http://laprimeramirada.blogspot.com/2010_09_01_archive.html Bild Sword of Damocles: http://www.zakros.com/ucb/histS99/Notes/Class6/SutherlandHMD2.jpeg Bild Smartphone AR: http://portfolio.getdesigned.at/wp-content/uploads/2010/03/maria_02.png Bild Spielekultur: http://www.joergspielt.de/wp-content/uploads/wii-test_02.jpg Bild Museum: http://www.nmn.de/fotos_architektur.0.html Bild Airscouter: http://www.brother.com/en/news/2010/airscouter/ Bild Eyetap: http://it-material.de/2010/02/eyetap-ein-extrem-kleines-head-mounted-display-fur-erweiterte-realitat/ Bild Kontaktlinse: http://www.instablogsimages.com/images/2010/03/17/con3_RZbhc_58.jpg

Das Merkwrdigste an der Zukunft ist wohl die Vorstellung, da man unsere Zeit spter die gute alte Zeit nennen wird.
Melanie Bochert

Bild It-Device: http://blog.kenperlin.com/ Bild Vuzix Blade: http://www.chipchick.com/2012/01/vuzix-smart-glasses-technology.html Bild Cyberclassroom Quelle: VISENSO GmbH Bild Retro Stil Tnzer http://www.thefutureisawesome.com/category/augmented-reality/

John Steinbeck

www.total-ar.com Facebook: TOTAL-AR Twitter: @TOTALaugmented YouTubeKanal: TOTALaugmented