Projektredovisning Digital Närvaro 1. Projektidé Projektet Digital Närvaro sammanför 3D-animation, film och scenkonst. Vi utforskar potentialen i liveframförd föreställning där man blandar verkliga och digitala karaktärer och miljöer. Det skådespelarna gör på scenen speglas med 3D teknik i realtid på en projektion på delar av scenografin. Det teatrala nuet flyttar in i filmens värld, mitt framför ögonen på publiken. De digitala avatarerna kan förändras, mångdubblas, byta skepnad och flytta in i vilka miljöer som helst. Gestaltningen kan kan röra sig fritt mellan den digitala och fysiska världen. Allt har smält samman; scenen, salongen och den digitala närvaron. Vi har de senaste åren utvecklat en teknisk plattform som med hjälp av motion capture skapar 3D animationer i realtid som kan kombineras med film. Projektet sammanför tekniken med nyckelaktörer inom scenkonst i en serie workshops i syfte att utforska dess konstnärliga potential och uttryck. 2. Bakgrund, Drivkrafter och motiv I filmens värld har datorgenererade karaktärer och miljöer (Computer Generated Imagery, CGI) blivit en integrerad del av historieberättandet, särskillt i storbudgetproduktioner riktade för en massmarknad. Utvecklingen inom motion capture- och dataspelsindustrin har nu möjliggjort att man kan göra liveframträdanden med animerade 3D-karaktärer. Sådan teknik användes till exempel i filmen Avatar där den digitala skepnaden av skådespelare spelades in med en virtuell kamera och gav direkt feedback till skådespelare, fotograf och regisör om hur scenen ser ut i den datorgenererade världen. Liknande utrustning som den som användes i Avatar har nu gått ner i pris tillräckligt mycket för att vara tillgänglig för kulturaktörer med en mer begränsad budget, som till exempel teatrar (och utövare av annan scenkonst). Hittills har användandet av digital 3D-animation i scenkonst varit marginell. Vi vill med detta projekt utforska de kreativa möjligheter som 3D mediet har att erbjuda samt hur det kan användas på ett konstnärligt friare sätt än i storbudgetfilmer och -dataspel. Initiativtagaren till projektet, Simon Alexanderson, har en bakgrund i dataspels- och motion capture industrin och forskar nu på KTH i icke-verbal kommunikation och animering av
kroppsspråk på digitala avatarer. Simon har utvecklat den tekniska plattformen som kommer att användas i projektet, se beskrivning nedan. Projektets kärngrupp består även av Henrik Bäckbro och Filip Alexanderson. Henrik Bäckbro är mimare och dockspelare och den drivande kraften bakom Pulp Puppets. Pulp puppets gör innovativa föreställningar där dockor, film och greenscreen möts och skapar en direktsänd film inför publiken. Pulp puppets pågående föreställning stöds av Konstnärsnämnden, Innovativ Kultur genom Crowdculture och Kulturbryggan. Filip Alexanderson är skådespelare på Dramaten och driver tillsammans med regissören Ellen Lamm Teater Hemma hos, som gjort flera uppmärksammade uppsättningar, bla De onda barnen, Loranga, Masarin och Dartanjag och nu senast Brev från Eric Ericson. Mötet mellan olika konstformer har alltid intresserat honom och just nu jobbar han på att introducera projektet på Dramatens experimentscen (Dramaten &). Den tekniska plattformen, utvecklad av Simon Alexanderson, skapar realtidsproducerade filmer i sk mixed reality, som ger en komibinerad bild av en reell- (filmad) och virtuell verklighet. Med hjälp av huvudmonterade kameror kan skådespelares ansikten projiceras på digitala avatarer som styrs av dem själva och/eller dockspelare. Avatarernas kroppsrörelser skapas genom att med motion capture-teknik antingen spela in skådespelarnas egna rörelser eller ett skelett som manipuleras av en dockspelare (se bild nedan). Kombinationen möjliggör avatarer med ett brett känsloregister av ansiktsuttryck och mimik från skådespelarna, och utnyttjar samtidigt dockspelarens förmåga att levandegöra döda objekt. Förutom karaktärerna kan även scenografi, spefialeffekter och virtuella kameror manipuleras live. En kameraman filmar den datorgenererade världen med flera kameror och möjliga kameravinklar, redigeringen sker direkt och presenteras för publik på en skärm eller på delar av den fysiska scenografin. Tekniken möjliggör en kombination av gestaltning från både filmens, teaterns och animationens värld. Scener kan utspelas i vilka miljöer som helst och skådespelarna kan välja fysisk gestalt ur en digital garderob, allt med direkttillgång till datorgenererade specialeffekter. 3. Förnyelse Förnyelse inom teatern: Användantet av motion-capture teknik inom teatern är relativt nytt, och området är inte väl utforskat. Projektet bjöd in skådespelare, mimare, regisörer, dockspelare, dansare och koreografer till workshoparna och gav dem möjlighet att utforska hur motion capture-teknik kan användas inom scenkonst ur deras perspektiv. Detta ledde till en grundlig genomlysning av teknikens möjligheter och begränsningar från ett brett scenkonstprespektiv, samt gav möjlighet för de inbjudna att få insikter och kunskaper om tekniken. Resultatet har även dokumeterats och finns tillgängligt på projektets hemsida. Inom workshoparna manipulerades de digitala karaktärer i realtid genom tekniker från objekt- och dockteater, mim, och skådespeleri. Ett flertal av dessa manipulations- och animationstekniker är nyutvecklade och möjliggjordes genom nyligen framtagna forskningsresultat från KTH.
Projektet skapade ett nätverk mellan tekniska- och konstnärliga forksare samt aktörer inom scenkonst i Stockholm. Förnyelse inom animation och motion capture: Motion-capture används traditionellt för att skapa realistiska 3-dimensionella figurer i 3- dimensionella miljöer för bruk inom film och dataspel. Till skillnad mot dessa medier har man inom live-animation ingen möjlighet till postproduktion, vilket minskar förutsättningarna för den naturalistiska gestaltning som är vanligast förekommande. I projektet undersöktes gestaltningsmetoder med utgångspunkt i stiliserade uttryck som är inom fysisk teater, mim och dockteater. 4. Samverkan Vem/vilka: I vilken form: Akademi, forskning och högre utbildning KTH Tal Musik Hörsel: Jonas Beskow, Kalin Stefanov, Simon Alexanderson. StDH: Alejandro Bonnet, Gustav Nordmark, Nils Claesson, Mirkko Lempert. Södertörns Högskola: Alexandra Sundell Samarbetet med KTH gav tillgång till expertis och teknisk utrustning inom motion capture. Vi utvecklade algoritmer för processning och mappning av rörelser till virtuella objekt- och karaktärer i samarbete med KTH. StDH: Nils Claesson och Mirkko Lempert medverkade i en workshop och gav input till projektet inom animation och crossmedia. Nils var moderator i diskussioner Näringsliv Kulturaktörer: Ellen Lamm (Regissör) Sara Bexell (Dockspelare) Christian Hillborg Kalle Jacobsson Tina Råborg Ola Björkman Åsa Unander-Scharin (Dansare/Koreograf) Amanda Magnusson (Dockspelare) Andreas Braula (Dockspelare) Medverkare på workshopar samt i föreställing. Övriga offentliga aktörer Dramaten Riksteatern (Scen utan gränser) Dramaten tillhandahöll lokaler för workshopar och slutredovisning, samt gav produktionsstöd i form av producent, Tove Aspelind, tekniker, Magnus Pettersson. Samarbetet med Dramaten gav också stöd i form av spridning till allmänheten via Dramatens hemsida och blogg, samt biljettförsäljning och presskontakt i samband med pilotföreställningen. Riksteatern medverkade genom Ann-Chatrine
i samband med slutföreställningen på Dramaten. Alejandro Bonnet (mimlärare) medverkade i workshop1 och i pilotföreställningen. Gustav Nordmark var ljuddesigner och medverkarde i workshop2 och pilotföreställning. Fröjdöö i workshopar. I vilket syfte: Södertörn: Alexandra Sundell bistod med 3D modellering och Grafisk formgivning för pilotföreställningen. Syftet med samarbetena var för projektet att få teoretisk och tekniskt stöd och råd samt ökade resurser och gemensamt utforskande. Utökade samarbeten mellan högskolorna. Kunskapsutbyte och gemensamt utforskande. Kunskapsutbyte och gemensamt utforskande. Utvärdering av teknikens potential inför publik. Gemensamma resurser. 5. Genomförande Projektet har som övergripande syfte att: - Utforska potentialen i en föreställning där man blandar verkliga och realtidsanimerade karaktärer. Under projektet skall följande genomföras: - Undersöka de tekniska landvinningarna inom området. - Ett antal workshops för att sammanföra tekniken med nyckelaktörer inom scenkonst - En pilotföreställning för att demonstrera möjligheterna speciellt vad gäller scenkonsten. Projektets utförande 2011: November-December: Möten med scenkonstnärer, scenografer och regisörer. Sammansättning av en idégrupp för stöd i projektet. Fördjupad undersökning i hur tekniken har använts i referensprojekt. 2012: Januari: Introduktion till tekniken för samarbetspartnera, demonstration av tekniken i KTH:s mocap-studio. Februari-Mars: Teknisk utveckling, implementation av rörelseigenkänningsalgoritmer från KTH, 3D-modellering.
26-29 Mars: Workshop1 Live-animation av digitala karaktärer, fokus på manipulation och uttryck. Medverkande: Åsa Unander-Scharin, Alejandro Bonnet, Amanda Magnusson, Henrik Bäckbro, Filip Alexanderson, Simon Alexanderson. Redovisning och diskussioner med Ellen Lamm (regisör), Helena Seth (Dramaten&) och Andreas Braula (dockspelare). Maj: Preparation av workshop 2 i samarbete med Ellen Lamm. Val av scenografi, karaktärer och digital miljö. Teknisk utveckling. 11-15 Juni: Workshop2 - Scenisk gestaltning. Undersöknade om hur fysiska skådespelare och digitala karaktärer möts på scen. Medverkande: Ellen Lamm (regissör), Gustav Nordmark (ljud StDH), Sara Bexell (Dockspelare), Christian Hillborg, Kalle Jacobsson, Tina Råborg, Ola Björkman, Henrik Bäckbro(Dockspelare), Filip Alexanderson, Nils Claesson (Animationsforskare StDH), Mirkko Lempert (Cross-media StDH), Simon Alexanderson (KTH). Oktober-November: 3D modellering i samarbete med Alexandra Sundell (Södertörn), teknisk utveckling 2-18 December: Repetition av slutredovisning. Föreställning två kvällar i Dramatens tornrum med efterföljande dissuktioner modererade av Nils Claesson från StDH. 2013 Januari-April: Sammanställning av dokumentation. Skapa hemsida. Dissemination. 6. Resultat & effekter Förväntning (citat från projektansökan) Det övergripande syftet med projektet var att utforska hur traditionell scenkonst kan se ut och utvecklas i mötet med en digital värld. Det konkreta resultatet i form av en pilotföreställning kan användas i skapandet av en fullskalig föreställning för publik. Vi förväntar oss dessutom att nya processer och idéer skapas i möte mellan forskare, animatörer, scenkonstnärer och filmare, som kan bidra till både teknikutveckling och innovativa konstnärliga uttryck såväl som forskningsfrågor. En synergieffekt av projektet är en platform för vidare samarbete mellan berörda parter. Utfall: Resultaten från projektet uppfyllde till stora delar projektets förväntningar. Workshop-processen var fruktsam och idéer som framkom under dessa vidareutvecklades till efterkommande faser. Projektet har ledd till en fördjupad kunskap i teknikens möjligheter och begränsningar vilket lett fram till en pilotföreställning som har testats mot publik. Slutredovisningen av projektet på Dramaten var fullsatt och mycket uppskattad av publiken. Särskillt noteringsvärt var den stora uppskattningen från den yngsta publiken. Detta ger stöd till projektets förväntningar om tillämpningar för en yngre publik. Speciellt fruktbar har utbytet med fysisk teater varit, och projektet har visat på nya användningsområden och aktualisering av mim- och dockteater. Utbytet med danskonsten visade på goda synergier, men begränsades till viss del av prestandan hos det motioncapture system som vi använde. Vidare har projektet skapat kontaktytor mellan forskare och scenkonstnärer. Ett flertal nya idéer om hur tekniken kan användas på scen har framkommit under projektets gång, vilket lett till vidareutveckling av tekniken och nya forkningsfrågor (se kapitel 7).
Projektet uppmärksammades i media via en artikln Den digitala estradören av Hanna Fahl i DN-kultur 2012-06-17, samt i artikeln Digital dockteater på Dramaten av Magdalena Forsblad tidningen Scen och Film, februari 2013. Presentationer om projektet har hållits på för Cross-media utbildningen på StDH samt på teaterdagarna 2013 på Riksteatern. Beskriv vilken skillnad projektet gjort för deltagarna i projektet, för ert verksamhetsområde, för näringsliv, forskning och Stockholmsregionen. 7. Fortsättning Projektet har genererat nya samarbeten mellan StDH och KTH och Dramaten, vilket har generarat ett flertal nya projektansökningar. Alejandro Bonnet har fått stöd för ett nytt utforskande projekt på StDH inom motion-capture tillsammans med Mathew Allen, Henrik Bäckbro, Sara Bexell och Simon Alexanderson. På KTH (TMH) har en ansökan skrivits tillsammans med StDH för att utforska hur mim-gestaltning kan generera kommunikativa gester för robotar. Animationsprogrammet på StDH har uttryckt önskemål om samarbete med KTH. Projektgruppen har utfromat ett fortsättningsprojekt, Den Levande Animationen, i sammarbete med konstnärerna Eric Ericsson och Jonas Dahlström, ett projekt som nu har fått stöd och påbörjats. Ett samarbete med Centre for Practise as Research in Theatre (T7) vid Tampere Universitet i Finland har etablerats och vi kommer att medverka i en workshop inom projektet VIMMA sommaren 2013. 8. Övrigt Se www.cabaretelectrique.se för projektdokumentation.