Rapport Interaktivt golv på HUMlabX

Transkript

1 Rapport Interaktivt golv på HUMlabX Bakgrund Denna aktivitet har sin upprinnelse i ett ljudkonstverk som Ljudbild producerade. Ljudkonstverket bygger på en roman, Fyr, av Magnus Dahlström. Tanken på en vidareutveckling i form av en filmversion har dock funnits med sedan arbetet inleddes. Det hela aktualiserades när den interaktiva golvskärmen på HUMlabX färdigställdes. Idé/Syfte Under våren 2013 installeras ett interaktivt golv I HUMlab-X vid Umeå universitet. Många var spända på vad denna unika satsning kan innebära och vilka möjligheter till innovativa presentationer det erbjuder. Ljudbild ville tillsammans med Bautafilm och HUMlab-X undersöka detta och presentera resultaten för branschorganisationen UmeåCreative och dess medlemmar. Vi åstadkommer detta med en multimedial, interaktiv konstinstallation. Vi arbetar utifrån idén att, med romanen Fyr av Magnus Dahlström som inspirationskälla, skapa en miljö bestående av golvskärmen samt en väggprojektion. Vi använder oss av kinect-teknik som en betraktare/användare kan påverka genom sina rörelser. Genom att gå på golvskärmen kan betraktaren/användaren växla mellan olika filmsekvenser som i sin tur är knutna till ett antal ljudfiler. Beroende på hur betraktaren/användaren väljer att röra sig över golvskärmen kommer en berättelse att framträda i kombinationen av bild- och ljudsekvenser. Målsättningen är att varje betraktares/användares upplevelse ska vara så unik som möjligt och att verket i hög grad skall ta form utifrån varje enskild individ som interagerar med det. Vi anser det vara ytterst angeläget att i systemet möjliggöra en uppsjö av olika utfall. HUMlab bistår, förutom med spetsteknik, även med visst grundläggande stöd och gör en offentlig visning av projektresultatet möjligt på HUMlab-X. Syftet med denna aktivitet är att i förlängningen utveckla nya affärsområden och bereda väg för nationella och internationella uppdrag. Om det blir lyckat kan HUMlab-X bli en intressant miljö att hålla interaktiva presentationer i och kanske även för att utveckla nya produkter och tjänster. Allt som kan leda till ökat samarbete med sikte på fler och större gemensamma uppdrag för branschens företag borde väcka intresse. Vi ser stora möjligheter för regionens företag att dra nytta av de resultat aktiviteten ger i form av tekniska och nyskapande konstnärliga lösningar. Detta samarbete mellan konstnärer, filmare, spelutvecklare och andra i den digitala näringen innebär en stor konkurrensfördel. Bredden hos de anslutna företagen gör oss unika i ett vidare perspektiv. Flera företag anslutna till Umeå Creative arbetar med sensorstyrning och touchskärmar. Ett nyskapande förhållningssätt till tekniken främjar, enligt mig, dessa företag. Zordix, Botniafilm och Festival2014 finns bland dem som visat intresse för vår satsning. Genomförande/Mål Målet är att ta fram en prototyp till ett interaktivt film- och ljudkonstverk där betraktaren är en aktiv komponent I att utforma hur den konstnärliga gestaltningen ter sig. Med hjälp av rörelsestyrda golvskärmen i HUMlab-X i kombination med kinect-teknik skall betraktaren kunna interagera med och påverka ljud- och bildinslag i konstverket. Målsättningen är att en prototyp till detta skall kunna

2 presentaras inför inbjuden publik i slutet på augusti Därefter har en god grund lagts för fortsatt utvecklingsarbete med konceptet.prototypen kommer att vara anpassad till en person men möjligheter kommer att finnas att skala upp programmet till att kunna hantera input från flera användare/betraktare. På HUMlabX har vi tillgång till avancerad teknik för ljud, film och bild. Det tekniska arbetet i projektet leds av Jim Robertsson på HumLab. Hela denna produktion bygger på interaktivitet, besökarens medverkan till det färdiga resultatet. Vi kommer i projektet att använda oss av kinect för att styra rörlig bild och ljud. De inspelade, redigerade ljuden och de rörliga bilderna, installationens byggstenar, styrs av de närvarande genom att de rör sig i rummet. Sensorerna programmeras så att de reagerar på dessa rörelser och andra händelser. Verket är inte uppbyggt längs en statisk tidslinje, utan ljud och film är ordnade i lager på lager. Besökaren tillåts gräva sig ner genom och in i dessa och utforska ständigt nya, föränderliga världar. Möjligheterna är obegränsade, vi kan styra hur de inmatade ljuden och filmerna spelas upp. På samma sätt är, den i golvet placerade skärmen, känslig för publikens aktiviteter. Tekniker från HUMlab kommer att vara tillgängliga för projektet under våren/sommaren För den rörliga bilden anlitas filmaren Fredrik Oskarsson på Bautafilm i Umeå. Första steget är att sammanställa ett synopsis för ljud- och filmsekvenser. Därefter går vi igenom detta med filmaren och planerar det fortsatta arbetet. Under ledning av HUMlabs tekniker sätter vi oss in i tekniken, testar våra ideer och hittar lösningar på uppkomna problem. Teknikern sköter, efter våra anvisningar, programmeringen av sensorn kinect, som vi använder oss av för att styra installationen. Tillvägagångssätt Ljuden, som beskrivs även längre ner i rapporten, är hämtade från ljudverket Fyr. Hela verket är uppbyggt av dokumentära ljud. De består dels av egna fältinspelningar, dels är de hämtade från källor på Internet. De har sedan genomgått vidare redigering, mixning och processats till nästintill oigenkännlighet. Allt för att skapa den eftersträvade atmosfären och stämningen i ljudkompositionen. För att anpassa ljuden till aktiviteten på HUMlabX har de kortats ner och packats i sex kataloger. Programvara: Tracktion Sound studio Zoom H4n Mac Stillbilderna är tagna med en Nikon D90 Videosekvenserna är filmade med en Sony fs700 Valet av bilder är framför allt inspirerade utifrån berättelsen i Magnus Dahlströms litterära verk Fyr men även med utgångspunkt utifrån Kent Gustafssons ljudkonstverk som fanns tillgängligt under processens gång. Det subtila berättandet har hela tiden varit målet för det visuella. Vi har strävat efter att verket i sig är det som står i centrum för besökaren och inte hur du styr tekniken bakom. Det skulle inte vara övertydligt hur du påverkade bilderna med dina rörelser över skärmen utan snarare framkalla ett sökande i dem som försiktigt gör betraktaren medveten att hen påverkar berättelsen genom sina val. Från början arbetade jag enbart med video i skapandet av det visuella berättande på golvskärmen men efter ett antal första tester i dialog med Johan Von Boer vid HumLab så insåg vi att materialet

3 blev för tungt att hantera i den mjukvara han arbetade med. Vi kom fram till en lösning där vi delade in upplevelsen i fem stycken teman som byts efter 4minuters intervaller: 1. Hav I 2. Hav II 3. Inne I 4. Inne II 5. Snö I varje Tema använde oss av max 2-3st video filer i mpeg4 format (h264) och sedan 3-6 st stillbilder (jpeg). Storleken på stillbilderna påverkade inte processorkraften nämnvärt så där hade vi inga begränsningar. Genom uppdelningen av dessa teman fick vi dessutom en tydligare dramaturgi och ett flöde av bilder som visuellt följer varandra i färgskala och delvis i form. I och med den konstanta rörelsen som bilderna befinner sig i och att de flyter samman till unika kompositioner så upplevs sällan kontrasten mellan stillbild och video särskilt hård. Sedan valde vi att lägga en skugga över skärmen som påverkas av besökaren. Om ingen beträder skärmen lägger sig skuggan över bilderna men antyder att det finns något under. När besökaren sedan beträder golvytan så skingras skuggan utifrån hur personen rör sig över golvet och bilderna träder fram. Till verket producerades även ett antal längre videosekvenser i mpeg4 format (h264) som projicerades via en mediaspelare och projektor på väggen bakom golvskärmen. Dessa var inte påverkade av rörelser eller annat utan var ett statiskt komplement för att utöka rummet. Bilderna var unika landskapsbilder som inte förekom i golvskärmen men de var tagna under samma tillfällen och i samma miljöer vilket höll ihop dem med de övriga bildberättandet. Teknikspecifikation till projektet FYR: Tekniken till installationen av FYR kan delas in i två delar, bild och ljud. Bild: Bild och video till FYR installationen projiceras på HUMlabs interaktiva golvskärm, golvskärmen är en fast installation i HUMlab-X lokaler. Golvskärmen är på ca 4 x 5 meter och ligger infälld i HUMlab-X golv. Till golvskärmen finns ett touchsystem som kan ge en koordinat på vart personer befinner sig på skärmen. Visualiseringen drivs av OpenGL där stillbilder och video renderas ut som texturer på polygoner. Polygonerna sitter i ett ekvilibrium av olika krafter (liknande gravitation, magnetism, o.s.v.). Externt genererade krafter blåses sedan in i systemet på ett slumpmässigt sätt, vilket sviktar balansen och skapar en kedjereaktion av händelser som fortlöper tills dess att inbyggd friktion i systemet har återställt den jämna balansen, men då kanske i en ny konstellation. Bilder och video görs semi-transparenta från de yttre kanterna i fallande grad in mot en viss punkt genom appliceringen av en s.k. alfa-mask. Detta gör att stora delar av varje bild eller video, rent visuellt, kan blandas i realtid med andra bilder eller videor då de p.g.a. systemets krafter får överlappande positioner. Ovanpå lagret med bilder och videor ligger ytterligare ett lager av polygoner med en svart semitransparent textur som utgör de "mörka molnen". Moln-polygonerna har sitt eget system av krafter de förhåller sig till, inte helt olikt det som används för bilder och video. Enkelt uttryckt är molnpolygonerna sammanflätade på ett sådant sätt att de vill försöka hålla ett visst avstånd till varandra, samtidigt som de har en egen rörelsefrihet samt en skyldighet att svara mot externa krafter (användarens beröring). Detta resulterar i en moln- eller rök-liknande effekt där användarens

4 beröring av skärmytan kommer att uppmuntra moln-polygonerna att flytta sig ur vägen. Ju närmare beröringspunkten är ju större blir uppmuntran på en enskilda polygonen. Varje bild- eller video-polygon har även en inbyggd zoom-effekt som aktiveras då användaren står på polygonen. Effekten har en långsam start men ökar exponentiellt med tiden som användaren står kvar, upp till en viss punkt, och stängs sedan av under en begränsad tid. Bild/video-polygonen kommer därefter själv att eftersträva en normalisering av sin egen storlek. I visualiseringen ingår 5 teman. Varje tema är en uppsättning av bilder/videor. Visualiseringen växlar tema med intervaller om 3 minuter. Växlingen görs på ett tillräckligt långsamt och mjukt sätt för att de två temana kommer att blandas med varandra under en viss tid för att ytterligare utöka antalet variationer som är möjliga i visualiseringen. Programvara som använts: Processing 2 HUMlabs Golvsärm Touchsystem Pc Ljud: Redan innan denna installation av FYR så fanns det ett ljudkonstverk gjort av Kent Gustafsson som ktiviteten utgick ifrån. För att göra installationen unik och interaktiv så diskutera vi fram förslaget att ljudet skulle kunna spelas dynamiskt och av en mänsklig närvaro. För att detta skulle vara möjligt fick ljudkonstverket först delas upp i lite över 250 minde ljudfiler, dessa i sin tur delades in i sex kategorier. Dessa sex kategorier av ljud tänkte vi sen hämta och spela en ljudfil beroende på betraktaren av verket. För att göra interaktionen mellan mänsklig närvaro som ska trigga ljud så använde aktiviteten en sensor som heter Microsoft Kinect. Den sensorn har möjlighet att upptäcka en kropp och följa lederna i skelettet, den kan mäta avstånd från kroppen från platsen den är placerad på. Med den möjligheten så programmerades en Windows applikation till detta projekt, den använder sig av Kinect sensorn för trigga de olika ljudspåren sparade i de olika katalogerna. T.ex. kollar programmet hur betraktaren håller sina händer i relation till kroppen, om handen lyfts över axeln mot huvudet så kommer programmet att slumpmässigt leta upp ett ljud ur en specifik katalog och spela detta ljud från början till slut. Även avstånd från sensorn användes för att trigga ljudet, totalt sex olika rörelser och avstånd används för att spela dom 250 ljudfilerna. När det görs på detta vis så kommer ljudbilden av betraktaren bli en unik föreställning, ljuden som spelas upp beror först på hur aktiv betraktaren är. Och med slumpfaktorn från ljudkatalogen så ökar den variationen till den helt egna upplevelsen. Programvara som använts: Visual Studio 2012 Kinect SDK 1.7 Microsoft Kinect for Windows Pc

5 Framtiden Ett första steg i utvecklingen av golvskärmen har tagits. Vad som händer härnäst bestäms i stor grad av dem som återupptar detta utvecklingsarbete. Kan flera deltagare styra sensorerna? Kan ljud och bild fås att interagera på ett mer komplext vis? Förhoppningen är att nya tankar och ideer föds vid seminariet för branschen. När denna rapport skrivs är inte seminariet genomfört. Installationen kommer att visas hela september månad, jag får återkomma med inbjudan och rapport senare.