Digitalt arkiv lagrar dans i 3 dimensioner

Digitalt arkiv lagrar dans i 3 dimensioner madeleine hjort & åsa unander-scharin Digitalt arkiv lagrar dans i 3 dimensioner Arkivverksamheten handlar ju om att ta hand om information i olika former. Det är då viktigt att känna till metoderna för att dokumentera olika företeelser. Den här artikeln handlar om nya metoder att dokumentera dans. Författarna är verksamma vid Musikhögskolan i Piteå, Luleå tekniska universitet. Ett webbaserat rörelsearkiv är under konstruktion och har som främsta mål att öka tillgängligheten till nutida dans och koreografi. I webbarkivet kommer det dokumentära materialet att visas i tredimensionella visualiseringar (3D) och som digitalisering av befintligt dokumentärt material: koreografiska verk på video med tillhörande musik/ljud, foto och därtill en mängd textmaterial. Med infraröda kameror dokumenteras den dansande kroppens rörelser och förflyttningar i rummet. Tekniken som används kallas motion capture, och kan fånga, registrera och därmed bevara den mänskliga rörelsens tre dimensioner på sätt som tidigare inte varit möjligt. Motion capture teknologin är ett dynamiskt svar på ett svårfångat område: dokumentation av nutida dans och koreografi. Koreografi och dans är komponerad rörelse som rör sig genom den dansande kroppens och scenrummets tre dimensioner. Med video och fotografi fångas endast två dimensioner, den tredje dimensionen är ett eget perceptuellt tillägg som varje betraktaren gör. När vi vill studera eller rekonstruera ett dansverk, räcker det inte med video och fotografi för att fånga alla perspektiv. Det som är intressant att fånga och registrera är just kroppens rörlighet och förflyttning, kvalitéer som utgör dansens kärna och på samma gång problematik. Motion capture-tekniken kan bli ett viktigt svar på de krav som rörelse i förflyttning måste ställa på dokumentation och arkiv. Att som i det planerade RÖRELSEBASERADE WEBB- ARKIVET kombinera 3D visualiseringar med grafik, text, foto/bild och ljud/musik ökar materialets dokumentära kvalitéer och kommunikativa tillgänglighet för skolelever, studenter, konstnärer, forskare och allmänhet. arkiv, samhälle och forskning 2005:2 47

Madeleine Hjort & Åsa Unander-Scharin Fångad rörelse i 3 D med Motion capture teknik Motion capture, förkortas mocap och innebär att rörelsen, är den mänsklig, djurisk eller materiell, fångas av specialkameror i realtid. Efter viss bearbetning kan rörelserna visas i olika steg av 3D visualiseringar. Vårt utvecklingsarbete fokuserar den dansande kroppen, men också djur och materia kan mätas in: hästar och elefanter i veterinärmedicinskt syfte eller för animerad film, eller för att undersöka båtars deplacemang. Inmätningar av mänsklig rörelse sker främst inom sport, idrott, medicin och inom spel- och filmindustrin. Dansdokumentation har tillkommit och representerar ett nytt och komplext tillämpningsområde som Sverige är först med att utveckla. Med mocap-tekniken dokumenteras den dansande kroppens rörelser genom att kroppsdelarnas rörelsekoordinater med hög frekvens registreras av tio kameror. Kamerorna skickar ut infrarött ljus som studsar mot reflektorer som är strategiskt utplacerade på dansarnas kroppsdelar. I vårt arbete har varje dansare haft drygt 30 reflektorer placerade på kroppen från hjässan till fötterna. Rörelsedatan lagras i kamerorna och överförs till programmet Qualisys Track Manager (QTM) i datorn. Vi använder ett system med kameror och program som tillverkas av Qualisys Medical AB, Göteborg, som vi samarbetar med sedan flera år. I datorn bearbetas rörelserna i olika steg och läggs därefter på digitala kroppar. För dokumentationsändamål behöver kropparna byggas individuellt och formas i enlighet med den inmätta dansarens proportioner! Varje kropp är unik och inverkar därför på rörelsens utförande; vilket har följder för den dokumentära återgivningen. En kropps koordination, som bland annat kan uttryckas som en funktion av rotationer i lederna skiljer sig mellan olika dansare och beror på den specifika kroppens fysiska utseende. För att exempelvis hålla ihop handflatorna; är det en kombination av rotationer i axlarnas, armarnas och händernas leder som åstadkommer just den precisa formen. En annan kropp med andra proportioner skulle inte få händerna att nå varandra med samma vinklar och rotationer. Med musen/pekaren kan betraktaren röra sig runt den virtuella dansaren (ovanifrån, underifrån och från sidorna) för att i ett 3D-rum studera rörelsernas detaljer och kvaliteter ur olika perspektiv. Programmet gör det möjligt att zooma in eller ut och på så sätt växla mellan detaljer i närbild, hela dansaren eller gruppen av dansare i helbild. Motion capture är ett unikt verktyg som fångar dansarens rörelser i realtid och bevarar den så att brukaren/ betraktaren kan återvända till en specifik rörelse gång på gång. Parallellt med den virtuella dansaren på skärmen visar programmet en graf över rörelsefrasen: en mycket precis rörelseavläsning och källa. Närheten till källorna ökar markant genom 3D-tekniken. Nedan följer en mer detaljerad beskrivning av rörelseinmätning och bearbetning. Efter det omtalar vi arkivsituationen, vilka brukare vi vänder oss till och några data om webbarkivet och avslutar med några reflektioner Steg 1. Rörelseinmätning Det första steget innebär att man med specialkameror i studion registrerar dansarens rörelser. De behövs minst ett tiotal kameror för att uppnå hög kvalitet och täcka dansarnas rörelser och förflyttningar på en yta av 30 m 2. Kamerorna skickar ut infrarött ljus och registrerar reflexerna från de markörer som är fästade vid dansarens leder. Varje kroppsdels rumsliga position (x,y,z - koordinater) registreras ett antal gånger per sekund. Valet av frekvens påverkar rörelsekvaliteten men också kra- 48 arkiv, samhälle och forskning 2005:2

Digitalt arkiv lagrar dans i 3 dimensioner rörelsedatan färdig att exporteras till nästa steg. Identifiering och spårning kan vara slutmålet för dokumentära ändamål. Väljer man att arbeta vidare och bearbeta rörelsedatan ytterligare exporteras den exempelvis till Motion Builder, ett av flera möjliga program. vet på efterbearbetning. Ju tätare frekvens desto mer rörelsedata som behöver rensas. Vid rörelseinmätningen är det viktigt att rummet är mörkt och att kamerornas positioner är fixerade. Så kallade spökmarkörer kan uppstå när ljuset studsar mot andra reflekterande ytor i rummet. Dansaren bär tajta kläder så att markörerna inte förflyttas runt lederna eller ramlar av. Om en markör ramlar av måste inmätningen göras om, eftersom den aktuella kroppsdelens rörelsedata saknas och är svår att rekonstruera i efterhand. Dokumentationerna skall ligga så nära originaldata som det bara är möjligt. Ett koreografiskt verk framförs ofta över en yta om minst 100 m2 och kan ha upp till 15 medverkande dansare. Kamerorna kan idag lagra data från högst tre dansare, i utsnitt om ca tre minuter. Hittills har utvecklingsarbetet därför satsat på att mäta in flera kortare utsnitt ur ett antal koreografiska verk. Steg 2. Identifiering och spårning av inmätt rörelsedata När inmätningen är gjord fortsätter arbetet i datorn där varje markör spåras och identifieras. Denna spårning av markörerna görs i programvaran QTM och innebär identifiering och rensning av rörelsedatan. Under inmätningen kan fel uppstå; markörer kan vara dolda och behöver därför korrigeras. Felaktigheter i rörelsekurvorna kan behöva justeras. När arbetet med spårningen är slutförd, är Steg 3. Överföring av rörelsedata till andra digitala kroppar I detta steg bearbetas rörelsedatan så att digitala figurer senare ska kunna dansa den inmätta rörelsen. I programmet Motion Builder används mallfiguren Actor för att ställa in och anpassa figurens storlek och proportioner till originaldansarens kroppskonstitution. Genom att lägga den nu anpassade kroppsmallen Actor på den aktuella virtuella karaktären, kan ytterligare finjusteringar göras, så arkiv, samhälle och forskning 2005:2 49

Madeleine Hjort & Åsa Unander-Scharin att den inmätta rörelsens kropp och karaktärens kropp till slut överlappar varandra. I arbetet med finjusteringen kan vi röra oss runt den 3- dimensionella figuren och stegvis korrigera rörelsedatan sedd ur alla synvinklar. Inom utvecklingsprojektet har en första egen virtuell dansarkaraktär utvecklats. kinematik, dynamik och olika krafter samverkar och samspelar i mänsklig rörelse, för att få rörelsen att se organisk ut. För att går vidare och skapa virtuella dansverk, film eller dataspel exporteras den dansande karaktären och rörelsen till 3Dgrafikprogram som exempelvis Maya Genom möjligheten att i digitala 3Dvisualiseringar fånga dansares, dirigenters, skådespelares eller idrottares rörelser, kan arbetet öppna för nya intressanta frågeställningar och tillämpningar och närma sig ett flertal områden som har rörelsen i centrum. Denna utvecklande process gäller även dokumentationsarbetet som medför helt nya verktyg till de mångfacetterade dans- och rörelseområdena. I spåren av det fortsatta arbetet med mocap-tekniken kan man förvänta sig utveckling av ny kunskap och nya tillämpningar, och även att nya utbildnings- och forskningsområden tillkommer. Inte minst bjuder tekniken in till samfunktion och samarbeten med andra områden. Dokumentationsarbetet med rörelseinmätning har visat sig kvalitativt och tekniskt avancerat. Arbetet ställer höga krav på utförande från båda parter och intresset är stort från teknik- Steg 4. Bearbetning och komposition rörelsedata från olika inmätningar Här sätts rörelsefraser samman från olika digitala inmätningar. Övergångarna mellan rörelsefraser från olika aktuella inmätningar finslipas. I Motion Builder kan egna rörelser skapas och kombineras med rörelsedata från de gjorda inmätningarna. Det går också att förändra rörelsesekvenser från inmätningarna genom att förändra hastigheten eller t ex lägga till och ta bort hand- eller huvudrörelser. För att skapa ett naturligt flyt i övergångarna krävs ett tränat öga som kan identifiera fel och hitta lösningar. Det krävs en fingertoppskänsla för hur 50 arkiv, samhälle och forskning 2005:2

Digitalt arkiv lagrar dans i 3 dimensioner producenter, animatörer och databaskonstruktörer. Dansutövare och institutioner inom området inser värdet av ett rörelsebaserat webbarkiv som samtidigt kan visa koreografi i 3D- visualiseringar, video och annat dokumentärt material. Nuvarande arkivsituation är oacceptabel Nutida koreografi och dans verkar i en miljö som länge varit oacceptabel vad gäller dokumentation: den lagras på frivillig väg och är därför inte heller sökbar. Verkligheten är den att skolelever i landet inte har reell tillgång till befintligt material i dagens fragmentariska och svårtillgängliga arkiv som Stockholms universitet skriver i ett sakkunnigutlåtande. Forskare, studenter och lärare på grundskolor, kulturskolor, estetiska gymnasier, universitet, högskolor och offentliga institutioner behöver för sitt arbete kunna söka material i ett samlat arkiv. Detta har i realiteten ännu inte varit möjligt. Att tillhandahålla kvalitativ information om nutida koreografer och deras verk, dansarens arbete, forskning och kritik utgör enskilda och centrala aspekter på det RÖRELSEBASERADE WEBBARKIVET mest närliggande uppgift: att tillhandahålla fakta med översikt och djup. Dansarens arbete synliggörs I webbarkivet kommer koreografens och dansarens arbete och process att framträda i en delvis ny kontext. Dansarens arbete kan med stor precision dokumenteras och synliggöras i 3D format. Den inmätta rörelsen kan granskas ur olika kvalitativa aspekter och kombineras med analyser och pedagogiska metoder. Brukaren kan zooma in, studera och röra sig kring samma rörelse gång på gång. Nya arbetsprocesser kommer att kunna utvecklas. Komplexiteten i dansarens arbete lyfts fram och tillskrivs ökad betydelse. I WEBBARKIVET skall man kunna söka material på många sätt. Med referens till frågor om jämställdhet, genus och mångfald, och genom att det skall vara möjligt att fråga på dansarnas namn, något som är helt otänkbart i befintliga arkiv. Idag styr koreografens namn och verkets namn hur material organiseras i arkiv, förutsatt att materialet alls finns. Case med webbarkiv - nutida koreografi med 3D teknik och andra format I maj 2005 genomfördes de mest avancerade och omfattande rörelseinmätningarna någonsin i Sverige vad gäller yta, antalet dansare och antalet kameror. Ett av casen utgörs av Per Jonssons koreografiska verk, 3D inmätningar av Shackt, Nimrud, Golek och Rivers of Mercury med dansarna Håkan Mayer, Cecilia Roos, Dan Johansson, Fredrik Rydman, Cecilia Olsen och Anna Grip. Inmätningarna garanterar att Per Jonssons koreografiska material, gestaltat av de främsta dansarna inom området, kommer att finnas som 3D visualisering i det WEBBASERADE RÖRELSEARKIVET. Utöver verk av Per Jonsson har arbetet såhär långt mätt in verk av Cristina Caprioli och Åsa Unander-Scharin 1. Utsnitt finns ur 14 nutida koreografiska verk med ett antal olika sekvenser ur varje verk. Materialet är unikt och kommer att finnas tillgängligt och kontinuerligt kompletteras med koreografiska verk, som verksam del av Sveriges kulturarv. Rörelsebaserat webbarkiv Databasen byggs så att RÖRELSEARKIVET kan visa materialet över internet. En prototyp av databasen och WEBBARKIVET skall bearbetas, fördjupas och förenklas. Olika format skall kunna visas parallellt med 3D grafiken. Att bygga en databas med RÖRELSEARKI- VETS innehåll och mål förutsätter specifikt kunnande. Företaget Liquid AB som utvecklar dataspel, system för dataspel och IT kommunikation, har utvecklat system för att visa 3D grafik med hög kvalité över nät. Det betyder att brukare med normal datorkraft utan problem skall kunna röra sig i webbarkivet, och t ex se 3D visualiseringar av exempelvis Per Johnssons Schakt framförd av Håkan Mayer. Materialet skall inte kunna laddas ner vilket är viktigt med hänsyn till upphovsrätten. För att underlätta för besökarna att arbeta med materialet under sina besök i arkivet, har vi bland annat skapat en digital arbetsplats med egna mappar. Funktionen skall också kunna användas som ett visningsredskap för lärare, studenter och elever. Webbarkivet visar endast utsnitt ur verken. Visningen av hela verk - på VIDEO/DVD planeras ske i ett arkiv, samhälle och forskning 2005:2 51

Madeleine Hjort & Åsa Unander-Scharin samarbete med forsknings och stadsbiblioteken. Projektet Nutida dans och koreografi, ett lånesystem med VIDEO och DVD för visning på plats i bibliotek, är ett viktigt komplement till webbarkivet och ett försök till nationellt samarbete med forsknings och stadsbiblioteken. Reflektioner Motion Capture tekniken med tillhörande mjukvara kan användas till mer än dokumentation. Teknikkonceptet öppnar för konstnärligt arbete och samarbete, för pedagogiskt arbete och för ämnes - och gränsöverskridande forskning. För en koreograf är den mänskliga rörelsen ett vittomfattande och komplext fält. Mocap- tekniken registrerar inte kroppens alla mikrorörelser, men de stora dragen kan vi fånga som kroki där vi läser in en hel människa i ett fåtal linjer. Elever, studenter och konstnärer kan mäta in eget rörelsematerial, som de kan analysera och värdera utifrån valda kriterier och använda i vidare sammanhang. Med mocap tekniken ökar möjligheterna för elever, studenter och konstnärer att efter förmåga skapa en egen virtuell koreografi eller korta kombinationer av rörelser. Precis som vi tar det för självklart, att unga människor idag kan skapa sin egen samplade musik på hemdatorer. I korta projekt har utvecklingsarbetet samarbetat med praktiker och forskare inom sjukgymnastik, idrott, pedagogik, media, dans och koreografi och omedelbart erfarit ett gemensamt intresse för rörelseområdet. Trots relativt korta möten kunde vi konstatera att begreppsapparaten vidgades och tillfördes nya innebörder nya i förhållande till varje områdes praktik. Ett mångsidigt utnyttjande är en viktig aspekt av det RÖRELSEBASERADE WEBBARKIVET. Vi förbereder databasen och webbarkivet, så att de också har kapacitet att hantera data från angränsande rörelseområden. Huvudmän och initiativtagare för utvecklingsarbetet är Studion för Digital dans och RörelseArkiv tillsammans med Musikhögskolan i Piteå, Luleå tekniska universitet. Samarbetspartners är bland flera Qualisys Medical AB, Göteborg och Dansvetenskapen vid Stockholms universitet. Åsa Unander-Scharin och Madeleine Hjort har utvecklat idé och koncept och arbetar på deltid med realiseringen av webbarkivet. Det finns inga tjänster inom vårt område. En doktorandtjänst har uppstått ur utvecklingsarbetet och Åsa är doktorand i musikalisk gestaltning inriktning komposition vid Musikhögskolan i Piteå, Luleå tekniska universitet. Utvecklingsarbetets huvudfinansiärer är Statens Kulturråd, Delegationen för regional samverkan, Stiftelsen Framtidens kultur. not 1. Vi arbetar med ett antal koreografer/case för att utveckla tillämpningar för webbarkivet. Samma metod, ett begränsat antal författare, tillämpas av Svenska Akademin i deras utvecklingsarbete med att digitalisera historiska och nutida texter med syftet att göra dem åtkomliga i ett webbarkiv. 52 arkiv, samhälle och forskning 2005:2