Slutrapport Minimetern Dnr 374/99 Avdelningen för rehabiliteringsteknik Lunds tekniska högskola
Slutrapport Minimetern, Dnr 374/99 Sammanfattning Trots att projektet Minimetern till punkt och pricka genomfördes enligt den uppgjorda planen (se bil.1), inträffade det som ibland sker i FoU-projekt: det första slutresultatet blev inte bra. Tekniken i sig fungerade utmärkt, men den fungerade inte i sitt sammanhang så som vi hade hoppats. Eftersom det var tekniken-i-användningen med människan som subjekt, inte som objekt, som var det idémässigt bärande, innebar bristen på framgång på denna punkt att projektet i dess helhet enligt de ursprungliga planerna inte kändes bärande att gå vidare med. Dock hade det under tiden tillkommit så många nya tankar att det slutresultat vi här kan redovisa troligen är starkare än det vi ursprungligen hade hoppats på. I föreliggande rapport dokumenteras först det utförda arbetet samt förtecknas på vilka punkter utfallet inte blev det förväntade. Därefter beskriver vi hur vi gått vidare kvarhållande tanken på ett datorbaserat hjälpmedel för svårt rörelsehindrade människor och bibehållande den mest vitala ursprungliga delaspekten: att det gäller att kunna ta vara på minimala rörelser i kroppen på ett så generaliserbart sätt som möjligt. För gruppen reumatiker visade det sig i Spenshults utvärdering att de som alls kan hantera en musfunktion klarade sig lika bra med de existerande kommersiella datormössen som med vår Minimeter. Och för dem som inte kunde hantera kommersiella datormöss, var övergång till röststyrning överlägsen. Nischen för Minimetern föreföll alltså efterhand i stort sett obefintlig. Egentligen är detta i sig intressant: vare sig Spenshults Reumatikersjukhus eller Reumatikerförbundet eller någon av de många reumatiker Certec mött i samband med Minimeter-projektet eller någon av oss på Certec hade insett detta förrän under och efter provanvändningen på Spenshult (se bil 2). Ännu en gång visades alltså sanningen i Man kan inte veta förrän man provat... Bodil Jönsson, professor, Certec.. Ingemar Petersson, överläkare, Spenshults Reumatikersjukhus.. Björn Breidegard, tekn lic, Certec 1
Användaren styr genom att manövrera den handhållna magnetpennan. Till vänster ses magnetgivaren. Ett annat exempel på ett specialanpassat handstyrdon. Lägg märke till permanentmagneten på träplattan. 2
Vi bytte spår enligt följande punktlista: Vår ansats får större genomslag om vi arbetar med långt svårare funktionshinder än dem vi mött hos reumatiker. Detta övervägande har gjorts i nära dialog och samspel med överläkare Ingemar Petersson, verksamhetschef på Spenshults Reumatikersjukhus. Vi närmade oss inom gruppen hjärnskadade personer dem som inte kan prata eller uttrycka sig på annat sätt än genom blundningar, gapningar, huvudvridningar etc. Speciellt prioriterade vi dem för vilka omvärlden tvekade om huruvida deras kommunikationsansatser var medvetna eller ej. Personer i denna grupp behöver starkt individualiserade lösningar både för styrning och för individanpassad återkoppling. Att åstadkomma detta med individuell hårdvara/artefakter av Minimeterns typ faller på sin egen orimlighet: det blir för komplicerat och dyrt, både i konstruktion, tillverkning, säkerhetskontroll och underhåll. Funktionsmässigt gick vi därför över till ren TV-kamerateknik, dvs. vi beslöt att bara använda sådan hårdvaruteknik som är enkelt kommersiellt tillgänglig. Idag har TV-kameror och datorer ett oslagbart pris/prestandaförhållande, och dessutom är dagens standarddatorer så kraftfulla att de kan ersätta sådant som var tvunget att byggas i hårdvara bara för några år sedan. Denna trend förstärks år från år. I gengäld lade vi i stället alla de tekniska ansträngningarna på en avancerad mjukvara vad gäller bildbehandlingen för att avkoda mänskliga ansiktsrörelser, för styrning och för återkoppling. Denna programvara är dels utvecklad i ett grundkoncept, dels specialdesignad för tre olika personer. Provanvändningar har genomförts och pågår för tre svårt hjärnskadade personer. Resultaten är synnerligen goda, speciellt om man tar i beaktande att de berörda människornas övriga förmåga att kommunicera med omvärlden är i det närmaste obefintlig. Förändringen att från det utgångsläget få möjligheten att generera en eller två kommandosignaler eller svara ja eller nej är drastisk. 3
Här ses det kombinerade utvecklings- och hjälpar -användargränssnittet. Den gula fyllda cirkeln följer ( trackar användarens näsrot (m.h.a. av en förfångad mall över näsrotsområdet. Den blå cirkeln följer näsborrområdet m.h.a. av en automatgenererad dynamisk mall för detta område. I övrigt innehåller användargränssnittet mängder av funktioner (främst visuella) för att utveckla, testa och felsöka. Här ses en variant med ett virtuellt tangentbord som återkoppling. Genom att vrida ansiktet vänster/höger och upp/ned flyttas en markör över tangentbordet. En accentuerad ögonblinkning trycker ned den valda tangenten och på detta sätt kan man skriva meddelande, t.ex. HEJSAN ALLA. Detta exempel visar en mus-emulering musen ersätts av ansiktsrörelser och blinkningar. 4
Emma som provanvändare. Se texten under projektet del 2. Här är Emma på väg att svara Nej genom att vrida ansiktet åt vänster. När hon vridit lite till blir hela skärmen röd och ett Nej hörs i högtalarna. Emma har då svarat Nej. Jämför texten under projektet del 2. 5
Emma har svarat Ja. 6
Projektets del 1 Tolv stycken Minimetrar har färdigställts. En ekonomisk tung och mycket arbetskrävande biten var hårdvarukonstruktionen av den anpassningslåda som behövdes mellan de magnetiska givarna och datorn. Konstruktion och konstruktionsunderlag (färdigt kretsschema och detaljerat komponentval) där anpassningslåda och magnetgivare förfärdigades av Björn Breidegard. Sedan utförde en kommersiell elektronikfirma mönsterkorts-caddning och -tillverkning. Pengarna räckte tyvärr inte till kommersiell montering och testning detta fick istället utföras av Björn Breidegard. Alla tolv anpassningslådorna uppvisade perfekt funktion. Anpassningslådorna är dessutom så generellt konstruerade att de kan användas som ett PC-interface mot externa apparater, bl.a. finns fyra analoga ingångar och 32 digitala in/utgångar och all funktion bestäms av lättmodifierbar mjukvara. Programvaran, som ihop med givare, anpassningslåda och dator utgör luftmusen, konstruerades också av Björn Breidegard. Speciella signalbehandlingsalgoritmer har utvecklats och implementerats för att korrigera och kompensera för magnetgivarnas olinjäriteter och överhörning. Speciella styralgoritmer har utvecklats för att styra musmarkören på bästa sätt. Det viktigaste designbeslutet i denna konstruktion är att Minimeterns totala beteende i huvudsak bestäms av programvaran och denna är enkel och flexibel att ändra och införa nya finesser - dessutom gratis att mångfaldiga. Programvaran fungerar för både Windows 95, Windows 98, Windows NT och Windows 2000. Minimetern har fungerat på ett antal datorer av olika fabrikat och prestanda. Minimetern (eller luftmusen) bestående av sina delar: permanentmagnet, magnetgivare, anpassningslåda, programvara och dator uppvisade som helhet en stabil och pålitlig funktion. Ett antal specialanpassningar har gjorts i Minimeterprogrammet med tanke på reumatiska användare, bl.a. har programreglage för musmarkörtyngd, uppväxling och antiskakningsfunktion införts efter önskemål av arbetsteapeuter. Björn Breidegard installerade Minimeterutrustning på Spenshults reumatikersjukhus och utbildade arbetsterapeuterna i att handha dessa. Flera designiterationer gjordes: synpunkter från arbetsterapeuterna implementerades i programvaran. Spenshult genomförde under nov-dec år 2000 en förstudie för att trimma tekniken. Det tekniska användargränssnittet vad det gäller den kroppshållna magneten och magnetgivare utvecklades och förfinades och programändringar genomfördes också. Enstaka patienttester utfördes. Spenshult har genomfört en utvärdering. Se bilaga 2. Kretsschemor för anpassningslådan: se bilaga 3. 7
Här ses magnetgivarna monterade i en gråvit plastbox som sitter på en flexibelt flyttbar arm. Som handdon visas en magnetpenna en vanlig kulspetspenna med en pålimmad permanentmagnet. 8
Projektet del 2 Samtidigt som det undan för undan under del 1 det som vi sökt och fått medel för blev klart att grundidén inte skulle hålla, blev vi alltmer medvetna om att vår ansats var både mer rätt än vi trott och mer fel. Tekniskt är det ohållbart att tillverka speciell hårdvara det blir orimligt dyrt och kräver en service-, utbildnings- och underhållsorganisation som inte går att klara över hela landet. Går det kanske att tänka om och försöka klara allt med mjukvara mjukvara som kan skänkas bort, och där varje ny specialanpassning kan ingå i en öppen idégemenskap (community) för fritt utnyttjande av dem som så vill? Därtill skulle det givetvis finnas koncis information om vilken annan utrustning i form av dator och kamera m m som krävs. I vår lösning (jämför nedan) begränsas detta till en dator med normal prestanda och en TV-kamera. Teknikledstjärnor De ledstjärnor som följts under designprocessen är: Att enbart använda kommersiella och massproducerade produkter som kan köpas i TV-dator-affären. Så mycket som möjligt av funktionen läggs i specialdesignad programvara baserad på dagsfärsk kunskap inom bildbehandling. Designprocessen har varit iterativ och baserats på successiv förfining. Intensiv visualisering (på datorskärmen) har använts för att skapa, förstå och hitta fel. I görligaste mån har algoritmer baserade på sund matematik använts. Och då sådana ej funnits har heuristisk algoritmutveckling gjorts. Vi beslöt att prova: Att med hjälp avtv-kamerateknik och bildbehandling i dator avkoda mänskliga ansiktsrörelser. Att ge dessa rörelser en interpretering. Att låta dessa rörelser styra något meningsfullt för den aktuelle användaren. Att ge användaren en lämplig och individanpassad återkoppling, t.ex. med grafik och ljud för att facilitera styrningen. Produktens förpackning För att erhålla en så billig och lättpaketerad produkt som möjligt har den vägledande stjärnan under designprocessen varit att använda massproducerade (och därmed billiga) standardprodukter. Det enda som behöver köpas är en billig TV-kamera (en Web-kamera för ca 800:-) samt en modern standard-pc. Resten görs i specialdesignad programvara som enkelt distribueras på CD-skiva. Individanpassning Alla ingående delar kan vara individanpassade för att just passa en enda individs mycket speciella (och hårt begränsade) förmågor. Det har redan visat sig en viss generaliseringseffekt vad som designats till en användare har visat sig vara användbart för en annan, så efter ett tag kommer det att finnas en bas av mer generella styrningar och återkopplingar. 9
Provanvändning Hittills har tre provanvändare testat konceptet och bidragit till utvecklingen. Emma, så gott som totalförlamad och stum, har använt sin hittills rätt begränsade förmåga att vrida huvudet vänster/höger för att svara Ja/Nej. Som återkoppling för att underlätta styrningen att svara Ja eller Nej, visas ett stort gult klot på bildskärmen mot en himmelsblå bakgrund. Detta klot följer Emma minsta huvudrörelse så hon kan se vart hon är på väg. När hon vridit lite till vänster (och klotet flyttat sig lite till vänster) blir klotet rödare och rödare och då hon rullat klotet ända till skärmens vänsterkant blir hela skärmen röd och ett Nej hörs från högtalaren. När hon sen vrider huvudet tillbaka blir klotet gult igen. På samma sätt blir klotet grönare och grönare ju mer höger hon vrider, och till sist blir det grönt och det hörs ett Ja. Emma har prövat ett 10-tal gånger med varierande resultat (p.g.a. mycket varierande dagsform). Emma har med hjälp av röststimulans lärt sig vrida huvudet för att generera både Ja- och Nejsvar. Emma har visat uttalad svarsvillighet då vi ställt frågor till henne. Om hennes svar är riktiga eller ej har ej kunnat bevisas men vi tror faktiskt att en del svar faktiskt är riktiga. Efter ett par tillfällen började Emma dagens sejour med att själv vrida huvudet och omväxlande generera Ja och Nej. Hon har lärt något. Hon har också lärt en uppenbar strategi, när hon försökt vrida huvudet åt höger och det har gått trögt, har hon börjat med att först vrida åt vänster som för att ta sats. Detta har hon visat flera gånger. Emma kan kanske kommunicera vem vet? Här är Emma provanvändare. Björn justerar utrustningen. Här används en kommersiell videokamera (ca 5000:-). Sådana kameror är av hög kvalitet och användes under det inledande utvecklingsarbetet. Numera använder vi billiga Web-kameror (med enkel USBanslutning, ca 800:-) istället en betydande förenkling och förbilligande. 10
Här visas Emmas användargränssnitt ett gult rullande klot som styrs med ansiktsvridningar. Jonas Ekenborn på företaget Anpassa - i Malmö, längst till vänster skall ta över träningen och undervisningen med Emma. Hela programvaran har installerats på företagets dator och fungerade direkt utan problem. Detta mycket tack vare den hårda standardiseringen att använda kommersiella komponenter från TV-dator-affären. 11
Magnus (fingerat namn), så gott som totalförlamad och stum hade enligt sin närmsta omgivning ett sätt att medvetet svara nämligen genom blundningar ( långa blinkningar). En individanpassning som byggde på Magnus blundningar och intresse för Michael Jackson designades. En stor bild av M.J. visades över den stora ljusstarka bildskärmen och musik spelades i högtalaren. Efter 20 sekunder blev skärmen mörkare och mörkare och efter 30 sekunder tystnade även musiken. Om Magnus nu blundade kom M.J. tillbaka både på skärmen och i högtalarna. Han hade dessutom chansen att slippa avbrott i avslyssningen genom att blunda under den tid bilden blev mörkare och mörkare. Denna individanpassning gjordes helt för att testa att Magnus var med att han kunde lära sig att förstå för att sen eventuellt kunna gå vidare med mer meningsfulla styrningar. Dock var tekniken inte helt fungerande vid första testtillfället både vad det gällde programvara och rullstolens nackstöd m.m. Detta medförde det lyckliga att det var tvunget att pröva något annat. Kunde Magnus vrida huvudet vänster/höger? Vi prövade att låta honom rulla Emmas klot och det gjorde han omväxlande Ja och Nej. Vi ställde frågor och Magnus visade svarsvillighet. Vi frågade om han ville lyssna mer på M.J. och han svarade Ja. Inga slutsatser om svarskorrektheten har dragits. Så Magnus får i fortsättningen använda den styrning och återkoppling som specialdesignades för Emma man kan ju aldrig veta förrän man provat och ett misslyckande kan ge ett lyckande. Tyvärr har Magnus svårt att utföra huvudvridningarna. En gång i tiden kunde han det faktiskt bra men p.g.a. ej längre erhållen sjukgymnastträning har han så gott som tappat denna förmåga. Albert (fingerat namn), svårt rörelsehindrad och stum, kan följa med i en kommunikation och förstår. Hans latenstider är sekundkorta. Han kan bl.a. blunda och gapa på uppmaning. Så vi bestämde att blundning skulle generera ett Ja och en gapning skulle generera ett Nej. Dock visade det sig vid första provtillfället att Albert haft något problem med ögonen, och hans Ja-blundning hade reducerats till ett svagt ögonlockfladder. Återigen var det Emmas rullande klot som var räddningen. Albert förstod principen direkt och kunde genererera Ja och Nej på uppmaning. Han svarade även på ett 20-tal frågor och enligt hans mamma var alla svaren fullt rimliga. Albert skall få fortsätta att använda huvudvridningen, men vi kommer även att lägga till att hans gapningar och blundningar ger någon form av styrning t.ex. blundning ger Hej och gapning Jag vill ha paus. Pågående utveckling Alla tre provanvändarna har visat att ögonen ligger före huvudvridningen. Först tittar ögonen åt valt håll, och sen kommer eventuellt huvudvridningen. Så programmet skall vidarutvecklas för att även kunna avkoda ögonpekning och använda denna i styrningen och återkopplingen. Vidare skall ingen manuell kalibrering behövas utan det skall finnas en automatisk ansikte/ögon/mun-näsa-sökning. Större tålighet mot skalnings- och rotationsvarianser skall implementeras. Ögonföljning skall implementeras. Alla tre användarna har visat att de först signalerar med ögonen åt vilket håll de tänker vrida huvudet. Även avkodning av mer sofistikerade ansiktsuttryck, t.ex. ögonrörelser hos flickor med Retts syndrom skall implementeras. 12
Informationsspridning Vetenskapligt har rapportering skett vid: Aesthetic Expression of Feelings Workshop at the i3 Spring Days 2001, Porto, Portugal. The Minimeter Maxi for People with Disabilities A General Interface for Computer Control and Feedback i ÖGAI-Journal, Jahrgang 2001, Nr.2 (Österreichische Gesellschaft für Artificial Intelligence). Vidare planeras en artikel om konceptet i Technology and Disability, en populärvetenskaplig artikel i t.ex. Läkaretidningen samt en rent teknisk artikel i en teknisktvetenskaplig tidskrift, uttryckt i tekniska termer men med tyngdpunkten lagd på användningen. I övrigt hänvisas till Certecs website. Vi har också framträtt med projektet i Spenshult på Forskningens dag den 11 september, 1999. Minimetern har också demonstrerats under närvaro av både Emma och hennes mamma på ett antal Certec informerar -dagar. Bilagor 1. Ursprunglig plan 2. Spenshults utvärdering av den ursprungliga Minimetern 3. Kretsschemor 4. Ekonomisk redovisning 13