TVE Examensarbete 15 hp September Chord King. Guitar Hero for acoustic guitars. Mattias Johansson Peter Nordström Sebastian Ärleryd

Transkript

1 TVE Examensarbete 15 hp September 2011 Chord King Guitar Hero for acoustic guitars Mattias Johansson Peter Nordström Sebastian Ärleryd

2 Abstract Chord King Mattias Johansson, Peter Nordström, Sebastian Ärleryd Teknisk- naturvetenskaplig fakultet UTH-enheten Besöksadress: Ångströmlaboratoriet Lägerhyddsvägen 1 Hus 4, Plan 0 Postadress: Box Uppsala A game for acoustic guitars has been written in the Python programming language. The game has a graphical user interface and there are several song to choose from. The game shows to the user what chords and string plucks should be played and when to play them. Points are awarded if the correct chord or string pluck is played. The game works well in a moderately quiet environment if the guitar is played somewhat clean. There are a lot of room for improvement. Telefon: Telefax: Hemsida: Handledare: Lars-Johan Brännmark Ämnesgranskare: Tomas Olofsson Examinator: Urban Lundin ISSN: , TVE

3 Table of Contents 1 Inledning Målsättning Teori Musikteori Ljudalstring på gitarr Ljudanalys Metod Harmonic Product Spectrum metoden Strängplock Ackord Ljudanalys i realtid Resultat Språket Färdig kod Ljudinläsning Grafik och användargränssnitt Låtfiler och låtinläsning Att spela Diskussion Metoddiskussion Resultatdiskussion Programförbättringar Slutsatser Referenser

4 1 Inledning Många är vi som har en akustisk gitarr hemma någonstans. Det skulle vara roligt att lära sig spela men det är svårt att komma igång med själva övandet. Än fler är vi som tycker det är roligt att spela musikspel såsom Activisions Guitar Hero. [1] Detta spel har blivit populärt och många har spelat det i timmar. Nackdelen med det är att hur mycket man än spelar så blir man inte bättre på att spela gitarr. Plastgitarren som medföljer musikspelet har endast sex knappar och liknar en riktig gitarr endast till formen. För att spelaren ska bli bättre på att spela gitarr måste musikspelet vara mer verklighetstroget. Det allra bästa vore om en riktig gitarr användes för att styra musikspelet. På detta sätt får spelaren träna på riktigt samtidigt som den blir motiverad av och får saker att öva på från musikspelet. Vi har tagit fram just ett sådant musikspel. För att spela vårt spel behöver man bara en vanlig persondator med mikrofon och en akustisk gitarr. I spelet visas vilka ackord och strängplock som ska spelas och när man ska spela dem. Om spelaren spelar rätt delas poäng ut. 2 Målsättning Målsättningen med detta projekt är att utveckla ett verklighetstroget musikspel för gitarrer till persondatorer. Spelet ska fungera både som underhållning och som en sätt att lära sig spela gitarr på riktigt. Det ska kunna spelas på de allra flesta persondatorer utrustade med en mikrofon bara spelaren har en egen akustisk gitarr. Spelet ska använda sig av datorns mikrofon för att läsa in ljud och analysera detta i realtid. Under ljudanalysen ska spelet kunna hitta ackord och enskilda strängplock, en sträng anslagen på ett band. De ackord vi vill att spelet ska kunna hitta är treklang-ackorden C, D, E, F, G, A och B i dur och moll spelade på vanligt sätt. Spelet ska kunna avgöra om spelaren spelat rätt eller fel genom att jämföra inlästa ackord och plock med en fördefinierad sång. Om spelaren spelar rätt ska spelet dela ut poäng.vi kräver inte att programmet hittar när man spelat rätt 100% av gångerna, men det ska vara tillräckligt ofta för att det ska vara spelbart utan större störningsmoment. För att visa spelaren vad den ska spela ska spelet ha ett grafiskt användargränssnitt. Spelet ska visa grafiska element som representerar sången som spelas. Det ska synas tydligt vilket ackord eller vilken sträng och vilket band spelaren ska spela. Det ska också vara tydligt när spelaren ska spela dessa. För att störningar på ljudsignalen inte ska göra analysen för svår begränsar vi oss till att spelet ska fungera i en relativt tyst miljö där ljudnivån inte överstiger normal talnivå. Vi begränsar oss även genom att kräva att den akustiska gitarren som används är välstämd samt att den är nylonsträngad då övertonernas styrkor skiljer sig mycket mellan nylon- och stålsträngade gitarrer. Våra huvudmål utgörs alltså av följande. Spelet ska: kunna spelas på en vanlig dator med mikrofon, kunna användas med en vanlig, välstämd nylonsträngad akustisk gitarr, känna igen de vanliga treklang-ackorden C, D, E, F, G, A och B i dur och moll, ha få störningsmoment och ha ett grafiskt användargränssnitt. 3

5 3 Teori Teorikapitlet går igenom den grundläggande teori som krävs för att utföra ljudanalysen i vårt program. Kapitlet inleds med en beskrivning av den grundläggande musikteorin. Med denna som grund beskrivs hur gitarren fungerar som musikinstrument. Kapitlet avslutas med teori för själva ljudanalysen. 3.1 Musikteori Avsnittet tar upp hur vi människor klassificerat de frekvenser som finns i musiken i det vanliga tonsystemet i västvärlden. Det går även igenom hur toner harmonierar i ett ackord. Musik är uppbyggt av så kallade toner. En ton är en ljudvåg av hörbar frekvens. I det västerländska musiksystemet har toner namngivits enligt bokstäver i tolv steg från A till G och placerats i så kallade oktaver. Varje oktav har sin egen uppsättning toner från A till G. Oktaver ligger i frekvensspektrumet på så sätt att det frekvensmässigt alltid finns en oktav ovanför och en oktav under. En oktavs toner har dubbla frekvensen jämfört med tonerna i oktaven under och halva frekvensen jämfört med tonerna i oktaven ovanför. För att fixera detta system definieras ofta en A ton till 440 Hz. Detta A kallas ofta A4, A tonen i den fjärde oktaven. Nästa A, A5, som tillhör oktaven ovanför har frekvens 880 Hz. Det A som tillhör oktaven under har frekvens 220 Hz och kallas A3. Varje oktav har också halvtoner. En halvton är tonen man får om man går ett halvt steg från en ton mot en annan. Dessa är också döpta enligt bokstäver och namnges efter den ton man utgår från och om man går ett halvt steg upp eller ner från denna ton. Till exempel kallas tonen halvvägs mellan C och D både för C#, vilket uttalas ciss, eller D, vilket uttalas des, beroende på om man utgår från C eller D. Eftersom det bara är tolv steg av toner i en oktav är tonerna upplagda på så sätt att det inte finns halvtoner mellan varje ton. De toner som finns är C, C#/D, D, D#/E, E, F, F#/G, G, G#/A, A, A#/B och B. När man går från en av dessa toner till nästa kallas det att man gått upp en halvton. Frekvensen har då ökat med en faktor 2 1/12. Förutom de motsvarande tonerna i andra oktaver har också varje ton sina egna övertoner. En given tons övertoner är alla toner vars frekvens är en heltalsmultipel av tonens frekvens. Till exempel har A4 på 440 Hz övertonerna 880 Hz, 1320 Hz, 1760 Hz, 2200 Hz och så vidare. Spelar man en ton kommer de allra flesta instrument också att ge ifrån sig många övertoner av betydande intensitet. Denna samling övertoner spelar stor roll i hur instrumentets ljud upplevs. På många instrument kan man spela flera toner på samma gång. Det kallas då att man spelar ett ackord. Då ger instrumentet ifrån sig både flera toner och övertoner till dessa toner. Det finns många olika typer av ackord. Den typ av ackord vi koncentrerar oss på kallas treklang-ackord och består av tre toner. Den första tonen kallas grundtonen och är den tonen som de två andra utgår från. Nästa ton ligger en stor eller liten ters ovanför grundtonen. En stor ters är 5/4 av grundtonens frekvens och en liten ters är 6/5 av grundtonens frekvens. Den sista tonen kallas kvinten, och den är 3/2 av grundtonens frekvens. 4

6 3.2 Ljudalstring på gitarr Detta avsnitt beskriver vad som händer i en gitarrsträng efter anslag. Det tar upp hur strängen svänger, hur dessa svängningar bildar ljud och hur detta kan skapa musikaliska toner. De flesta gitarrer har sex strängar och är stämda på samma sätt. I denna stämning är den lägsta strängen stämd i E2 med de resterande strängarna är stämda i A2, D3, G3, B3 och den högsta i E4. Det är denna stämning vi använder och när vi skriver om välstämda gitarrer är det denna stämning vi syftar på. När en gitarrsträng anslås bildas stående vågor av flera olika frekvenser i strängen. Dessa vågor svänger i strängens grundfrekvens samt heltalsmultiplar av denna. [2] Den lägsta av dessa frekvenser är grundtonens frekvens och heltalsmultiplarna är övertonernas frekvenser. Tillsammans bildar dessa toner en ljudsignal. Figur visar en strängs grundton och tre övertoner. Figur 3.2-1: Överst syns en gitarrsträng som svänger i sin grundton. Under syns samma sträng som svänger i sin första, andra och tredje överton. Stående vågor är indelade i segment som svänger och punkter där strängen inte svänger. Punkterna som inte svänger kallas noder och de punkter som svänger som mest kallas bukar. Grundtonens och dess övertoners amplituder kommer att vara beroende av hur strängen slogs an. Detta har att göra med var övertonernas noder och bukar ligger. På grund av att grundtonens buk ligger mitt på strängen kommer dess amplitud bli så stor som möjligt om man slår an mitt på strängen. Slår man an någon annanstans på strängen kommer man få en annan kombination av amplituder på grundtonen och övertonerna i ljudsignalen. På grund av detta är det i princip omöjligt att få samma kombination två gånger trots att man slår an på (nästan) samma ställe. Det kommer dock låta tillräckligt lika för att det mänskliga örat inte ska kunna skilja på ljudsignalerna. För att kunna spela fler grundtoner än de sex grundtoner som strängarna är stämda i kan man trycka ned en gitarrs strängar på de band som finns längs dess hals. Den del av strängen som kommer att svänga då den anslås blir då kortare vilket resulterar i att tonen blir högre, den svänger i en högre frekvens. Banden är separerade på så sätt att tonen höjs eller sänks med en halvton om man trycker ned strängen vid ett band längre ned eller upp då man anslår den. Som resultat av hur banden är upplagda och den vanliga stämningen kommer tonerna från lägre strängarna att komma igen på de högre strängarna. Spelas till exempel det femte bandet på den lägsta strängen fås samma ton som om den näst lägsta strängen spelats utan att hålla ner något band. På grund av detta kan till exempel en gitarr med 18 band på den högst stämda strängen spela 42 olika halvtoner. 5

7 3.3 Ljudanalys Detta avsnitt förklarar teori bakom grundläggande ljudanalys. Vanliga toner spelade på instrument så som en gitarr beter sig som periodiska signaler. Dessa kan beskrivas som summan av ett oändligt antal sinussignaler av olika amplituder och frekvenser. För en enskild sträng består dessa frekvenser och amplituder av grundtonen och övertonernas frekvenser och amplituder. En sådan signal som består av en amplitud som förändras över tid sägs ligga i tidsdomänen. Med hjälp av Fouriertransformen kan man överföra en sådan signal till frekvensdomänen och på så sätt få reda på amplituderna hos de frekvenser som bygger upp signalen. [3] Ljudsignaler som vi hör är kontinuerliga signaler med ett oändligt antal amplitudnivåer för ett givet tidsintervall. När en sådan signal spelas in till en dator med en mikrofon fås, på grund av hur datorer fungerar, en representation av signalen som en samling amplitudvärden av diskret storlek. Varje amplitudvärde kallas då sampel och tiden mellan varje sampel är oftast konstant. I de fall tiden mellan samplen är konstant beskrivs den lättast av den så kallade samplingsfrekvensen. För att Fouriertransformera en tidsdiskret signal används den diskreta Fouriertransformen, eller med fördel den snabbare ekvivalenta varianten av denna som kallas Fast Fourier Transform. Figur 2 visar en signal samt dess Fast Fourier Transform. Figur 3.3-1: Övre grafen visar signalen y(t) = 20sin(5*2pi*t) + 12sin(10*2pi*t) + 15sin(15*2pi*t). Det syns hur de olika sinussignalerna samverkar för att skapa en signal som varierar periodiskt över tiden.undre grafen visar Fast Fourier transformen av signalen i den övre grafen. Denna visar de relativa amplituderna på de sinussignaler som ingår i signalen. För att kunna rekonstruera en signal från tidsdiskreta samplingar behövs två samplingar per period hos den högsta frekvens som ingår i signalen man vill kunna återskapa. På grund av detta kommer en tidsdiskret inspelning av en ljudsignal bara kunna rekonstruera de delar av ljudsignalen vars frekvenser är under halva samplingsfrekvensen. Denna gräns ges a Nyquist/Shannons samplingsteorem och kallas Nyquistfrekvensen. Frekvenser i signalen som befinner sig ovanför Nyquistfrekvensen kan uppfattas som låga frekvenser när man samplar dem varför filtrering av höga frekvenser innan analys kan vara nödvändigt. Vi har dock inte filtrerat de signaler vi Fouriertransformerar. Längden på den signal man samplar bestämmer hur stor noggrannhet man får när man försöker urskilja frekvenser ur den. Upplösningen är direkt omvänt proportionell mot inspelningstiden. Samplas till exempel en signal under två sekunder kommer Fast Fourier transformen ha en 6

8 upplösning på en halv Hertz. [4] 4 Metod Detta kapitel beskriver hur de metoder som används i programmet fungerar och hur problem som uppstår vid ljudanalys har lösts. För att kunna skapa ett spel enligt målsättningen behövs metoder för att hitta vilket ackord eller strängplock som spelats. För att kunna ta fram dessa metoder behöver man först få en bild av hur ljudet från en gitarr ser ut. Detta gjordes genom att studera gitarrens frekvensspektrum i olika situationer. Till detta användes det matrisbaserade beräkningsprogrammet MATLAB. [5] Detta program har mycket inbyggd funktionalitet som är användbar vid ljudanalys. Med MATLAB kan ljud spelas in via inbyggda funktioner och analyseras med Fast Fourier transformen och vektormanipulationer. När ljudet från en gitarr analyseras upptäcks snabbt att amplituderna på ett strängplocks grundton och övertoner är väldigt oförutsägbara. I regel är grundtonen och de första övertonerna starkast men det går inte att förutse vilken av dessa toner som kommer vara allra starkast. Detta ställer till med problem när ett program ska ta ut grundtonen från ett spektrum. Figur 4-1 visar ett spektrum när A- strängen spelats. Figur 4-1: Spektrum för en spelad A-sträng. Grundtonen är 110 Hz och de två första övertonerna syns vid 220 Hz respektive 330 Hz. 7

9 4.1 Harmonic Product Spectrum metoden Detta avsnitt går igenom en metod som löser problemet med att grundtonen och dess övertoner till gitarrsträngar har oförutsägbar styrka. Denna metod kallas Harmonic Product Spectrum metoden och utnyttjar att en tons övertoner ligger på heltalsmultiplar av tonens frekvens. [6] Idéen är att efter denna metod utförts ska bara frekvenstoppar som har ett visst antal övertoner inom spektrumet finnas kvar. Vi utför denna metod genom att kopiera vektorn med spektrumet för det inspelade ljudet ett flertal gånger. Antalet gånger spektrumet kopieras motsvarar hur många övertoner som ska användas. I den första kopian behålls var annat element, i den andra behålls var tredje element och så vidare. Detta kallas att man nedsamplar spektrumsvektorn. Efter att kopiorna fyllts ut med nollor tills de är lika långa som spektrumsvektorn multipliceras alla vektorer elementvis med varandra. Resultatet har endast toppar på de ställen alla vektorerna hade toppar. Det sätt som spektrumsvektorn nedsamplades kommer resultera i att alla kopior har toppar där det i spektrumsvektorn fanns en grundton. I Figur visas ett exempel på detta, där den nedersta grafen visar resultatet efter multiplicering av vektorerna. Figur 4.1-1: Harmonic Product Spectrum metoden. Ett spektrum och två stycken nedsamplingar samt resultatet vid elementvis multiplikation av dessa. Här syns hur det, efter elementvis multiplikation mellan spektrumet och dess nedsamplingar, endast återstår en topp vid grundtonen. 4.2 Strängplock För att hitta strängplock bland inspelat ljud används den ovan nämnda Harmonic Product Spectrum metoden. Vi använde fem övertoner för att få ett bra resultat. Denna metod fungerar även då det finns bakgrundsbrus i det inspelade ljudet. Eftersom bruset vid vanliga inspelningar kan antas komma från slumpmässiga ljud, dålig mikrofon och andra ickemusikaliska källor utan övertoner försvinner detta brus då metoden används. Därav fungerar metoden mycket bra då strängplock från en gitarr ska hittas i ett spektrum där en mängd andra ljud också spelats in. 8

10 4.3 Ackord För att hitta ett ackord bland inspelat ljud letar vi i spektrumet efter frekvenser som ingår i ackordet. Medelvärdet av dessa frekvensers amplituder i spektrumet ses som ett mått på ackordets styrka. På detta sätt jämförs styrkorna på de fördefinierade treklang-ackorden C, D, E, F, G, A och B i dur och moll. Det ackord med högst sådant medelvärde anses då vara det som sannolikt har spelats. De frekvenser vi letar efter för treklang-ackorden är grundfrekvensen, kvinten och tersen. Att leta efter dessa frekvenser har vi upptäckt ger bättre resultat än att leta efter grundtonen för de strängplock som ingår i varje ackord. Anledningen till att detta fungerar bättre är att grundtonerna för de låga strängplocken i ett ackord ofta har övertoner som överlappar grundtonerna hos de höga strängplocken i ackordet. Om en metod då letar efter varje enskild grundton hos ett ackords strängplock kommer den då även att mäta bidrag från låga strängars övertoner. Detta resulterar i ett oväntat högt amplitudmedelvärde och kan resultera i att fel ackord hittas, till synes av en slump. 4.4 Ljudanalys i realtid Ett spel som styrs av en gitarr måste analysera ljud i realtid. På grund av detta räcker det inte med att göra en lång inspelning som sedan analyseras. Spelet måste dela upp ljudinspelningen i mindre tidsintervall och analysera dessa inspelningar under spelets gång. Desto kortare inspelningstiden är desto kortare tid tar det innan spelet kan reagera på vad som spelats. Problemet här är, enligt slutet på teoriavsnittet 3.3, att möjligheten att skilja mellan frekvenser som ligger nära varandra blir sämre med kortare inspelningstid. Här måste en avvägning göras mellan noggrannheten i när ett ackord eller strängplock spelats och noggrannheten i avläsningen av vilka frekvenser det innehöll. Det viktigaste här är att spelet kan se skillnad på grundtonen hos de strängplock som kan spelas på en gitarr. Som nämns i teoriavsnittet 3.2 är skillnaden i ton mellan två efterföljande strängplock en halvton. Detta steg är i sin tur, enligt teoriavsnittet 3.1, proportionellt mot tonen man tar steget från. Alltså är inte skillnaden mellan två efterföljande strängplock fix, den beror istället på deras grundtoner och ökar med högre frekvens. Den minsta skillnaden som fås på en gitarr är mellan den öppna låga E strängen och när samma sträng anslås då första bandet är nedtryckt. Den öppna låga E strängen har en frekvens på 82.4 Hz och när det första bandet hålls ned ökar tonen med en halvton och frekvensen 87.3 Hz fås. Skillnaden här är 4.9 Hz. Således måste punkterna i spektrumet efter att Fast Fourier Transformen utförts ligga 4.9 Hz ifrån varandra eller närmare för att dessa två frekvenser ska hamna på varsin punkt i spektrumet. Om detta uppnås kommer varje strängplock på gitarren att hamna minst en punkt i spektrumet ifrån sin närmsta granne. Den inspelningstid som detta motsvarar kan lätt räknas ut. Som nämns i slutet på teoriavsnittet 3.3 är inspelningstiden direkt omvänt proportionell mot frekvensupplösningen. Ett punktavstånd i spektrumet på 4.9 Hz motsvarar en inspelningstid på 1 / 4.9 s = 204 ms. För att kunna urskilja den minsta skillnaden i grundton mellan strängplocken på en gitarr behöver alltså inspelningens längd vara mer än 204 ms. Med detta kan spelet skilja på alla gitarrens strängplock. Dock kan det inte avgöra om två toppar precis bredvid varandra i spektrumet kommer från två närliggande frekvenser eller om det är en enda frekvenstopp mitt emellan frekvenserna för punkterna som runnit över på dessa. Detta händer dock endast då två låga strängplock spelas snabbt i följd och hamnar i samma inspelning. En enkel lösning skulle vara att bara förlänga inspelningstiden. Dock skulle detta också föra med sig en ökad osäkerhet i när ackord och strängplock spelats. Vi har inte tagit fram någon lösning på detta och det blir istället en felkälla för oss vid inspelning av ackord och strängplock. 9

11 5 Resultat I detta kapitel beskrivs programmet. Här står vilket programmeringsspråk som använts, vilken färdig kod programmet bygger på, programmets olika delar beskrivs och hur spelet fungerar för användaren förklaras samt bilder på programmet visas. Programmet är i form av ett spel. Spelet består av menyer och spelskärmen. När spelet startas visas huvudmenyn varifrån det går att klicka vidare till ackordhjälpmenyn som visar hur de ackord spelet använder sig av spelas och en meny med en låtlista. Väljs en låt i låtlistan visas spelskärmen och spelet börjar. När låten är slut visas poängmenyn där de uppnådda poängen skrivs ut och hur många noter som träffats och så vidare. Figur 5-1: Spelets huvudmeny. I mitten av bilden ses tre knappar. Via knapparna kan spelaren klicka sig till låtlistan, ackordhjälpmenyn samt stänga spelet. 5.1 Språket Programmet är skrivet i programmeringsspråket Python. [7] Python är ett så kallat skriptspråk och har ett simpelt syntax. Språkuppbyggnaden liknar Java och C++ då det har de vanliga byggstenarna så som if-satser, for-loopar, while-loopar, funktioner och klasser. Fördelarna med Python som gjorde att vi valde språket är att det är enkelt, plattformsoberoende och att det finns mycket färdig kod att använda. En av nackdelarna med Python är att processorintensiva program många gånger inte blir lika snabba som program skrivna i t.ex. C++ eller Java. Trots att vi skulle göra ett spel, som generellt sett är väldigt krävande program, tyckte vi att fördelarna med Python övervägde nackdelarna. Språkets enkelhet gör att det går snabbt och lätt att skriva kod i det. Detta var viktigt för oss då vi ville koncentrera oss på ljudanalysen och att hinna få fram ett fungerande spel. Plattformsoberoendet var också viktigt för oss eftersom två av oss kör Windows medan en kör Mac. Det var avgörande att mycket färdig kod finns att tillgå gratis. Utan färdig kod skulle vi inte haft möjlighet att slutföra projektet på given tid. Den färdiga koden vi använder presenteras i avsnitt

12 5.2 Färdig kod Förutom den grundläggande funktionaliteten som finns inbyggd i Python använde vi oss av fem samlingar av färdig kod, kallade kodbibliotek. För inläsning av ljud använde vi oss av PyAudio, för grafik och fönster använde vi Pygame, för vektorberäkningar använde vi NumPy, för den diskreta Fouriertransformen använde vi SciPy och för att läsa in våra låtfiler använde vi PyYAML. [8-12] PyAudio är ett kodbibliotek som använder sig av PortAudio, ett kodbibliotek för programmeringsspråket C. Detta kodbibliotek klarar av att läsa in och spela upp ljud på flera olika plattformar, inklusive Windows, Linux och Mac. Man kan bland annat välja samplingsfrekvens, bufferstorlek och samplestorlek. [8] Pygame är ett kodbibliotek som använder sig av SDL, Simple DirectMedia Layer, ett kodbibliotek för programmeringsspråket C. Med detta kodbibliotek kan man öppna grafiska fönster, rita tvådimensionell grafik och hantera mus och tangentbord. Vi har använt detta kodbibliotek för att rita all grafik som syns i spelet samt för att ta emot musrörelser och klick och tangentbordstryck. [9] NumPy är ett kodbibliotek som har funktionalitet för att hantera stora vektorer och matriser. Kodbiblioteket innehåller också många väldigt optimerade matematiska operationer man kan utföra på dessa vektorer och matriser. Använder man dessa vektorer och matriser och de medföljande operationerna på dessa kan man skriva kod som går nästan lika snabbt som samma kod skriven snabbare språk så som C. Tack vare NumPy kan vårt spel utföra ganska många operationer på stora vektorer utan att det går sakta. [10] SciPy är ett kodbibliotek som har funktionalitet för signalanalys, diskret Fouriertransform, bildanalys, optimering etc. SciPy använder sig av NumPys vektorer och matriser. Vi använde SciPy för att utföra den diskreta Fouriertransformen på ljudet vi läst in med PyAudio. [11] PyYAML är ett kodbibliotek som kan läsa och skriva dataserialiseringsspråket YAML. Detta språk liknar andra dataserialiseringsspråk så som XML och JSON men är till för att vara lättare att läsa för människor. Det går snabbt och lätt att strukturera upp ett filformat med YAML som sedan lätt kan läsas in i ett program. Vi använde PyYAML för att läsa in våra låtfiler skrivna i YAML. [12] Förutom dessa fem kodbibliotek använde vi en färdig metod för att hitta amplitudtoppar i vektorer. Metoden hittades på internet och används i programmet för att avgöra vilka frekvenser som är starkast i en inspelad ljudsignal. [13] 5.3 Ljudinläsning Ljudet läses in via mikrofon med hjälp av PyAudio. Detta görs genom att en separat exekveringstråd startas vars enda uppgift är att läsa ljuddata med PyAudio och skicka vidare denna data till spelets huvudtråd. I huvudtråden körs huvudloopen som sköter ljudanalys, mus och tangentbord, jämföring av funna ackord och strängplock med sången och uppritning av grafik. Under ljudanalysen används den diskreta Fouriertransformen i form av Fast Fourier transformen från kodbiblioteket SciPy. Efter detta används olika metoder vi tagit fram och läst om, beskrivna under rubriken metoder. Typiska värden vi använt på samplingsfrekvensen är 8192 Hz med en bufferstorlek på 2048 sampel, dvs. ett fönster på 250 ms. Vi använder en sampelstorlek på 16 bitar som ger oss en amplitud för varje sampel på mellan och

13 5.4 Grafik och användargränssnitt För att öppna fönster, rita grafik och hantera mus och tangentbord använde vi kodbiblioteket Pygame. Ovanpå Pygame utvecklades ett grafiksystem uppbyggt av skärmar som i sig fylls med grafikelement. För varje meny i spelet finns en speciell fördefinerad skärm fylld med de grafikelement som ska synas. Ett grafikelement kan vara till exempel en knapp, en text eller en färgad ruta. Spelets grafik drivs med mus och tangentbord via händelser. Varje mustryck, musförflyttning och tangentbordstryck översätts av Pygame till en händelse som sedan hanteras av spelet. Händelser från musen skickas till det grafikelement som befinner sig under musen då händelsen skedde. Ett grafikelement väljer sedan själv om den ska hantera händelsen. På detta sätt kan en knapp tryckas in genom att föra musen över den och klicka medan en text inte påverkas av musen. De skärmar som finns i spelet hanteras i grafiksystemet av en så kallad skärmhållare. Den skärm som är synlig kan signalera till skärmhållaren att en annan skärm ska öppnas. Skärmhållaren byter då till denna samtidigt som den sparar en historik över vilka skärmar som varit öppna. På det sättet kan en skärm signalera till skärmhållaren att den ska gå tillbaka till föregående skärm utan att den signalerande skärmen själv vet vilken skärm som var dess föregångare. 5.5 Låtfiler och låtinläsning Varje låt som kan väljas från låtlistan är sparad i en egen låtfil. Låtfilerna följer ett format som vi själva skapat med hjälp av YAML. I varje låtfil står låtnamn, författare, svårighetsgrad, längd, fördröjning innan start och slag per minut. Förutom denna information innehåller varje låt också en lista med noter. Varje not har en typ, plock eller ackord, och ett värde på hur många taktslag som ska passera från förra noten innan noten ska spelas. Noter av typen plock innehåller vilken sträng och vilket band som ska spelas och noter av typen ackord innehåller vilket av de fördefinerade ackorden som ska spelas. När en låt startas läses den först in i spelet med hjälp av PyYAML och översätts sedan till spelets interna sätt att representera låtar. 5.6 Att spela Väl inne i spelet visas vilka noter som ska spelas och när de ska spelas. Det som visas på skärmen under spelets gång är noterna, strängarna, träffzonen, poängtavlan, tidsmätaren, ljudintensitetsmätaren, paustexten samt en tillbakaknapp. Noterna rör sig från höger till vänster. Varje not representerar antingen ett ackord eller ett strängplock och är placerade på strängarna beroende på vilken eller vilka strängar som ska spelas för noten. Noter som representerar ackord sträcker sig över de strängar som ingår i ackordet. Noter som representerar strängplock ligger på den sträng som de ska spelas på. Noterna för strängplock visar också en siffra för att indikera vilket band som ska spelas. När en not spelas då den befinner sig i träffzonen färgas dess kant grön för att indikera detta. Om en not hinner röra sig igenom träffzonen utan att den spelas färgas dess kant röd för att visa att den missades. Noter som inte kommit in i träffzonen har svart kantfärg. Träffzonen ligger till vänster om mitten och utgörs av ett stort grönt fält. Från högra kanten på träffzonen sträcker sig strängarna hela vägen till högra kanten på skärmen. Poängtavlan visar hur många poäng spelaren uppnåt samt hur hög multiplicerare spelaren har. Multipliceraren går från 1 upp till max 4 och ökar med ett varje gång en not spelas inom träffzonen. Poängen spelaren får när den spelar en not inom träffzonen multipliceras med multipliceraren. Det lönar sig därför extra mycket att spela rätt flera gånger i rad. 12

14 Längs skärmens undre kant visas tidsmätaren, paustexten och tillbakaknappen. Tidsmätaren fylls från låtens början till dess slut för att visa hur långt som gått och hur långt som är kvar på låten. Paustexten talarom för användaren hur spelet pausas. Klickar spelaren på tillbakaknappen tas den från spelet till låtlistan. Vid skärmens vänstra kant visas en ljudintensitetsmätare. Denna kan användas för att få en uppfattning av om datorns mikrofon tar emot ljud som den ska. Spelas något på en gitarr bör ett tydligt utslag synas på mätaren. Figur 5-1: Skärmdump som visar spelskärmen. Till vänster om mitten syns den gröna träffzonen. Från dess högra kant och åt höger är gitarrsträngarna representerade. Till vänster inom träffzonen syns en ackord-not. Dess gröna kant indikerar att den spelades inom träffzonen. Noten till vänster om denna har röd kant för att indikera att den aldrig spelades inom träffzonen. Noterna till höger om båda dessa har alla svart kant, de har inte kommit in i träffzonen än. Uppe i vänster syns poängtavlan, till vänster intensitetsmätaren och nere längs skärmens underkant syns tidsmätaren, paustexten och tillbakaknappen. 13

15 6 Diskussion I detta kapitel tar vi upp våra tankar kring varför vi valt de metoder vi valt och tankar kring resultatet. Det diskuteras även kring vilka programförbättringar man kan tänka sig och vilka begränsningar just vårt program har. 6.1 Metoddiskussion Under arbetets gång har problem dykt upp och dessa har lösts med olika metoder. Detta avsnitt tar upp tankar kring de metoder vi valt och varför vi valt dem. När frekvensspektrumen från olika anslag av samma sträng jämfördes visade det sig att frekvenskomponenternas amplituder varierar kraftigt. Ibland blir grundtonen starkare än övertonerna, ibland blev vissa övertoner starkare än grundtonen. Brus kan också ställa till med problem och ibland se ut som toner som inte borde finnas där. Situationen blir än mer komplicerad då flera strängar anslås samtidigt. Här kan vibrationer från en anslagen sträng få en icke anslagen sträng i svängning på grund av att till exempel övertoner matchar. På så vis kan oförutsedda frekvenser hittas. Dessa vibrationer håller sig dock oftast tillräckligt små för att de inte ska ställa till med problem. Figurerna 6.1-1och visar frekvensspektrumet för två olika anslag av ackordet D-dur. Figur 6.1-1: Effektspektrum av ett spelat D-dur. De frekvenskomponenter som ingår är 146, 220, 293 samt 370 Hz. Noter att amplituden vid D-dur ackordets frekvens 370 Hz är osynligt låg samt att amplituderna på övertonerna är väldigt låga. Figur 6.1-2: Effektspektrum av D-dur. De frekvenskomponenter som ingår är 146, 220, 293 samt 370 Hz. Noter att amplituden vid D-dur ackordets frekvens 370 Hz är osynligt låg samt hur amplituderna på övertonerna varierar väldigt mycket. 14

16 Oregelbundheterna i effektspektrumen skapade problem då vi till en början funderade på att använda ett matchat filter för att avgöra vilken/vilka sträng/strängar som slagits. Det gick inte att använda då vi inte riktigt kan förutse hur frekvensspektrumet kommer se ut. Tanken att digitalt skapa ett idealt plock/ackord och sedan göra ett matchat filter utifrån detta fanns. Detta tror vi dock hade varit svårt att göra i praktiken. Dels måste ett filter skapas för alla ackord/plock vi vill ha med i programmet. Dels hade vi troligtvis varit tvungna att skicka signalen genom var och ett av de matchade filter vi skapat. Med denna metod måste också fasen hos inspelningen relativt filtrena tas i beaktning. Metoden vi använder där vi hittar ackord genom att leta efter det ackord vars frekvenser har det största medelvärdet bland de fördefinerade ackorden har sina problem. Det kan vara svårt att skilja på två ackord som har många frekvenser gemensamma. Med oregelbundenheterna i amplituder som uppvisas och andra strängar som klingar kvar sedan tidigare, kan då ett närliggande ackord hittas om det medelvärdet råkar bli större. En möjlighet att hitta strängplock som övervägdes är att titta efter största topparna i frekvensspektrumet. En nackdel med denna metod är att man snabbt märker att grundtonen hos ett strängplock sällan är den största toppen i frekvensspektrumet. Denna metod hade, om den implementerades i ett spel, oftast resulterat i att spelet tror att spelaren spelar en av övertonerna i strängplocket och inte själva grundtonen. Om denna metod används men spelet istället letar i spektrumet och ger rätt direkt om den hittar frekvensen den letar efter skulle det istället bli väldigt lätt att fuska. Spelaren skulle ofta kunna slå på måfå och träffa rätt frekvens med något strängplock eller överton. Vår lösning på detta problem var att använda Harmonic Product Spectrum metoden, vilken beskrivs i avsnitt 4.1. Under våra tester hittar denna metod oftast rätt grundton bland topparna i ett frekvensspektrum vid ett spelat strängplock. Denna metod skulle dock kunna kompletteras med andra metoder som räknar före, efter eller på sidan om för att förbättra resultatet. Vi har dock funnit att metoden räcker för våra ändamål. 15

17 6.2 Resultatdiskussion Som beskrivs mer ingående i avsnitt 2 ställde vi upp följande huvudmål inför projektet. Spelet som slutprodukt skulle: kunna spelas på en vanlig dator med mikrofon, kunna användas med en vanlig, välstämd nylonsträngad akustisk gitarr, känna igen de vanliga treklang-ackorden A-G i dur och moll, ha få störningsmoment och ha ett grafiskt användargränssnitt. Slutprodukten uppfyller denna målsättning. Spelet fungerar på de allra flesta datorer som är utrustade med en mikrofon. Under utvecklingen användes nylonsträngade gitarrer och spelet kan då hitta treklang-ackorden A-G i dur och moll. Under spelets gång störs inte användaren av att spelet beter sig oväntat eller att det inte hittar tillräckligt många av de spelade ackorden och strängplocken. Hela spelet inklusive menyer och gränssnitt då man spelar visas grafiskt. Potentiella störningsmoment är till exempel fördröjning från anslag av ackord eller strängplock tills dess att spelet reagerar och att spelet inte hittar de ackord och strängplock som spelas. Fördröjningen påverkas av hur lång tid ljud spelas in innan det analyseras och hur lång denna analys tar. Vi fann under utvecklingen att en inspelningstid per block på 250 ms täcker alla krav vi ställde på noggrannhet vid urskiljning av frekvenser. Här blir beräkningstiden obetydlig då den ofta hamnar runt ms. Vi märkte att denna fördröjning inte upplevs störande då spelet spelas. Under våra tester av spelet har vi också märkt att det hittar rätt ackord och strängplock oftare än 9 av 10 gånger. Detta upplevs enligt oss under spelets gång inte som störande. Spelet kräver att en välstämd nylonsträngad gitarr används. Detta kommer av att frekvensspektrumet förvrängs om gitarren är felstämd samt att frekvensspektrumet skiljer sig mellan olika strängtyper. Båda begränsningarna ansågs vara vettiga för detta projekt eftersom det är lätt att stämma en gitarr tillräckligt bra med en vanlig stämapparat och nylonsträngning är väldigt vanlig på akustiska gitarrer. Utöver detta krävs också att vissa parametrar i spelet ställs in för varje dator och gitarrkombination. Detta beror på att varje mikrofon hör varje frekvens olika starkt och att varje gitarr ger ifrån sig olika starka övertoner. Ackord som har många frekvenser gemensamt är svårare att skilja från varandra. Någon enstaka gång kan man kan få rätt för andra ackord än det man ska spela om dess frekvenskomponenter är snarlika. Detta händer oftast för dur och moll ackord för samma ton men också, mer sällan, för ackord för olika toner. En bieffekt av att inspelningstiden för varje block är 250 ms blir att det är svårt att skilja på ackord som spelas kortare än 500 ms ifrån varandra. Detta måste tas i hänsyn när en låt skapas för spelet. Eftersom 500 ms ofta är en ganska kort tidsperiod i jämförelse med hur lång tid det tar att spela ett ackord så orsakar denna begränsning sällan problem. 16

18 6.3 Programförbättringar Spelet klarar nu av de vanligaste ackorden. Detta går naturligtvis att utöka så fler ackord ingår. Man kan även tänka sig att det går att hitta en algoritm som kan urskilja olika gitarrtekniker såsom slide, då en sträng anslås på ett band varefter det finger som håller ned strängen hålls nedtryckt och dras till ett annat band, och hammer on, då strängen hålls ned på ett nytt lägre band då den redan svänger. Det förutsätter dock att det finns något regelbundet mönster i spektrumet som man kan identifiera på ett tillförlitligt sätt. Det skulle också vara möjligt att lägga till fler lägen i spelet så att det kan användas med fler instrument än nylonsträngad akustisk gitarr. Om man studerar spektrumet från instrumentet och ser vad som är karaktäristiskt för dess olika toner skulle detta inte vara ett allt för stort projekt. Spelet skulle då kunna ha en till meny där man väljer instrument och sedan låt man vill spela. Eftersom listan av ackord och plockade strängar är lång finns möjligheter att göra väldigt många låtar. Problemet med att inspelningstiden per block är 250 ms, att ackord inte kan komma för tätt i spelets låtar, skulle kunna lösas genom att spelet spelar in under kortare tidsintervall. Dessa kortare inspelningar skulle sedan analyseras flera åt gånger samtidigt som de block som analyseras byts ut en åt gången. På detta sätt skulle upplösningen i frekvens kunna behållas samtidigt som en ökad uppfattning om när ett ackord spelats skulle fås. Som spelet är nu måste en ny textfil skapas manuellt för varje låt som läggs till i spelet. För att göra denna process enklare skulle en låteditor kunna konstrueras. Här skulle användaren kunna grafiskt lägga in de ackord och strängplock som ska spelas och bestämma när de ska spelas. Editorn skulle också kunna utnyttja spelets förmåga att läsa av vad som spelas på en gitarr för att föra in ackord och strängplock i låteditorn, vilka sedan skulle kunna justeras grafiskt i editorn. Denna inspelning från gitarr skulle få begränsningen att det inte går att avgöra med större noggrannhet än 250 ms när ett ackord eller plock spelades då inspelningstiden är 250 ms per block innan ljud analyseras. Det skulle också kunna bli omständigt eftersom spelet ofta hittar fler ackord och strängplock än de som faktiskt spelats. En annan möjlighet är att låteditorn skulle kunna läsa in redan etablerade format så som MIDI [14] eller GuitarPro-filer [15]. Som spelet fungerar nu behöver några värden ställas om för varje kombination av dator och gitarr. Detta skulle kunna åtgärdas genom att man lägga till en kalibreringsfunktion i spelet. Denna funktion skulle låta spelaren spela på sin gitarr och analysera amplitudnivåerna på de frekvenser som spelet hör. Denna information skulle kunna sparas för att normalisera amplituden mellan olika frekvenser och på så sätt komma runt problemet med att olika mikrofoner hör olika frekvenser olika bra. Detta skulle kunna sparas som en profil för varje mikrofon och gitarr som spelaren har. Det skulle också kunna finnas fördefinierade profiler för olika sorters gitarrer för att hantera att olika gitarrer ger ifrån sig olika starka övertoner. 7 Slutsatser Med tanke på framgången som Guitar Hero haft kan man fundera på varför spel för riktiga gitarrer inte växt och blivit stora. Vi har i och med detta projekt visat att det går att skapa ett spel till vanliga PC datorer som går att styras med en vanlig gitarr via datorns mikrofon. Det resulterande spelet uppfyller vår målsättning och dess spelbarhet är mycket god. Den tid vi lagt ned på detta spel motsvarar inte alls den tid som läggs ner på kommersiella spel vilket borde tyda på att de problem och förbättringsmöjligheter vi sett bör kunna lösas ifall någon skulle ta denna ide och realisera den på marknaden. 17

19 8 Referenser [1] Musikspelet Guitar Hero [2] Spänd strängs svängningsfrekvenser [3] Fouriertransformen [4] Frekvensupplösning vid diskret Fouriertransformering G. Heinzel, A. Rudiger och R. Schilling, : Spectrum and spectral density estimation by the Discrete Fourier transform (DFT), including a comprehensive list of window functions and some new at-top windows. Teilinstitut Hannover. [5] MATLAB [6] Harmonic Product Spectrum metoden M. R. Schroeder : Period Histogram and Product Spectrum: New Methods for Fundamental-Frequency Measurement. Bell Telephone Laboratories, Murray Hill, New Jersey. [7] Python [8] PyAudio [9] Pygame [10] NumPy [11] SciPy [12] PyYAML [13] Metod för att hitta toppar i vektorer, Eli Billauer [14] Ljudfilformatet MIDI [15] Gitarrprogrammet GuitarPro 18