Uppgift 1: Big data och deras användningsutmaningar

Transkript

1 Uppgift 1: Big data och deras användningsutmaningar Läs först noggrant bakgrundsmaterialet nedan och besvara sedan de påföljande frågorna. Ute i världen mäts kontinuerligt en stor mängd olika saker, till exempel radiosignalers kvalitet, och dessa mätvärden utgör data. Också uppdateringarna i sociala medier och butikskedjornas kassauppgifter utgör data. Olika format data från olika källor skapas hela tiden mera och mera och det är enkelt att distribuera data över hela världen. Vi talar om big data då det gäller så stora och komplicerade mängder data att deras analys och utnyttjande är utmanande och kräver utveckling av nya metoder. Trots detta har man ställt stora förväntningar på användningen av big data. Man väntar sig att de ger nya businessmöjligheter och möjligheter att lösa problem som tidigare inte kunnat lösas. Då man karaktäriserar big data, relaterar man ofta följande ord till dem: Volym: Data produceras kontinuerligt i så stora mängder att deras behandling och lagring är utmanande. De kan också vara fysiskt på olika ställen, vilket ställer tilläggsutmaningar på databehandlingen. Fart: Farten med vilken data produceras stiger hela tiden. Redan nu är det omöjligt att spara alla data och i framtiden är situationen än värre. Å andra sidan skulle det vara viktigt att ha åtkomst till alla data, så att de kunde användas förnuftigt. Variation: Data finns av olika form och också mängden olika datakällor växer hela tiden. Man har inte ännu lyckats standardisera datas lagringsformat på ett tillfredsställande sätt. Detta gör det svårare att analysera data och utnyttja dem. Skillnader i data uppstår också på grund av olika mätningsförfarande, mätningsenheter, noteringssätt för numeriskt data och till och med mätarnas kalibrering. Också språk- och kulturskillnader skapar huvudbry, i synnerhet för lagring av data i textformat. Olika format för visuella data kan förorsaka problem, likaså olika koordinatsystem i fråga om geodata (geografiska data). Korrekthet: Data som produceras är inte nödvändigtvis speciellt exakta. De kan också vara oklara eller direkt felaktiga. Ibland är datas mätningsoch uppsamlingsmetoder olika, eller de är okända, och därför är det inte uppenbart att data från olika källor är jämförbara. I värsta fall vet man inte om temperaturen är given i enheten Celsius eller Fahrenheit. 1

2 Relevans och värde: Data är ofta realtidsdata, i vilket fall deras nytta är bunden till tidpunkten. Data kan vara av smärre intresse eller betydelse vid en viss tidpunkt eller i ett visst sammanhang, för att senare eller i ett annat sammanhang vara mycket intressanta och värdefulla. Å andra sidan kan data vara värdelösa för en viss aktör eller organisation, medan de kan vara guld värda för en annan. Ibland ligger datas värde, deras betydelse, i att de ger information om hur data förändras med tiden. Som exempel kan nämnas data som hänför sig till klimatförändringen, där de intressanta och betydelsefulla data är hur till exempel havsytans höjd förändras med tiden. Dessa karaktäriseringar ger vid handen att det ligger mera bakom fenomenet big data än bara väldigt stora datamängder. För att de stora mängderna data ska vara till nytta bör de raffineras till information. Data blir till information när de analyseras och presenteras så att de har någon betydelse. Exempelvis kan en mobiloperatör känna till alla dess kunders mobiltelefoners realtida plats, men det blir information av data först när de används på ett lämpligt vis, till exempel genom att erbjuda en tjänst till mobiler enligt plats, så att tjänsten är annorlunda i stadens centrum än i förorterna. På motsvarande sätt gör man inget med observationsdata från en väderstation, innan de har analyserats till en väderrapport eller till historiska data som beskriver klimatförändringen. Mängden väderdata växer hela tiden och data kan idag samlas i olika form, med olika mätare och mätenheter än tidigare. Klimatdata (temperatur, gashalter, havsytans höjd osv.) som sträcker sig från våra dagar tillbaka hundratusentals år har samlats med olika tekniker och metoder, delvis genom beräkningar, och dessa data är utmanande att analysera. En utmaning för big data i material som dessa är hur man får ut det väsentliga ur data utan misstolkningar och utan felaktiga antaganden. För att data skall kunna bli information behövs en massa olika hjälpmedel: komplicerad programvara, beräkningsmodeller och lösningar, och för att framställa dem olika slags kompetens: bland annat programmeringskunskap, förståelse för statistik och businessmedvetande. Dessutom bör det finnas tillräcklig information om själva data (hur, när och vem mätte med vilka tekniker). Till användningen av big data hör också att många aktörer öppnar sina data för användning av vem som helst. Som exempel har Lantmäteriverket i Finland öppnat kartdata som de samlat, så att det är tillgängligt för alla, och dessa data används av många företag i olika tjänster baserade på kartor. På motsvarande sätt har Meteorologiska institutet i Finland öppnat väderradardata och de används till exempel i applikationer för väderinformation. 2

3 Exemplen visar hur ny business kan uppstå när data är öppna. En viktig aspekt för användningen av big data är förtroende: data uppstår inte från ingenting och det finns risk också för missbruk. Data om temperaturen på olika platser används kanske inte så lätt fel, men om geodata för mobiltelefonerna kombineras med personlig information är redan möjligheten för missbruk större. Å andra sidan ger de stora datamassorna möjligheter att producera välstånd, tjänster och ny business. Således bör alla företag och organisationer som överväger att lägga ut data öppet göra det med besinning och avgöra på förhand vilka data som kan öppnas och med vilka spelregler. Frågorna Svara på följande frågor på basen av bakgrundsmaterialet ovan och dina allmänkunskaper. Frågornas sammanlagda maximala antal poäng är 25. Fråga 1. Ge konkreta exempel med motiveringar på fem olika drag som karaktäriserar big data. Välj exemplen så att de avviker från varandra och inte är tagna ur bakgrundsmaterialet ovan. Ge alltså sammanlagt fem exempel. Ge 1-2 meningar med motiveringar per exempel. (maximalt antal poäng 5) Fråga 2. Under senare tid har man diskuterat spårning i realtid av fordon i samband med fordonsskatten. För att fordonets färd skall kunna följas måste i praktiken en GPS-mottagare installeras i fordonet. GPSmottagaren sänder kontinuerligt data om bilens plats. Om vi antar att ett sådant system tas i användning i Finland a) till vilka andra nyttiga ändamål kunde data som samlas med detta system användas? b) vilka etiska problem kan finnas i samlandet och utnyttjandet av dessa data? c) vilka tekniska utmaningar kan finnas för att sätta upp och använda dessa system? d) vilka utmaningar för att data skall bli information kan man möta då man anväder detta system? Nämn två exempel per punkt (a, b, c, d). Motivera. (maximalt antal poäng 8) 3

4 Fråga 3. Ofta när man utnyttjar big data har man samlat data från olika källor för analys och produktion av information. Mätningssättet och lagringsformatet kan emellertid förorsaka problem då data har olika källor. Som exempel på detta kan nämnas lagring av data i olika format: det amerikanska sättet 04/11/2014 anger 11 april 2014, men för finländare är det 4 november. Ge fyra exempel, som inte har getts i bakgrundsmaterialet och som avviker från varandra, på analys av big data, där problem kan uppstå på grund av att data har olika källor och mätningen, insamlingen och lagringsformatet av data varierar. Begrunda för varje problem också hur det kunde lösas. (maximalt antal poäng 12) 4

5 Uppgift 2: Suxtabell Bekanta dig noggrant med följande text och svara med hjälp av den de fem frågorna i slutet av uppgiften. Att nna en given teckensträng (så kallad mönster) från en annan längre teckensträng (texten) är en grundläggande tillämpning i datavetenskap. Man kan lösa sökningen genom att gå igenom hela texten från början till slut och samtidigt kontrollera om mönstret man söker nns på den platsen. Det här tillvägagångssättet är emellertid långsamt om texten är mycket stor. Man kan göra sökningen snabbare genom att på förhand göra en indexkonstruktion utifrån texten. Med hjälp av indexkonstruktionen kan man undvika att behöva gå igenom hela texten. En enkel och mycket använd indexstuktur kallar suxtabell. Metoden har allmänt används till exempel för eektiv sökning i stora DNA-datamassor, så som människans genom med ca. 3 miljarder tecken. En teckensträng består av tecken efter varandra. Man kan hänvisa till en teckensträng med en teckensträngsvariabel. Hänvisning till vissa tecken i teckensträngen kan göras genom att ge tecknets index i hakparentes direkt efter teckensträngsvariabeln. Till exempel betyder x[1] det första tecknet i teckensträngen x. Beteckningen x[i..j] betyder den delteckensträng av teckensträngen x som börjar vid index i och slutar vid index j. En delteckensträng som fortsätter till slutet av teckensträngen kallas sux. Suxets startindex kallas suxets index. Vi använder <,, =,, > i samband med teckensträngarna x och y för att jämföra deras alfabetiska ordning. Till exempel betyder x y att x är mindre eller lika stor som y enligt alfabetisk ordning och x = y betyder att x och y är samma teckensträng. Exempel 1. Om teckensträngen x är dator gäller att: x[1] = d, x[2] = a och x[4] = o. x[1..3] = dat, x[3..3] = t och x[2..5] = ator. Suxen till teckensträngen x givna i ordning enligt suxens index, dvs enligt startindexet 1, 2, 3, 4 och 5, är x[1..5] = dator, x[2..5] = ator, x[3..5] = tor, x[4..5] = or och x[5..5] = r. Vi hänvisar till en text med teckensträngsvariabeln t och till mönstret vi söker i texten med teckensträngsvariabeln p. Dessutom antar vi att längden på texten t är n. Suxtabellen S för texten t är en heltalstabell med n element och som innehåller textens suxens index i alfabetisk ordning för suxen. Tabellens S index i värde, som vi betecknar S[i], anger från vilken plats i texten den i ordningen i minsta suxet börjar: S[1] anger index för det minsta suxet 1

6 (enligt alfabetisk ordning) i texten, S[2] index för följande sux i alfabetisk ordning osv. Man kan beteckna saken också så att för index i = 2,..., n gäller villkoret t[s[i 1]..n] t[s[i]..n]. Exempel 2. Suxen för texten t = abababba är abababba, bababba, ababba, babba, abba, bba, ba och a. Nedan är till vänster suxen för texten t i alfabetisk ordning och till höger suxtabellen S för texten t. Notera att suxtabellens värden är desamma som suxens index till vänster. Till exempel beskriver värdet S[5] = 7 att det i alfabetisk ordning femte största suxet börjar från indexet 7, dvs. är t[7..8] = ba. Sux (alfabetisk ordning) Suxets index Index i S[i] a 8 abababba 1 ababba 3 abba 5 ba 7 bababba 2 babba 4 bba En grundläggande egenskap för sux är att om mönstret p nns någonstans i texten, så nns p som början på suxet som börjar på det stället i texten. Vi säger då att mönstret p stämmer överens med suxet ifråga. Vi kan söka mönstret p från texten genom att söka ett sådant sux som stämmer överens med p. Med hjälp av suxtabellen kan denna sökning utföras eektivt genom användning av så kallad binärsökning. Binärsökning upprätthåller information om det suxtabellens intervall som i enlighet med den information vi har för tillfället skulle kunna innehålla ett sux som stämmer överens med mönstret p. Vi använder för sökintervallets startindex beteckningen start och för slutindex beteckningen slut. Dessutom bestämmer vi det mittersta indexet mitt med formeln mitt = (start+slut)/2, som vi avrundar uppåt om summan (start + slut) är udda. I början kan alla sux vara möjliga så start = 1 och slut = n. Binärsökningen jämför mönstret och suxet i sökintervallets mitt t[s[mitt]..n] med varandra. Om mönstret stämmer överens, kan sökningen avslutas 1. Annars gäller antingen p < t[s[mitt]..n] eller p > t[s[mitt]..n]. Om p < t[s[mitt]..n], dvs. mönstret är i alfabetisk ordning mindre än suxet i index S[mitt], så kan inga sux i intervallet mitt,...,slut stämma överens med mönstret. Detta är en direkt följd av att suxtabellen innehåller 1 I denna uppgift koncentrerar vi oss på att hitta ett mönster; mönstret kan dock förekomma era gånger i texten. 2

7 suxen i alfabetisk ordning. Då uppdaterar binärsökningen sökintervallets övre gräns till slut = mitt 1 och jämför mönstret i nästa omgång med suxen i mitten av det nya sökintervallet. Om p > t[s[mitt]..n] kan på motsvarande sätt konstateras att inga sux i intervallet start,..., mitt kan stämma överens med mönstret. Då kan vi uppdatera den undre gränsen till start = mitt + 1. Om sökintervallet blir tomt under sökningen, dvs. kriteriet start > slut uppfylls, avslutas sökningen utan resultat: texten innehåller inga fall av mönstret p. Nedan är sökningen av mönstret p i texten t med hjälp av suxtabellen S beskriven i lite mer exakt steg för steg: 1. Ställ sökintervallets startindex start = 1 och slutindex slut = n. 2. Om start > slut dvs. sökintervallet är tomt, sluta sökningen: mönstret p nns inte i texten. 3. Räkna mittindexet mitt mellan start- och slutindex: mitt = (start + slut)/2, avrundat uppåt vid behov. 4. Jämför mönstret p med intervallets mittersta sux t[s[mitt]..n]. Om p stämmer överens med början av t[s[mitt]..n], så avsluta sökningen med informationen att mönstret p hittades med start i textens index S[mitt]. Om p inte stämmer överens med intervallets mittersta sux t[s[mitt]..n], så: Om p < t[s[mitt]..n], uppdatera slut = mitt 1 och fortsätt sökningen genom att gå tillbaka till punkt. Om p > t[s[mitt]..n], uppdatera start = mitt + 1 och fortsätt sökningen genom att gå tillbaka till punkt 4. 3

8 Exempel 3. Mönstret p = ababbaba sökning i texten t = abbaababbababbab. 1. Inled med start = 1, slut = 16. Sux i S[i] aababbababbab 1 4 ab 2 15 ababbab 3 10 ababbababbab 4 5 abbaababbababbab 5 1 abbab 6 12 abbababbab 7 7 b 8 16 baababbababbab 9 3 bab bababbab 11 9 babbab babbababbab 13 6 bbaababbababbab 14 2 bbab bbababbab mitt = (1 + 16)/2 = 9, p < t[s[9]..16], slut = mitt 1 = mitt = (1 + 8)/2 = 5, p < t[s[5]..16], slut = mitt 1 = mitt = (1 + 4)/2 = 3, p > t[s[3]..16], start = mitt + 1 = mitt = (4 + 4)/2 = 4, p stämmer överens med t[s[4]..16] och sökningen avslutas. I exemplets binärsökning måste vi kontrollera 4 textavsnitt. Binärsökningens fördel är att antalet steg i sökningen växer väldigt långsamt då textens storlek växer. Till exempel har människans genom ca. 3 miljarder tecken, och vid en binärsökning för en sådan textmängd skulle vi behöva kontrollera högst 32 textavsnitt. Frågorna Fråga 1. Ange stegen binärsökningen gör då den söker mönstret p = babaa i texten i exemplet 3 t = abbaababbababbab. Ge ditt svar i samma form som i exemplet 3, dvs. ge för varje steg sökintervallets värden start, slut och mitt. (maximum antal poäng 3) Fråga 2. Ge suxtabellen för teckensträngen t = yhteisvalinta. (maximum antal poäng 4) Fråga 3. a) Ge suxtabellen för teckensträngen t = aacatcgatagctagaacat. (maximum antal poäng 4) 4

9 b) Ange stegen binärsökningen gör då den söker mönstret p = cga i texten i punkt a). Ge svaret i samma form som i exemplet 3, dvs. ge för varje steg sökintervallets värden start, slut och mitt. (maximum antal poäng 3) Fråga 4. Ge någon sådan teckensträng som består av tecken i svenska alfabetet som har en suxtabell som den här nedan. I denna uppgift duger alltså tecken som hör till alfabetet a, b, c,..., ö. (maximum antal poäng 4) i S[i] Fråga 5. Ge en sådan teckensträng som innehåller underlineenbart tecknen a och b som har en suxtabell som den här nedan. (maximum antal poäng 7) i S[i]

10 Uppgift 3: Problemlösningsuppgift Denna uppgift består av tre sinsemellan oberoende deluppgifter som mäter den allmänna förmågan att lösa problem. Fråga 1. Fyra spelkort läggs på bordet. Två av dessa kort är röda på framsidan och två är svarta. Korten är på bordet med baksidan uppåt, så att färgen inte syns. Välj två av korten slumpmässigt. Med vilken sannolikhet är de av samma färg? (maximalt antal poäng 4) Fråga 2. (a) Rita figuren nedan på ditt svarspapper och placera siffrorna från ett till åtta i figuren enligt följande regler: Varje siffra läggs i sin egen cirkel Två siffror som kommer efter varandra i storleksordning kan inte vara i cirklar som är förenade med en linje Till exempel om siffran 4 placeras i den översta cirkeln, kan inte siffrorna 3 och 5 placeras i någon av de tre cirklarna under den. (maximalt antal poäng 6) (b) Det finns totalt fyra olika placeringar av siffrorna som ger lösningar som uppfyller kraven givna i a-fallet. Antag att a-fallet löses genom att gå igenom all möjliga sätt att placera siffror i figuren. Om det tar 10 sekunder att placera en siffra, hur lång tid tar det i värsta fall att finna en lösning? (maximalt antal poäng 4) 1

11 Fråga 3. I ett tärningsspel kastar två spelare var sin egen 6-sidiga tärning. Det större ögonantalet vinner (vid jämnt spel kastar man på nytt tills den ena vunnit). Tärningarna som används är kubformade och var och en av de sex sidorna kan bli uppåt med samma sannolikhet. Tärningarna är emellertid ovanliga så till vida att sidorna är märkta med ett värde godtyckligt taget från talmängden {1,2,3,4,5,6}. Samma värde kan alltså finnas på flera av sidorna och på motsvarande sätt kan några värden saknas helt. (a) Det finns tre tärningar (A, B och C) på bordet med följande värden på sidorna: Tärning A: 2, 2, 2, 5, 5, 5 Tärning B: 3, 3, 3, 3, 3, 6 Tärning C: 1, 1, 1, 4, 4, 4 Spelaren 1 får först välja sin tärning, varefter spelaren 2 får välja sin av dem som är kvar. Motivera vilken tärning spelare 1 borde välja så att han alltid har ett försprång i spelet (dvs. över 50% sannolikhet att vinna). (maximalt antal poäng 5) (b) För att ge spelare 2 en bättre chans får spelaren 2 planera en ny 6-sidig tärning i enlighet med villkoren beskrivna i början av frågan 3, och får placera den i stället för tärningen C. Igen görs det så, att spelaren 1 väljer sin tärning först, därefter får spelaren 2 välja sin av dem som är kvar. Planera en sådan ny tärning C och spelstrategi för spelaren 2, att han har försprång i spelet, eller visa att det här inte är möjligt. (maximalt antal poäng 6) 2