Vala Ett optimeringsverktyg för resursfördelning inom grundskolan i Lunds kommun

Transkript

1 Teknik och samhälle Datavetenskap Examensarbete 15 högskolepoäng, grundnivå Vala Ett optimeringsverktyg för resursfördelning inom grundskolan i Lunds kommun Vala An optimization tool for resource allocation in Lund municipality s elementary schools Andreas Indal Jimmy Lindström Examen: Kandidatexamen 180 hp Huvudområde: Datavetenskap Program: Systemutvecklare Datum för slutseminarium: Handledare: Ivan Kruzela Examinator: Bengt J. Nilsson

2

3 Förord Vi vill inleda med att tacka vår handledare, Ivan Kruzela, för allt stöd vi fått under våren. Ditt engagemang har varit otroligt inspirerande! Vi vill dessutom tacka Britt Steiner och Patrik Persson på Lunds kommun som hjälpt till att ta fram material och data som underlättat genomförandet av studien. Avslutningsvis vill vi också passa på att tacka våra familjer och vänner för allt stöttande och peppande. Bilden på framsidan, Völvan från Völuspá, illustrerades av Carl Larsson Bilden är hämtad från Projekt Runeberg ( som arbetar på frivillig grund med att skapa fria elektroniska utgåvor av klassisk nordisk litteratur och göra dem öppet tillgängliga över Internet.

4

5 Sammanfattning Idag sker resursfördelning inom grundskolan i Lunds kommun av kommunfullmäktige i en skolpeng. Skolpengen består av en grundresurs, som är lika för alla skolor, samt en tilläggsresurs som baseras på olika socioekonomiska aspekter och är individuell för varje enskild skola. För att räkna fram tilläggsresursen använder Lunds kommun en resursfördelningsmodell. Kommunpolitikerna menar att de inte kan fastställa ifall modellen gör någon verklig skillnad utifrån de resultat som redovisas. Vi tillämpar åtta inlärningsalgoritmer på data från Lunds kommun och Skolverket för att ta reda på om resursfördelningen kan optimeras med hjälp av maskininlärning. Vi använder feature selection och standardisering för att förbehandla datan, och k-delad korsvalidering för att utvärdera prediktionerna. I våra experiment uppnår vi en lägsta felmarginal på 4,6 procentenheter. Algoritmen Ordinary Least Squares visar sig ha bäst prestanda initialt. När övriga algoritmers parametrar optimeras och datan förbehandlas uppnår sex av åtta algoritmer samma resultat på 4,6 procentenheter. Nyckelord: maskininlärning, regression, resursfördelning, skolpeng

6

7 Abstract Today, resource allocation for elementary schools in Lund municipality is done by the town council. The money each school receives is divided into a base resource, which is the same for every school, and an additional resource, that is based on socio-economic aspects and is unique for each school. Lund municipality is using a resource allocation model to calculate the additional resource. The politicians claims that it s hard to determine if the model is making any real difference from the results that have been presented. We apply eight different learning algorithms on data from Lund municipality and Skolverket to find out if the resource allocation can be optimized with machine learning. We use feature selection and standardization to preprocess the data, and k-fold cross validation to evaluate the predictions. In our experiments, we reach a margin of error percentage of 4.6. The Ordinary Least Squares algorithm has the best performance initially. When the parameters of the other algorithms are optimized and when the data is preprocessed, six out of eight algorithms reach the same result of 4.6. Keywords: machine learning, regression, resource allocation

8

9 Innehåll 1 Inledning Bakgrund och tidigare forskning Resursfördelning inom grundskolan i Lunds kommun Maskininlärning Maskininlärningsprocessen Syfte Frågeställning Avgränsningar Metod Metodbeskrivning Litteraturstudie Experiment Metoddiskussion Experiment Beskrivning av dataset Information om attribut Utförande Initiala experiment Resultat Experiment utan feature selection Experiment med feature selection Valas prediktioner på modifierad data Diskussion och analys Algoritmernas prestanda Vikten av datasetets attribut Jämförelser med relaterad forskning Slutsatser och vidare forskning Användning av Vala Vidare forskning Referenser 33

10

11 1 Inledning 1.1 Bakgrund och tidigare forskning Resursfördelning inom grundskolan i Lunds kommun Resursfördelning inom grundskolan i Lunds kommun sker sedan 2008 av kommunfullmäktige i en skolpeng [15]. Skolpengen är uppdelad i grundresurs, som är lika för alla skolor, och en tilläggsresurs, som baseras på olika socioekonomiska aspekter för varje enskild skola. De socioekonomiska aspekter som används för beräkning av tilläggsresursen är könsuppdelning, antal nyanlända, högsta utbildningsnivå för vårdnadshavare, vårdnadshavares ekonomiska bistånd, och elevens familjeförhållanden. Figur 1: Resursfördelningsmodell (redigerad) [34] Under 2017 budgeterades drygt 2.4 miljarder kronor för barn- och skolnämnden i Lunds kommun [14]. Men kommunpolitikerna i Lund [17] uppger i en rapport att de inte med säkerhet kan säga om resursfördelningen gör någon verklig skillnad utifrån den resultatredovisning som finns att tillgå. De menar i rapporten att andelen elever som når de uppsatta målen är väldigt lika över åren, men att det trots det jämna 1

12 genomsnittet i kommunen är stora skillnader mellan de genomsnittliga värdena i respektive skola. En stor anledning till att det är svårt att utläsa några resultat av den resursfördelning som görs, menar kommunpolitikerna i Lund, beror på den svårhanterliga mängden data som idag används i beräkningsmodellen. Hur pengarna som distribueras ut till respektive skola sedan används är heller inget som kommunpolitikerna ansvarar över, utan den fördelningen görs av rektorerna på varje individuell skola. Hur resurserna används finns dokumenterat, men används idag inte i beräkningen av resursfördelningen mellan skolorna i kommunen. Figur 2: Träffsäker, objektiv och legitim resursfördelningsmodell [34] Sveriges Kommuner och Landsting [34] menar att en resursfördelningsmodell behöver vara träffsäker, objektiv och legitim (se Figur 2) för att fungera bra, och beskriver egenskaperna enligt följande: Med träffsäkerhet avses att modellen så väl som möjligt ska fånga in skillnaderna i elevgruppernas behov, så att ersättningen hamnar på den skola eller de skolor där den kan göra mest nytta. [...] Med objektiv avses att fördelningen bygger på data som inte kräver några subjektiva bedömningar eller avvägningar samt att skolorna inte kan påverka dessa data. [...] Att en resursfördelningsmodell är legitim handlar om att den uppfattas som väl underbyggd, är begriplig och accepteras av de berörda. Det ska vara möjligt att förstå varför en skola får en viss tilldelning jämfört med andra skolor. 2

13 Vi tror att det finns möjligheter att med hjälp av maskininlärning optimera resurfördelningen, och på så vis göra modellen såväl mer träffsäker och objektiv som legitim. Genom att i steget Process som definierats i Figur 1 inkludera information från en tränad modell som underlag för kommunpolitikernas diskussion tror vi att resursfördelningen kan förbättras Maskininlärning Maskininlärning (eng. machine learning) är en teknik som under det senaste årtiondet fått mycket uppmärksamhet inom fler fält än bara datavetenskapen [5][18][20]. Maskininlärning har använts bland annat för att modellera mänsiklig aktivitet som hälper oss att förstå vår miljöpåverkan, och för att genomföra genetiska analyser av det mänskliga genomet som hjälper oss att diagnostisera sjukdomar [20]. Ahamed et. al. [1] utförde en studie i syfte att med hjälp av maskininlärning prediktera elevers akademiska resultat utifrån vissa socioekonomiska och psykologiska faktorer. Deras studie behandlade dock inte skolans ekonomiska förutsättningar, vilket är en central aspekt i vår studie. I sin bok hävdar Marsland [18] att maskininlärning handlar om att få en dator att anpassa sig och modifiera sitt beteende så att den kan utföra ett givet arbete på ett mer träffsäkert sätt, där träffsäkerheten mäts i hur korrekt resultatet är i slutändan. Enligt Marsland [18] är en av anledningarna till att maskininlärning blivit så populärt att mängden data vi samlar in växer (han nämner som exempel att The Large Hadron Collider, världens största partikelacceleratoranläggning [4], vid CERN producerar 25 petabytes av data varje år), samtidigt som våra mänskliga hjärnors kapacitet är begränsad. Genom att använda maskininlärning och låta en dator processera de enorma mängder data vi besitter kan vi slippa de problem som medförs av människans begräsningar, menar han. Marsland [18] belyser vikten av valet av attribut i datan som används av datorn vid maskininlärning. Det kan ibland vara nödvändigt att modifiera den existerande datan så att den passar syftet; exempelvis kan attributet tid vara av intresse för en given datamängd. Författaren menar att om tiden är representerad i närmaste millisekund i vår datamängd, medan det vi är intresserade av är ungefär vilken tid på dygnet det rör sig om, kan resultaten bli missvisande. Det kan då vara nödvändigt att förbehandla datan så att inlärningsalgoritmen kan ta fram en relevant modell [18][37]. Exempelvis kan det för det specifika fallet vara klokare att representera tiden i form av morgon, eftermiddag, kväll eller natt när modellen tränas [18] Maskininlärningsprocessen Marsland [18] beskriver processen för att lösa ett problem med hjälp av maskininlärning i sex olika steg. Det första steget är datainsamling och förberedelse. Viktigt att tänka på i det här steget, menar författaren, är att datan är ren och inte 3

14 innehåller allt för mycket felaktigheter. Marsland menar också att om problemområdet är nytt och outforskat bör datainsamlingen slås ihop med nästa steg, feature selection, med syfte att endast samla in den data som faktiskt behövs. Feature selection handlar om att identifiera och välja ut de attribut (eng. features) hos datan som är mest användbara för att lösa problemet, och även att se till att välja egenskaper som enkelt kan samlas in. Nästa steg i processen, beskriver Marsland [18], är val av algoritm, vilket kräver en förståelse för hur de olika algoritmerna fungerar och kan användas. För många av de maskininlärningsalgoritmerna som finns krävs det att vissa parametrar sätts manuellt. Detta görs i nästa steg, parameter- och modellval, och Marsland förklarar att steget kräver experimentering för att hitta optimala värden att använda. Först efter att ovanstående steg är utförda byggs med hjälp av den valda algoritmen och datan en modell som används för att förutse värden för ny data. Detta steg kallar Marsland för träning. Det sjätte och sista steget, förklarar Marsland, är utvärdering, som innebär att den tränade modellen testas och modellens träffsäkerhet utvärderas. 1.2 Syfte Syftet med denna studie är att undersöka hur maskininlärning kan användas för att optimera de beräkningar som idag görs vid resursfördelning för grundskolorna i Lunds kommun. Genom att undersöka möjligheterna är målet att baserat på resultaten ta fram ett verktyg (se Figur 3), som vi valt att döpa till Vala efter spåkvinnorna i den fornnordiska mytologin [36], som kan hjälpa till vid resursfördelningen till grundskolorna (se Figur 4). I den bästa av världar hade målet med studien varit att uppnå resultat som direkt kan användas av kommunen vid resursfördelningen. Två primära skäl till att vi väljer att göra avgränsningar i studien är: 1. Ingen tidigare forskning har gjorts inom området resursfördelning med hjälp av maskininlärning. 2. Det finns mer data som vi inte har tillgång till, men som vi tror hade kunnat bidra till bättre prediktioner och säkrare resultat. Exempelvis har kommunerna tillgång till data för varje enskild elev, och dessutom information kring hur de fördelade pengarna faktiskt används utav skolorna. Med dessa punkter i åtanke blir vår primära utgångspunkt att undersöka möjligheterna som maskininlärning erbjuder för problemområdet. Vi granskar olika inlärningsalgoritmers resultat på den data vi har att tillgå, och bereder en grund för framtida forskning inom området. 4

15 Figur 3: Framtagning av Vala Figur 4: Resursfördelning med hjälp av Vala 5

16 1.3 Frågeställning Hur kan maskininlärning användas för att optimera kommunernas resursfördelning till grundskolor? 1.4 Avgränsningar Det finns stora mängder data från grundskolan i Lunds kommun under de senaste åren. Vi har valt att avgränsa studien till att endast behandla data för elever i nionde klass. Skälet till detta är att vi anser att attributet för antalet elever som uppnått kunskapsmålen är viktigt för att kunna mäta resultatet på ett relevant sätt, och denna parameter finns endast tillgänglig för niondeklassare. Den data vi har att tillgå är från 2011 och framåt. En mer detaljerad beskrivning av datamängden redovisas i avsnitt

17 2 Metod I detta avsnitt beskrivs de metoder som används vid genomförandet av studien. Vidare diskuteras för- och nackdelar med de valda metoderna, samt andra metoder som hade kunnat användas i forskningen men som av olika skäl valts bort. 2.1 Metodbeskrivning För att besvara de forskningsfrågor vi ställer oss måste vi genomföra praktiska undersökningar där vi tillämpar ett antal maskininlärningsalgoritmer på den data som Lunds kommun idag använder vid resursfördelningen. De praktiska undersökningar vi genomför behöver förankras i den forskningslitteratur som finns att tillgå idag. Detta för att säkerställa att undersökningarna utförs på ett optimalt sätt. Med tanke på den stora mängd inlärningsalgoritmer som existerar behöver ett urval göras, då det inte finns möjlighet att testa samtliga av dem. De metoder vi valt att använda för att utföra studien är dels en litteraturstudie, som är tänkt att ge oss en gedigen grund i ämnet och en inblick i tillvägagångssätt och resultat från tidigare forskning, följt av en serie experiment, där vi applicerar och vidareutvecklar informationen från litteraturstudien praktiskt på den data vi har att tillgå. Då vår specifika angreppspunkt, maskininlärning som verktyg för resursfördelning till grundskolor, är ett outforksat område, kommer experimenten delvis utföras på ett explorativt vis Litteraturstudie Med syfte att få en förståelse av ämnet vi forskar kring, och för att utlägga en grund för de experiment vi utför, genomför vi en litteraturstudie. Målet är primärt att hitta tidigare akademisk forskning som berör maskininlärningsalgoritmer, dataförbehandling och feature selection som applicerats på data lik den vi har att tillgå. Vi söker information främst i fyra tidskriftsdatabaser: ACM Digital Library (ACM), IEEE Xplore Digital Library (IEEE), SpringerLink (SPRINGER) och Google Scholar (GOOGLE). De tre förstnämnda databaserna, ACM, IEEE och SPRINGER, är inom datavetenskapen allmänt erkända databaser, och används i första hand. Vid tillfällen då vi inte hittar tillräckligt med information från nämnda databaser använder vi oss av GOOGLE, som är en aggregerande sökmotor som söker i flera andra databaser samtidigt. Ett problem med GOOGLE är att sökningar oftast ger en väldigt stor mängd resultat, vilket kan göra det svårt att orientera sig i informationssökningen. Detta är också anledningen till att vi väljer att huvudsakligen använda oss av de andra tre databaserna. För att göra informationssökningen så effektiv som möjligt har vi identifierat ett antal nyckelord att använda oss av: 7

18 Maskininlärning Nyckelord: machine learning, supervised learning, feature selection, regression, pre-processing Resursfördelning Nyckelord: resource allocation, socioeconomic, economic distribution Nyckelorden används var och ett, men även i kombinationer tillsammans med andra nyckelord, för att genomföra sökningar i ovan nämnda databaser. Under sökningens gång prövar vi även att byta ut nyckelorden mot synonymer för att bredda sökningarna. Se Tabell 1 nedan för en komplett redogörelse de sökord som använts och antal träffar som sökningarna i respektive databas har resulerat i. Vid sökningar som genererar 80 resultat eller färre går vi igenom repsektive resultats titel och nyckelord för att utvärdera om artikeln är relevant för studien. För var och en av de artiklar som vi finner titeln eller nyckelorden relevanta fortsätter vi sedan med det som Keshav [9] beskriver som The Three-Pass Approach. Efter varje pass tar vi ett beslut baserat på vår uppfattade relevans om att antingen gå vidare med nästa pass, eller att lämna artikeln och gå vidare till nästa. Om en artikel efter de tre passen bedöms vara relevant för studien sparar vi den för att använda i litteraturstudien. Oavsett om artikeln sparas eller inte går vi igenom artikelns referenslista för att hitta andra potentiella källor. Vi tittar på de källor som artikeln refererar till, och dessutom artiklar som refererar till den givna artikeln, och undersöker därefter dessa i syfte att hitta ytterligare relevant information. Nedan listas i Tabell 1 de sökningar som gjorts i de olika databaserna. Notera att sökningarna i databaserna ACM, IEEE, och SPRINGER gjorts med exakt samma sökord, medan sökningarna i GOOGLE är betydligt färre. Detta av anledningarna nämnde ovan; vi använder endast GOOGLE då vi anser att vi ej hittat tillräckligt med resultat i övriga databaser. Utöver sökningarna listas även i Tabell 2 den akademiska litteratur som litteratursökningen har resulterat i. 8

19 Tabell 1: Antal sökträffar Sökord ACM IEEE SPRINGER GOOGLE machine learning machine learning AND feature selection machine learning AND feature selection AND resource allocation machine learning AND feature selection AND socioeconomic machine learning AND feature selection AND survey machine learning AND regression machine learning AND regression AND evaluation machine learning AND regression AND feature selection machine learning AND regression AND feature extraction machine learning AND regression AND preprocess machine learning AND multivariate regression machine learning AND economic distribution machine learning AND distributing resources machine learning AND distributing money machine learning AND money distribution machine learning AND socio-economic machine learning AND preprocess* machine learning AND socioeconomic machine learning AND correlation AND feature selection supervised learning supervised learning AND feature selection AND resource allocation supervised learning AND resource allocation supervised learning AND economic distribution supervised learning AND distributing resources supervised learning AND distributing money supervised learning AND money distribution supervised learning AND socio-economic supervised learning AND socio-economic AND feature selection socio-economic AND feature selection feature selection AND resource allocation regression regression AND evaluation För att komplettera sökningarna i de angivna databaserna letar vi även upp relevanta examensarbeten som gjorts på kandidat- och masternivå. Vi söker i databaserna MUEP 1 och Uppsatser.se 2. Syftet bakom dessa sökningar är inte att använda det

20 material vi hittar direkt, utan istället att granska arbetenas referenslistor för att hitta vetenskapliga artiklar att komplettera vår egen studie med. I Tabell 2 listas de artiklar och böcker som litteratursökningen resulterat i. Materialet har studerats och används vidare som stöd i de empiriska undersökningar vi utför i studien, och dessutom i studiens analys- och diskussionsdelar för att nyansera de resultat vi uppnått. Tabell 2: Resulterande material Titel Referensnummer Prediction of HSC examination performance using socioeconomic, psychological [1] and academic factors A study of machine learning regression methods for major elemental analysis [3] of rocks using laser-induced breakdown spectroscopy A few useful things to know about machine learning [5] Ridge Regression: Biased Estimation for Nonorthogonal Problems [6] An introduction to statistical learning [7] Approximating Number of Hidden layer neurons in Multiple Hidden Layer [8] BPNN Architecture A survey of feature selection and feature extraction techniques in machine [10] learning Feature Extraction for Regression Problems and an Example Application [11] for Pose Estimation of a Face Feature Selection Methods and Algorithms [12] Quantifying the Impact of Learning Algorithm Parameter Tuning [13] Behaviour Analysis of Multilayer Perceptrons with Multiple Hidden Neurons [19] and Hidden Layers Lowering the barrier to applying machine learning [20] Scikit-learn: Machine Learning in Python [21] Cross-Validatory Choice and Assessment of Statistical Predictions [33] Regression Shrinkage and Selection via the Lasso [35] Data Mining: Practical Machine Learning Tools and Techniques [37] Detection of Alzheimer s disease by displacement field and machine learning [38] Experiment Data Vi utför experimenten enligt de steg som Marsland [18] beskriver i sin maskininlärningsprocess. I det första steget samlar vi in den data vi behöver. Vårt dataset består av data som Lunds kommun har tillhandahållit gällande skolorna i Lund. I dessa data kan vi utläsa, för varje enskild skola och år, följande parametrar: antal elever, antal elever med utländsk bakgrund och hur stor skolpeng per elev skolan blivit tilldelad. Vår data innehåller även information om hur stort ekonomiskt tillägg skolan fått. Tillägget grundas på andelen elever med utländsk bakgrund samt utbildningsnivån på elevernas föräldrar [15]. 10

21 Figur 5: Framtagning av dataset För att få fler faktorer att väga in i experimenten aggregerar vi parametrar med ytterligare data som vi hämtar från Skolverkets databas SALSA 3 (se Figur 5), vars data är uppdelad för varje skola. Från datan i SALSA väljer vi ut attributen könsuppdelning, den genomsnittliga utbildningsnivån hos elevernas föräldrar, antalet lärare per elev samt andel elever som uppnår kunskapsmålen då vi anser att de kompletterar attributen i datan från Lunds kommun väl. För en mer utförlig beskrivning av datasetet, inklusive exempeldata, se avsnitt 3.1. Nästa steg i processen är enligt Marsland [18] att undersöka de attribut vi samlat in för att avgöra om de är de mest relevanta. Detta steg handlar i många fall om att minska dimensionaliteten av datan (eng. dimensionality reduction) [10][11][12]. Ladha och Deepa [12] förklarar att det finns två metoder för att utföra detta steget, feature selection eller feature extraction. Feature selection söker efter den delmängd av våra attribut som genererar bästa möjliga approximation av resultat, vilket innebär att den eliminerar de attribut som inte är relevanta eller korrelerar bra med resultatet. Feature extraction i sin tur gör en transformation av alla attribut till en lägre dimension utan att vi förlorar någon data. Enligt Khalid et. al. [10] är en nackdel med feature extraction att vi förlorar möjligheten att mäta hur mycket ett givet attribut faktiskt bidrar till resultatet på grund av transformationen av attri

22 buten. Då vi vill ha möjligheten att undersöka relevansen hos våra attribut väljer vi att använda oss av feature selection. Vidare kategoriserar författarna av [10] och [12] attributen i ett dataset som antingen relevanta, icke-relevanta eller redundanta. Relevanta attribut, menar de, har en påverkan på resultatet och deras roll kan inte ersättas av övriga; icke-relevanta attribut har ingen påverkan på resultatet, och deras värde är randomiserat för varje exempel; redundanta attribut är de attribut som kan ta rollen av andra attribut. Algoritmer Det tredje steget i maskininlärningsprocessen enligt Marsland [18] är algoritmval. För de experiment vi utför används program implementerade i programmeringsspråket Python. Vi använder oss av biblioteket scikit-learn 4 som är ett väletablerat och erkänt bibliotek för maskininlärning. scikit-learn tillhandahåller en rad olika verktyg för maskininlärning, såväl algoritmer för att träna modeller som verktyg för att testa modellerna och mäta resultat och träffsäkerhet [21]. Marsland [18] beskriver fyra olika typer av maskininlärning: supervised learning, unsupervised learning, reinforcement learning och evolutionary learning, där han menar att den förstnämnda är den allra vanligaste formen. Supervised learning förutsätter att varje instans av data, i ett givet dataset, har ett resultat, ofta kallat klass eller label. För att kunna generalisera och prediktera resultat för annan data av samma typ tränas en modell med alla dessa instanser och deras givna, korrekta resultat och en given maskininlärningsalgoritm. Om det är en specifik klass som skall predikteras så kallas uppgiften för klassifisering [18]. Vid approximering av ett kontinuerligt värde, snarare än prediktering av klass, kallas uppgiften regression [2]. Då vår data har labels använder vi supervised learning. Vidare stämmer vår data överens med ett typiskt regressionsproblem, då vi skall approximera ett värde på antalet elever som uppnår kunskapsmålen. Därför använder vi oss i följande experiment av regressionsmetoder för att approximera våra resultat. Det finns både linjära och icke-linjära metoder för att utföra regression. Boucher et. al. [3] uppmärksammar i sin studie att icke-linjära regressionsmetoder visat sig prediktera resultat sämre än linjära metoder. Detta påstående styrks även av James et. al [7], som menar att de flesta metoder för att approximera funktionen f för ett kontinuerligt värde Y historiskt sett har varit linjära. För att få ett större djup i vår studie väljer vi dock att använda oss av både linjära och icke-linjära inlärningsalgoritmer. Nedan listas de algoritmer som vi valt att utvärdera på våra dataset: Ordinary Least Squares (OLS) OLS är en linjär regressionsalgoritm som skapar en modell genom att skatta parametrarna. Målet är att minimera den residuala kvadratsumman mellan

23 de observerade resultaten i datasetet och de predikterade resultaten från den linjära approximationen [7]. Skattningar på parametrarna sparas som koefficienter för senare prediktioner. Ridge Regression (RR) RR är en OLS-regressionsmodell, fast med tillägget av en straffterm α som krymper koefficienteranas storlek [6]. Detta görs för att modellen skall bli mer robust när datasetet innehåller parametrar med hög korrelation. Least absolute shrinkage and selection operator (Lasso) Även Lasso är en OLS-modell och likt RR finns en straffterm α som krymper koefficienterna mot noll. Men Lasso sätter även en del koefficienter till exakt noll [3][35]. Detta innebär att de attributen inte påverkar resultatet positivt och kan uteslutas ur modellen. Detta kan generera mer sparsamma och lätttolkade modeller. Elastic Net (EN) EN är en hybrid av Lasso- och RR-regression [3]. Även denna algoritm har en straffterm α som krymper koefficienternas värde mot noll. EN har även en parameter l 1 -ratio med värde mellan 0 och 1. Den senare parametern kontrollerar strafftermen och är en så kallad mixing parameter. När l 1 -ratio = 0 löser EN problemet som RR, och när l 1 -ratio = 1 som Lasso. Värden däremellan så löses problemet med en kombination av både RR och Lasso [24]. Multi-Layered Perceptron Regressor (MLPR) MLPR är av typen neurala nätverk. Karsoliya [8] beskriver att neurala nätverk oftast består av tre typer av lager med noder. Vidare menar författaren att alla attribut blir noder i det första lagret, input-lagret, och resultatet noder i det sista lagret, output-lagret. Författaren förklarar även att där finns ett varierande antal gömda lager mellan de tidigare nämnda lagren, som i sin tur innehåller ett varierande antal noder. Alla noder i det lägre lagren av noder är kopplade med bågar till alla noder i nästkommande lager. Dessa bågarna har vikter associerade till sig [18]. Det är dessa vikter som MLPR skattar för att minimera kvadraten av felen vid träningen av en modell. Det finns ett antal parametrar som kan optimeras vid användning av MLPR. scikit-learns implementering av MLPR kan tränas med en av dessa tre algoritmer: Stochastic gradient descent, Adam eller lbfgs. De två första algoritmerna använder stokastisk optimering av parametrarna, medans den sista algoritmen, lbfgs, approximerar funktionens Hessian matris. I scikit learns dokumentation [30] rekommenderas lbfgs-algoritmen för beräkning av vikterna (solver). Detta för att den ofta presterar bättre och är snabbare i sin exekvering vid mindre dataset vilket vi anser vara fallet för oss. Utöver den parametern finns det även en aktiveringsfunktion (activation) på noderna som avgör vilken output noderna har beroende på sin input. Vi kan även ställa storlek och antal på de gömda skikten av noder, hidden layer sizes. MLPR nyttjar även en straffterm 13

24 α liknande den som beskrevs för RR. Enligt Panchal et. al [19] är en fördel med MLPR enkelheten vid användning och att den kan approximera alla typer av input/output. De påpekar dock att MLPR är långsam, och kräver mycket träningsdata, vid träningen av modellen. Decision Tree (DT) Målet med DT är att bygga en modell, i form av ett binärt träd, utifrån enkla beslutregler som läses ut från parametrarna i datasetet. Det används inga speciella parametrar vid inlärningen av modellen. Det man kan optimera vid användningen av DT är djupet på trädet som skapas, max depth, och antalet instanser av data det krävs för att skapa ett så kallat löv, min samples leaf [23]. Det finns möjlighet att välja mellan olika algoritmer för att skapa trädet men det är inget som påverkar precisionen i algoritmen utan exekveringstiden, och det beror på hur datan ser ut. En fördel med DT är att den skapar en enkel och relativt lätttolkad modell där det är enkelt att utläsa vad som sker och varför [18]. Bayesian Ridge Regression (BRR) BRR är en variant på RR, men skattar koefficienter utefter en probabilistisk modell baserad på en normalfördelning. Fördelen men detta är att modellen anpassar sig efter datan som finns till hands. [27] k-nearest Neighbors Regression (KNN) I KNN representeras alla träningsinstanserna som punkter i ett flerdimensionellt rum. Vid klassifisering används en avståndsberäkning för att beräkna de k närmsta instanserna, grannarna, i rymden med antagandet att ifall flera av attributen är samma tillhör de troligtvis samma klass. Storleken på k ((n neighbors)) är ett av användaren valt värde. Vid regression fungerar det på liknande vis med skillnaden att resultatet blir medelvärdet av de k närmsta instanserna [3]. Som standard i scikit-learn beräknas alla de k närmsta grannarna som likvärdiga. Det finns möjlighet att ändra parametern weights för att vikta grannarna så de som ligger närmre får större inflytande över resultatet [29]. I ovan beskrivna algoritmer finns det ett antal så kallade hyperparametrar. Dessa används för att finjustera prestandan i algoritmen utefter den data som används. Detta för oss till nästa steg i Marslands [18] beskrivning, parameterval. Han menar att det, som vi tidigare nämnt, inte finns något gyllene värde som passar alla dataset, utan det krävs experiment för att hitta optimala värden för den data vi använder. scikit-learn erbjuder möjligheter att experimentera med dessa parametrar genom korsvalidering för flera algoritmer. Detta innebär att algoritmen tränar en modell på vår data i olika iterationer med olika värden på parametrarna. Algoritmen genomför prediktionerna och väljer de parametervärden som genererat lägst felmarginal. Denna teknik finns inte tillgänglig för alla algoritmer. För de algoritmer där stöd saknas gör vi manuella experiment med parametrar baserat på den kunskap vi införskaffat 14

25 oss i litteraturstudien. Detta har bidragit till att vissa algoritmer inte optimerats i samma utsträckning som andra. Träning och utvärdering De två sista stegen Marsland [18] beskriver är träning och utvärdering av modellen. Vi använder oss av k-delad korsvalidering för träning och utvärdering. För att utvärdera de olika modellernas prestanda använder vi det absoluta medelvärdet av felen, mean absolute error (MAE). Detta innebär att vi beräknar det absoluta medelvärdet av skillnaderna mellan de predikterade värdena och de verkliga resultaten. Anledningen att vi väljer MAE är dels för att det anges i samma enhet som resultat attributet, i vårt fall Andel elever (%) som uppnått kunskapsmålen. Detta underlättar tolkningen av resultatet. En annan anledning till att vi valt MAE är att SALSA redovisar den residuala skillnaden mellan deras modellberäknade resultat samt det faktiska resultatet. I deras tabeller kan vi läsa ut faktiskt värde (F), modellberäknat värde (B) och residual (R), vilket är skillnaden F B = R, för varje skola [22]. I SALSA rapporteras det inte som absolut värde vilket vi gör men detta beror på hur funktionen i scikit-learn är implementerad, då den rapporterar medelvärdet av felen i absolut värde för varje delmängd k i den k-delade korsvalideringen. 2.2 Metoddiskussion Många av maskininlärningsalgoritmerna är väldigt komplexa och har många hyperparametrar som kan justeras för att optimera deras prestanda. Då vi implementerar åtta olika algoritmer har det varit svårt att finjustera alla dessa med deras olika parametrar. scikit-learn har varit till stor hjälp då en del av deras algoritmer kan optimeras med hjälp av korsvalidering. De algoritmerna som saknar den möjligheten optimerar vi genom att göra enklare tester och justera de parametrar vi anser lämpliga baserat på kunskap införskaffad under litteraturstudien. Ett alternativt angreppsätt hade varit att implementera färre algoritmer och fokusera på att optimera deras prestanda mer vilket eventuellt kunnat generera bättre resultat. Ytterligare en faktor som påverkar resultatet är den totala mängden data som finns tillgänglig. För att ta fram det dataset som används i studien slår vi samman den data som Lunds kommun tillhandahållit med data från Skolverkets databas SALSA. Men den totala mängden data är fortfarande relativt liten. För att få ett stabilare resultat med lägre felmarginal kan mer historisk data bidra. Ett alternativ som diskuterades var att träna en modell med data från alla Sveriges skolor för att sedan se hur den modellen presterar vid prediktioner på Lunds skolor. Problemet som uppstod då var att vi saknade en del vitala parametrar då det inte fanns tillgång till dessa direkt från SALSA. Ett exempel på data som inte finns tillgänglig via SALSA är hur stor skolpeng varje enskild skola tilldelats. 15

26 3 Experiment 3.1 Beskrivning av dataset Nedan beskrivs det dataset som använts vid träning av våra modeller. I beskrivningen finns information om hur många instanser datasetet innehåller, hur många attribut som finns, och källan till datan. För en fullständig redogörelse för all data som datasetet innehåller, se Bilaga 1. Attributtyp: Reella tal Antal instanser: 102 Område: Grundskola Antal attribut: 7 Associerad uppgift: Regression Saknade värden: Nej Ett dataset över alla grundskolor i Lunds kommun med utgångsbetyg för årskurs 9 mellan åren 2011 och Datasetet är en sammanslagning av data hämtad från Skolverkets databas SALSA och data levererad av Lunds kommun. Predikterat attribut: Andel elever som uppnår kunskapsmålen Information om attribut A Huvudman (kommunal/privat) Attributet beskriver huruvida skolans huvudman är kommunal eller privat. Värdet anges binärt, och är 0 för kommunal och 1 för privat. B Elever per lärare Genomsnittet för antal elever per lärare sett över samtliga klasser för årskurs 9 i skolan. Värdet anges med en decimal. C Föräldrarnas genomsnittliga utbildningsnivå Attributet beskriver föräldrarnas utbildningsnivå och poängsätts enligt följande: 1p) genomgången folkskola/grundskola, 2p) genomgången gymnasial utbildning, 3p) eftergymnasial utbildning. Värdet som anges är genomsnittet för skolans samtliga elever i årskurs 9. [22] D Andel (%) pojkar Attributet beskriver hur stor andel av skolans elever i årskurs 9 som är pojkar, angiven i procent. E Andel (%) elever med utländsk bakgrund Elever med utländsk bakgrund avser elever vars båda föräldrar, eller eleven själv, är födda i utlandet [16]. F Skolpeng i tkr per elev Attributet beskriver hur mycket pengar skolan fått. Värdet anges i tusen kronor per elev med två decimaler. 16

27 G Andel (%) elever som uppnår kunskapsmålen Attributet beskriver hur stor andel av skolans elever i årskurs 9 som fått godkänt slutbetyg i samtliga ämnen. I Tabell 3 följer exempel med data enligt beskrivningarna ovan. Tabellen innehåller data från skolorna Freinetskolan (2016), Lerbäckskolan (2015) och Svaneskolan (2013). Tabell 3: Exempeldata A B C D E F G Utförande Tillvägagångssättet för utförandet av de experiment som beskrivs nedan är i grunden likadant. Utförandet går ut på att vi tränar en modell med respektive algoritm, och gör prediktioner och utvärderar resultaten med korsvalidering (eng. cross-validation) [33]. Vi använder oss av metoden k-delad korsvalidering (eng. k-fold cross-validation) (se Figur 6), vilket innebär att vi partionerar upp vår data i k lika stora delar. Vi kör igenom respektive algoritm i k iterationer; för varje iteration använder vi en av uppdelningarna som testdata medan resterande k 1 delar används för att träna modellen [38]. Modellen utvärderas baserat på modellens MAE, som beräknas utav medelvärdet av differensen mellan algoritmens prediktioner och datans verkliga värden. För samtliga experiment nedan är k = Initiala experiment E01 Vi inleder det första experimentet genom att köra igenom samtliga algoritmer på vårt dataset. Vi justerar inga parametrar på algoritmerna, med undantag för MLPR vars solver-parameter vi sätter till värdet lbfgs. Anledningen till detta beskrivs i avsnitt E02 Vi väljer att köra experimentet med s.k. standardisering (eng. feature standardisation), vilket skalar samtliga attribut så att medelvärdet för varje attribut blir 0 och de får en enhetlig varians. Detta gör att koefficienterna, och i vissa fall de vikter som adderas till värdena, hålls på en rimlig nivå [18]. Marsland [18] menar dessutom att för vissa algoritmer är det direkt nödvändigt att använda standardisering. Vi använder verktyget StandardScaler från sci-kit learn för att utföra standardiseringen [31]. E03 I samtliga av de algoritmer vi använder finns möjligheten att ställa ett antal olika parametrar som påverkar inlärningen, med undantag för OLS. Marsland 17

28 Figur 6: k-delad korsvalidering [38] [18] menar att det inte finns något rätt sätt att ställa parametervärdena på, utan det varierar från algoritm till algoritm och dataset till dataset. Vidare redogör han för att det kan krävas att man prövar sig fram för att hitta lämpliga värden. Lavesson och Davidsson [13] finner i sin studie att parameteroptimering ofta är viktigare och har större inverkan på prestandan än valet av algoritm. Nedan beskrivs samtliga parametrar som vi ställt i respektive algoritm för E03. Notera att vi inte använder standardisering av datan under detta experiment. Lasso Vi väljer att använda oss av cross-validation för att hitta optimala parameterinställningar. Detta innebär att algoritmen testar olika värden för strafftermen α, och väljer den som presterar bäst [25]. Efter crossvalidation sätter vi alpha= DT De parametrar som rekommenderas att sättas är max depth och minimum samples leaf [23]. Efter tester och utvärdering sätter vi max_depth=5 och min_samples_leaf=5. RR Den enda parametern vi justerar i RR är strafftermen α. Parametern måste vara ett positivt flyttal, och är initialt satt till värdet 1.0 [28]. För detta experiment väljer vi efter tester att sätta alpha=

29 EN För denna algoritm väljer vi att använda oss av cross-validation för att sätta mixingparametern, l 1 -ratio, och strafftermen α. Cross-validationalgoritmen kräver för att räkna utl 1 -ratio en mängd med tänkbara värden mellan 0 och 1 som input, och väljer utifrån de värdena det värdet som ger bäst resultat. sci-kit learns dokumentation [24] rekommenderar att mängden består av en majoritet av värden som snarare ligger närmre 1 än 0. Vi väljer i detta experiment att sätta mängden till[0.1, 0.5, 0.7, 0.9, 0.95, 0.99, 1]. Efter att ha kört cross-validation rekommenderar algoritmen att sätta l1_ratio=1.0 och alpha= BRR De parametrar som finns att sätta är α 1, α 2, λ 1, och λ 2 [27]. Samtliga parametrar har 1.0E-6 som standardvärde. Vi prövar initialt att låta λ-värdena vara intakta, och att höja båda α-värdena till 1.0E-5. KNN Algoritmen har två parametrar som vi sätter: n neighbors, som har standardvärdet 5, och weights, som har standardvärdet uniform. n neighbors måste vara ett positivt heltal och avgör hur många grannar som algoritmen ska ta med i beräkningen [29]. weights-parametern har två möjliga värden: uniform, vilket innebär att alla grannar blir viktade på samma sätt, eller distance, vilket ger närmre grannar högre vikter [29]. Vi väljer att sätta n_neighbors=7 och låter weights= uniform. MLPR Vi fortsätter att använda oss av värdet lfgbs för solver-parametern. Vid användning av nämnda solver-parameter finns det ytterligare tre parametrar att justera för algoritmen: hidden layer sizes, activation och alpha. För att hitta ett alpha-värde rekommenderas i sci-kit learns dokumentation [30] att använda cross-validation på mängden [1.0E-1, 1.0E-2, 1.0E-3, 1.0E-4, 1.0E-5, 1.0E-6]. Vi följer rekommendationen och använder cross-validation, men utökar det till att även hjälpa oss hitta optimala värden för parametrarna hidden layer sizes och activation. Efter att ha kört cross-validation får vi ut att värdena alpha=1.0e-6, activation= identity och hidden_layer_sizes=(100,) är optimala för algoritmen. OLS För OLS finns inga parametrar att sätta manuellt. E04 För detta experiment väljer vi att slå ihop de åtgärder som utfördes för experimenten E02 och E03, vilket innebär att vi applicerar inlärningen på datasetet med både standardisering, och dessutom ställer parametrar för inlärningsalgoritmerna i enlighet med E03. E05-E25 Samtliga av experimenten E05 E25 baseras på den förbehandling som presenterades i experiment E04, som inkluderar standardisering från E02 och parameterinställningar från E03. För experimenten E05 E10 tar vi bort ett attribut från respektive instans i datasetet. För experimenten E11 E25 tar vi bort två attribut från respektive instans i datasetet. I Tabell 4 redogör vi för vilka attribut som exkluderats vid respektive experiment. 19

30 E26-E27 För att utvärdera hur Valas prediktioner förändras när ett av attributen för en given skola modifieras väljer vi att utföra ytterligare två experiment på fyra slumpmässigt utvalda skolor under året I följande experiment använder vi oss av standardiseringen från E02, men väljer att endast använda oss av algoritmen OLS då den i de tidigare experimenten presterat bra. För experiment E26 och E27 antingen ökar eller minskar vi samtliga attribut i syfte att studera hur Vala gör prediktioner baserat på små förändringar i enstaka attribut åt gången. Vi jämför sedan de prediktioner som gjorts när attribut modifierats med den ursprungliga prediktionen (som gjorts på verklig data). De skolor vi slumpmässigt valt ut är Fågelskolan, Killebäckskolan, Svaleboskolan och Vikingaskolan. Nedan följer beskrivningar för hur attributen modifieras för respektive experiment. I tabell 5 beskrivs modifieringarna som görs för attributen i respektive experiment. Tabell 4: Exkluderade attribut i experiment Experiment Exkluderade attribut E05 Huvudman (kommunal/privat) E06 Elever per lärare E07 Föräldrarnas genomsnittliga utbildningsnivå E08 Andel (%) pojkar E09 Andel (%) elever med utländsk bakgrund E10 Skolpeng i tkr per elev E11 Huvudman (kommunal/privat) + Elever per lärare E12 Huvudman (kommunal/privat) + Föräldrarnas genomsnittliga utbildningsnivå E13 Huvudman (kommunal/privat) + Andel (%) pojkar E14 Huvudman (kommunal/privat) + Andel (%) elever med utländsk bakgrund E15 Huvudman (kommunal/privat) + Skolpeng i tkr per elev E16 Elever per lärare + Föräldrarnas genomsnittliga utbildningsnivå E17 Elever per lärare + Andel (%) pojkar E18 Elever per lärare + Andel (%) elever med utländsk bakgrund E19 Elever per lärare + Skolpeng i tkr per elev E20 Föräldrarnas genomsnittliga utbildningsnivå + Andel (%) pojkar E21 Föräldrarnas genomsnittliga utbildningsnivå + Andel (%) elever med utländsk bakgrund E22 Föräldrarnas genomsnittliga utbildningsnivå + Skolpeng i tkr per elev E23 Andel (%) pojkar + Andel (%) elever med utländsk bakgrund E24 Andel (%) pojkar + Skolpeng i tkr per elev E25 Andel (%) elever med utländsk bakgrund + Skolpeng i tkr per elev Tabell 5: Modifierade attribut i experiment 20

31 E26 E27 Attribut Förändring Elever per lärare +4,5 Föräldrarnas genomsnittliga utbildningsnivå +0,3 Andel pojkar +15 Andel elever med utländsk bakgrund +9 Skolpeng +9 Attribut Förändring Elever per lärare -4,5 Föräldrarnas genomsnittliga utbildningsnivå -0,3 Andel pojkar -15 Andel elever med utländsk bakgrund -9 Skolpeng -9 21

32 4 Resultat 4.1 Experiment utan feature selection Resultaten från de utförda experimenten tyder på att algoritmernas prestanda i många fall är ganska jämn. Utvärderingarna har gjorts med k-delad korsvalidering på algoritmernas predikterade resultat. Felmarginalen är MAE, beräknat på skillnaden mellan de predikterade värdena och de verkliga värdena, i samma enhet som vårt resultattribut, det vill säga Andel elever (%) som uppnått kunskapsmålen. Om vi tittar på Figur 7 som med den blå linjen visar resultaten för experiment E01 kan vi se att felmarginalen ligger mellan 4,6 och 6,5. OLS och RR har bäst prestanda, och DT har sämst prestanda. För experiment E02, som införde standardisering av datasetet, ser vi marginella skillnader från det första experimentet. OLS och RR har fortfarande bäst prestanda med en felmarginal som ligger kvar på 4,6. De algoritmer som standardiseringen gjort tydligast skillnad för är BRR vars felmarginal gick från 5,7 till 4,6, och KNN som gick från 5,8 till 4,8. Dessutom ökade prestandan för algoritmerna EN, Lasso och DT av standardiseringen. Värt att notera är att prestandan hos MLPR sjönk och uppnådde en felmarginal på 9,1. Resultaten från E02 visas med den gula linjen i Figur 7. Figur 7: Experiment E01 E04 22

33 I experiment E03 ställde vi parameterinställningar i algoritmerna och från Figur 7 kan vi se att ett större antal algoritmer nått samma prestanda som OLS och RR hade i E01. Det är bara BRR, som ligger kvar på samma prestanda som i E01, KNN, vars felmarginal minskade med 0,1, och DT som inte nåt samma felmarginal 4,6 som övriga algoritmer. Felmarginalen för DT minskade dock från 6,2 i E01 till 5,1 i E02. Under experiment E04 kombinerade vi metoderna som applicerades under E02 och E03. Vi kan se att prestandan hos samtliga algoritmer har ökat, jämfört med E01. Fem algoritmer ligger på felmarginalen 4,6 (vilket även var den lägsta felmarginalen som uppnåddes i experiment E01): BRR, Lasso, MLPR, OLS och RR. 23

34 4.2 Experiment med feature selection För experimenten E05-E10 användes samma parameterinställningar i algoritmerna som för E03 och algoritmerna applicerades på standardiserad data enligt E02. För respektive experiment togs ett av datasetets attribut bort. Resultaten för experimenten E05-E10 visas i Figur 8. Notera att vardera kurva representerar en algoritm, och x-axeln markerar varje nytt experiment, till skillnad från figurerna 4-6. Av experimenten E05-E10 visade sig E08 ge bäst resultat, där attributet Antal (%) pojkar togs bort ur datan. Felmarginalen för sex av algoritmerna (BRR, EN, Lasso, MLPR, OLS och RR) hamnade i E08 på 4,6. Näst bäst var E10, där attributet Skolpeng per elev exkluderades. Rangordningen av algoritmerna i E10 var samma som vid E08, med undantaget att DT presterade bättre än KNN vid E08. Figur 8: Experiment E05 E10 Experimenten E11-E25 utfördes på samma sätt som E05-E10, med enda skillnaden att två attribut exkluderades ur datasetet istället för ett. Resultaten för experimenten E11-E25 presenteras i Figur 9. Av experimenten E11-E25 fick E24 bäst resultat, där felmarginalerna för samtliga algoritmer hamnade på 4,9 eller lägre. Felmarginalen för fyra algoritmer (Lasso, MLPR, OLS och RR) hamnade på 4,6, tre algoritmer hamnade på 4,7 (BRR, EN och KNN) och en algoritm (DT) hamnade på 4,9. 24

35 Figur 9: Experiment E11-E25 25

36 4.3 Valas prediktioner på modifierad data För experimenten E26 och E27 lät vi Vala göra prediktioner på data där vi modifierade attributen för fyra slumpmässigt utvalda skolor. I Figur 10 och 11 presenteras resultaten för experimenten. Varje enskilt experiment presenteras i en egen graf och inkluderar fem körningar, en för varje modifierat attribut. På x-axeln visas körningarna för varje enskilt modifierat attribut. Resultatet längst till vänster på x-axeln är i samtliga grafer skolans verkliga värde; näst längst till vänster är den prediktion som Vala gjort utan att något av attributen modifierats. Värdena används som referensvärden för att se hur de modifierade attributen påverkat prediktionerna. När attributen höjdes i experiment E26 gjorde attributen Elever per lärare, Föräldrarnas genomsnittliga utbildning och Skolpeng per elev att prediktionerna höjdes. Höjda värden för attributen Andel pojkar och Andel elever med utländsk bakgrund sänkte det predikterade resultatet. Raka motsatsen skedde i experiment E27, där attributen sänktes. När attributen Elever per lärare, Föräldrarnas genomsnittliga utbildning och Skolpeng per elev sänktes hade det en negativ påverkan på prediktionen, medan när attributen Andel pojkar och Andel elever med utländsk bakgrund sänktes höjdes prediktionerna. Figur 10: Experiment E26 26