Automatiserad rapportproduktion

Relevanta dokument
Visualisering med stöd av egen statistikdatabas

PC-Axis familjen En produktöversi k t

STADSLEDNINGSKONTORET SOA SDK IT-AVDELNINGEN VERSION 2.1. Läs mig först. Stockholms stad SOA-plattform. Sida 1 (5)

BRP+ Fortsatt utveckling och implementering

Analysverktyg för Data Science Oberoende utvärdering

Statistiska centralbyrån. Statistikatlasen

Installera SoS2000. Kapitel 2 Installation Innehåll

Välkomna till KUSK utbildningsprojekt. Kunskap, utveckling, statistik, kommunikation

Instruktion för användning av

Universe Engine Rapport

För dig som lärare har vi placerat nya inkomna svar från elever under Följ upp uppgifter medan elev på samma ställer ser alla sina aktiva Uppgifter.

BIG PAD Rätta känslan som penna på papper

Wise Business Support Ms Office Kursinnehåll För nybörjare och därefter

Innehållsförteckning. Användarmanual för Lockbee Backup Databas 2009

Strategi för en GIS-samordnare

Att hämta raps-data via Internet

Introduktion till programmering, hösten 2011

Uni-View Excel rapporter

Under Kurser visas dina kurser som kort och om där finns nya uppgifter eller anslag visas antalet i kurskortet.

Sustainable engineering and design

Är du ledningsägare med ett stort eller nationellt nät? Då får du säkert många

Från PCAXIS till Statistikatlasen

Verktyg och Utvecklingsmiljö. Föreläsning 2 Eclipse

GIS inom Polisen. Rikspolisstyrelsen Swedish National Police Board

Nya Aquila använder senaste versionen av våra verktyg: UniPaaS 1.9 (tidigare Magic), samt Crystal Reports version 12 (idag kör ni på version 8).

Installationsanvisningar HogiaLön Plus

Uppdatera Mobilus Professional till version * Filen MpUpdate.exe får inte köras när du startar denna uppdatering.

Snabbguide. Välkommen! Metod 1. Snabbguide 1/

Malmator Systembeskrivning Sidan 1 av

Introduktion till programmering. Programspråk och paradigmer

Så får du Microsofts Office-paket gratis

1 Systemkrav avantraupphandling

Krav: * Filen MpUpdate.exe får inte köras när du startar denna uppdatering.

Installationsanvisning. Dokumenttyp Installationsanvisning Område Boss med delad databas

Manual för Typo3 version 4.04

IT-kurser Office IT-Partner Våren 2015

I n n e h å l l. 4 Regional ekonomi Beskrivning av en regions utveckling Att installera raps programvara...61

Prova på-laboration i PHP Johan Sjöholm johsj@ida.liu.se Institutionen för datavetenskap, Linköpings universitet

Krydda med siffror Smaka på kartan

LEANalyser för användare

Visio och SharePoint 2010 Better together. Staffan Söderholm Specialist MS Visio Train IT Stockholm AB

Vägen fram för ArcGIS for Server. Johnny Björk

Installation av RIB Huvudprogram 1.3

Microsoft Expression Blend + Sketch Flow

SharpMap. GIS-komponenter för.net

med Office 365 i Dynamics NAV 2015

Hitta ditt vatten. - en handledning. Vatteninformationssystem Sverige. VISS - VattenInformationsSystem Sverige

Användarhandledning Plancenter Klient version 2011

Kontakt Telefon: Hemsida:

Matematik C Uppdrag 3

Instruktion för användning av referensbibliotek i VISS version 3

1. Revisionsinformation

GSD Datastruktur. GSD Datastruktur... 1 Uppdatering av sde_geogsd databasen... 4 Skapa och ladda Raster... 6

Interaktiva applikationer för dator (WPF) och web (Silverlight) Grafisk utvecklingsmiljö. Hela produktioner: design, layout, animationer, skins, etc.

Övergång gymnasieskola högskola

EMIT TIDTAGNINGSSYSTEM EN KORT INTRODUKTION

Instruktioner. Innehåll: 1. Vad är Kimsoft Control (SIDA 2) 3. Hem (SIDA 2)

En dansk version av detta dokument kan laddas ned här: people/hagerman/retningslinjer.pdf (pdf, 500 kb)

Uppdatera Mobilus Professional till version * Filen MpUpdate.exe får inte köras när du startar denna uppdatering.

Verktyg och Utvecklingsmiljö. Jochim von Hacht

Jonas Fridman Programchef

Kom igång med LUPP 6.1

LEANanalyser En helt ny generations analys- och visualiseringsverktyg

Grundkurs i programmering - intro

Installation/uppdatering av Hogia Personal fr.o.m. version 13.1

DIG IN TO Nätverksadministration

Indikatorer Antal personer

Mer information om arbetsmarknadsläget i Stockholms län vid slutet av mars 2014

Ibruktagande av Statistikcentralens gränssnittstjänster i QGISprogrammet

2011:2 Arbetspendling till och från Eskilstuna

Övergång gymnasieskola högskola

Introduktion till programmering D0009E. Föreläsning 1: Programmets väg

Mer information om arbetsmarknadsläget i Stockholms län i slutet av september 2012

Slutrapport för JMDB.COM. Johan Wibjer

Indikatorer Antal personer

TDP003 Projekt: Egna datormiljön

Användarhandledning Plancenter Admin version 2011

Version 1.0. Benämning OSG Storage Engine. Senaste revidering Användarbeskrivning

DEN KOMPLETTA PROGRAMVARAN FÖR DESIGN OCH TILLVERKNING AV TRÄTRAPPOR PROGRAMVARA FÖR DESIGN OCH TILLVERKNING AV TRÄTRAPPOR LÄTT ATT ANVÄNDA

STÖRST I NORDEN PÅ WEBBASERADE UTBILDNINGAR I OFFICE-PAKETET

Installationsanvisningar HogiaLön Plus

Studerandes sysselsättning YH-studerande som examinerades 2014

Installation av Butiksdata

DI Studio nyheter

Engineering Bases viktigaste egenskaper

Systemutvecklare SU14, Malmö

App-klient för smartphones Power BI Arbetsflöde CRM Online Webb-klienten Dokumenthantering Molnet...

Hälsoregister som fångar geografiska skillnader

Integration analys: Integration Etablering på arbetsmarknaden

26 april 2018 Kompetensförsörjningsdagarna. Djupdykning i regionala analyser

Kort presentation av Gillbergcentrums digitala diagnosformulär november

Hermundstad Östlund Ansell. Grundläggande IT för SENIORER

REGLAB. en mötesplats för regional utveckling

Projektadministratör/ -informatör

Systemkrav och tekniska förutsättningar

Redigering av dokument - SaveToServer

Studerandes sysselsättning YH- och KY-studerande som examinerades 2013

Kristoffer Eriksson Christer Oscarsson Andreas Dahlberg Martin Bengtsson

RMAD MED APPSALES BLACK CONNECTS YOUR BUSINESS TO A MOBILE WORLD.

Att göra kartor med enkelt verktyg

Transkript:

Automatiserad rapportproduktion med R

Upplägg Varför arbeta med reproducerbara rapporter? Utvecklingsmiljö och teknik (Teknisk demonstration)

Problemet Många engångsinsatser görs för att beskriva regionen och kommuner. Man orkar sällan uppdatera rapporter med nya data. Som regionbyråkrat får man ofta kommentaren det är ju intressant, men hur ser det ut i min kommun? Kommunerna lägger mycket pengar på konsultinköp för ganska triviala deskriptiva analyser. Det tar mycket tid att vara frågelåda åt kommunerna (och det är ganska tråkigt).

Designval- och filosofi Statiska rapporter med kontextuell information. Undvik interaktivitet! Lägg inte analysarbetet i knäet på ovana användare. Erbjud kommunerna en stomme av text, diagram och tabeller som de kan vidareförädla själva.

Se till så att både text, figurer och tabeller uppdateras utifrån data. Automatisera uppdateringen av databasen så mycket som möjligt. Gör verktyget flexibelt så att det själv går att bestämma geografiska aggregat.

Lösningen: Automatiserade kommunrapporter Stor efterfrågan på info om läget från kommunerna. Gjorde tidigare ett FAQ i forma av ett excelark till kommunerna, men många hade svårt att ta till sig tabelldata 2015 hade vi gjort ett antal moduler i R som tog fram befolkningsdiagram m.m. Idé: Kan man inte sätta ihop programsnuttarna till en rapportgenerator Ägnade mycket tid under våren och sommaren 2015 år att ta fram verktyget. Rapporterna har legat ute på nätet sedan december 2015 Uppskattat av kommunerna. Många frågar om de får stjäla diagram och kartor till egna rapporter. Rapporterna finns på: https://utveckling.skane.se/publikationer/rapporter-analyser-ochprognoser/kommunrapporter-for-naringsliv-och-arbetsmarknad/ Vi gör även kommunrapporter för Blekinge för att täcka hela NUTS2- området

Exempel: https://utveckling.skane.se/publikationer/ra pporter-analyser-ochprognoser/kommunrapporter-fornaringsliv-och-arbetsmarknad/

Resultat Relativt högt användande bland kommunala analytiker och näringslivstjänstemän och professionella utvecklingsbyråkrater. Flera fastighetsbolag har hört av sig. Flera regioner arbetar med att ta fram liknande rapporter. (VG, Dalarna). Externa önskemål om nya teman: Senast tillagda är ett bostadsavsnitt. Verktyget används internt när vi snabbt behöver få ihop en kommunpresentation eller redovisa data för ett nytt aggregat av kommuner (en delregion, Sydsvenska län m.m.) En och annan utvecklingsbyråkrat utanför Skåne hör av sig då och då och vill ha rapporter.

Teknisk lösning: Lösningen bygger på programspråket R och Rmarkdown. Rmarkdown gör det möljigt att blanda text med kod. Figurer och tabeller skapas dynamiskt utifrån data när programmet körs. Rapportgeneratorn är modulärt uppbyggd: I Rmarkdowndokumentet anropas funktioner som är specialiserade på att rita diagram, kartor och skriva text. Uppdatering av databasen sker via skript som läser in data från SCB:s databas. (Tabeller från AF och MONA måste tyvärr uppdateras för hand)

Data för samtliga kommuner i riket finns med för att möjliggöra jämförelser med kommunfamiljer och andra län Allt data lagras på kommunnivå. Andra indelningar bygger på att kommundata aggregeras Enkelt att skapa egna grupperingsnycklar Diagrammen och tabellerna i kommunrapporterna lagras även som en PowerPoint för varje kommun. Det går köra ut rapporterna som webbsida, MS Word eller pdf, men primärt kommunicerar webbsidan utåt.

Vad är R? Programspråk inriktat mot statistik Opensource-version av programspråket S med rötter i 70-talet. Modulärt uppbyggt programmet kan expanderas med hjälp av externa bibliotek - packages. För närvarande finns det drygt 18 000. Merparten av paketen finns i CRAN (Comprehensive R Archive Network) som står för viss kvalitetssäkring Stark ställning bland akademiker nya statistikmetoder släpps ofta som tillägg till R. Även stark bland biologer och inom läkemedelsindustrin. Google och Uber är stora användare av R De senaste tio åren har det tillkommit kommersiella aktörer som utvecklat R för Big Data och skapat bättre utvecklingsmiljöer.

Sedan några år finns det en R-version från Microsoft. R finns inbyggt i nya versioner av SQL Server och stöds av Microsofts utvecklingsverktyg. R och Python är de utvecklingsmiljöer som växer mest inom dataanalys. Ger större flexibilitet än till exempel SAS och SPSS. Kan importera data från SAS, SPSS, Excel Enormt utbud av visualiseringsverktyg via programpaket

Varför är det mödan värt att lära sig R (eller Python) Det går att få integrerade flöden i analysen. Man kan göra allt steg i analysen i samma program: Ladda hem data, datacleaning, analys, visualisering och rapportproduktion I och med att alla steg i analysen finns dokumenterat i kod så kan den lättare upprepas och uppdateras.

Några exempel där vi använder R: Framtagande av månatlig Arbetsmarknads- och konjunkturrapport. Kommunrapporter om näringsliv, arbetsmarknad och utbildning Textanalys av Arbetsförmedlingens platsannonser Uttag och bearbetning av data från Stativ Rapport över Skånes styrkeområden

Några sidor: http://www.r-graph-gallery.com/ http://rmarkdown.rstudio.com/gallery.html

När använda R: Rapporter man kommer att upprepa Avancerad visualisering som till exempel Excel inte klarar till exempel nätverk, flödesdiagram, interaktiva diagram. Framställning av många nästan identiska diagram.

När inte använda R Overkill om det är små datamaterial som ska användas en gång för att producera standarddiagram. R har hyfsade GIS-funktioner, men ändå betydligt enklare med Qgis eller ArcGis

Nackdelar med R Det är programmering viss tröskel för att komma igång Expanderbarheten i R är en styrka, men innebär samtidigt att det finns en mängd olika sätt att skriva kod och uträtta samma sak

Resurser för att komma igång Ladda hem R (https://www.r-project.org/) Utvecklingsmiljön Rstudio (rstudio.com) Läs en introduktionsbok, t.ex. R Programming for Data Science av R D Peng. (leanpub.com). En utmärkt resurs är R for Data Science (http://r4ds.had.co.nz/). Ett måste! Tillägg för att ladda hem data från SCB: pxweb. Data från Eurostat via Eurostat och från OECD via oecd. Alla tre kan tankas ned från CRAN. Lär diagramproduktion i ggplot2 (ett diagramritningsbibliotek till R). Gå en nätutbildning! John Hopkins University erbjuder till exempel gratisutbildningar på coursera.com R-användarnätverk Min blogg: https://dittochdata.netlify.com/