Föreläsare: Nadja Morin

Transkript

1 Föreläsare: Nadja Morin Kurslitteratur: Business Intelligence By: Elizabeth Vitt; Michael Luckevich; Stacia Misner Publisher: Microsoft Press Pub. Date: December 15, 2008 Print ISBN-13: Print ISBN-10: X Det mesta materialet kommer från kurslitteraturen 1

2 Introduktion av utbildningen Grunderna till Business Intelligence 2

3 Business Intelligence - Intro 10 poäng dvs 2 veckor uppdelat i 2 delar Första delen denna vecka Kurserna i utbildningen Grunderna i BI Vilka är aktörerna inom BI? System och verktyg Användarfall? Tenta

4

5 Business Intelligence-utvecklare Efter avslutad utbildning ska den studerande ha kunskaper om Utbildningen ska utbilda utvecklare som med kompetens i Microsoft SQL och dess Business Intelligence-verktyg ska kunna arbeta med databasutveckling och beslutsstöd, och kunna ta fram bra underlag för affärer genom BI-analyser och rapporter. Efter genomgången utbildning ska de studerande kunna: Koncepten runt Business Intelligence Databasdesign T-SQL OLAP SSAS (SQL Server Analysis Services) SSIS (SQL Server Integration Services) SSRS (SQL Server Reporting Services) Den studerande ska dessutom, genom att ha arbetat i grupper och projekt, ha utvecklat sin personliga och sociala kompetens för att kunna arbeta i projekt

6 Kurser i utbildningen - första året Introduktion till Business Intelligence (10 YH-poäng) SQL och Windows Server (25 YH-poäng) Matematik (10 YH-poäng) T-SQL (30 YH-poäng) Databasdesign 1 (25 YH-poäng) MS SQL Server Reporting Services (30 YH-poäng) MS SQL Server Integration Services (30 YH-poäng) Databasdesign 2 (15 YH-poäng) MS SQL Server Analysis Services (25 YH-poäng)

7 SQL och Windows Server 25 YH-poäng Grunderna i SQL Server och översikt över komponenterna och hur resten av utbildningen hänger ihop

8 Matematik 10 YH-poäng Matematik som behövs för BI-utvecklare, med ett urval matematiska begrepp som är väsentliga för delar av de övriga kurserna.

9 T-SQL 30 YH-poäng Transact-SQL ett språk för transaktioner Med hjälp av den skickar man in och hämtar informationen i SQL! Innehåll: Sök efter data i tabeller Villkor och uttryck Flertabellssökning Fulltextsökning Ändra poster Variabler, lokala och globala Lagrade procedurer Användardefinierade funktioner Triggers

10 Databasdesign 1 25 YH-poäng Sista kursen på höstterminen Studenterna ska kunna analysera krav och designa lösningar utifrån ett objektorienterat synsätt. Förstå betydelsen av design vid implementering av databaslösningar. Kunna använda ett modelleringsverktyg vid genomförande av utvecklingsprocessen. Innehåll: Metoder för databasdesign Kravanalys, Systemdesign, Arkitektur för databassystem Relationsdatamodellen, normalisering ER-modeller och UML (Unified Modeling Language) och andra notationer.

11 MS SQL Server Reporting Services 30 YH-poäng HT 2013 Målsättningen är att studenterna ska kunna använda SQL Server Reporting Services (SSRS) och skapa Business Intelligence-rapporter. Innehåll: SQL Reporting Services och dess komponenter Skapa rapporter Förädla rapporter Manipulera data-set Använda rapportmodeller Publicera och köra rapporter Konfigurera rapportpublicering och inställningar för körning Konfigurera rapport-abbonemang Administrera Reporting Services

12 MS SQL Server Integration Services 30 YH-poäng HT 2013 Målsättningen är att studenterna ska kunna importera och exportera användandes MS SQL Server Integration Services. Innehåll: Dataimport och exportscenarion Utveckla Integration-service lösningar Implementera kontrollflöden Implementera dataflöden Implementera loggning Avlusning och felhantering Kontrollpunkter och transaktioner Skapa och driftsätta paket Säkerhet

13 Databasdesign 2 15 YH-poäng HT 2013 Fördjupningskurs i Databasdesign. Ni lär er mer om databasdesign och OLAP. Innehåll OLAP Modeller och metoder

14 MS SQL Server Analysis Services 25 YH-poäng HT 2013 Innehåll: OLAP Skapa lösningar med multidimensionell analys Arbeta med kuber och dimensioner Arbeta med Measures och Measure Groups Ställa frågor mot Multidimensionella analys-lösningar Anpassa kub-funktionalitet Driftsätta och implementera säkerhet Underhåll Data mining

15 Nästa år (ht2013-vt 2014) Examensarbete 30 YHP Att ni utvecklar på egen hand, eller som del i en projektgrupp, en fullt fungerande applikation eller tjänst som dokumenteras enligt gällande affärspraxis. Teknikfördjupning 40 YHP Utifrån marknadens behov ska studenten kunna välja och fördjupa sig i några tekniker LIA, 2 omgångar, 70 YHP samt 60 YHP

16 Vad är Business Intelligence? Affärsmodeller BI-cykeln Att omsätta BI i praktiken Aktörer inom BI Kapitel ur boken: 1 Understanding Business Intelligence

17 Vad är Business Intelligence? Från Wikipedia: Business Intelligence, förkortat BI, är ett samlingsbegrepp för färdigheter, teknologier, applikationer, processer och metoder för organisationer att bättre förstå sin verksamhet och sin omvärld. Grovt kan området indelas i informationshanteringssystem respektive analytiska processer. BI som informationshanteringssystem omfattar områden som business performance management, corporate performance management, enterprise performance management, operational performance management och yield management. Då BI avser de analytiska processer kan det sägas vara synonymt med competitive intelligence, CI, vilket tydligare fokuserar på en organisations analys av affärsomgivningen där eventuellt stöd från IT-system har en underordnad roll. CI-begreppet omfattar områden som omvärldsanalys, omvärldsbevakning, marknadsanalys, kundanalys och konkurrentanalys. I avhandlingen Myten om det rationella flödet samlas samtliga dessa termer under begreppet organiserat underrättelsearbete. [1] Business Intelligence syftar ofta till att stödja beslutsfattande. Ett BI-system kan även således kallas för ett beslutsstödsystem. Vi ska titta på BI från 3 perspektiv nu Ett sätt att ta bättre beslut snabbare Konvertera data till information Rationellt ledarskap dvs baserat på fakta

18 Bättre beslut snabbare Genom analys av om handlingar innebär att man bättre når företagsmål Beslutstöd och företagets planer samverkar Snabbheten är viktig i konkurrens med andra företag den som först agerar får störst bit!

19 Konvertera data till information Analysgapet skillnaden mellan informationen som beslutsfattare behöver och datat som insamlas dagligen.

20 Rationellt ledarskap BI-attityden kännetecknas av följande: Söka objektiva mätbara kvantitiva fakta (data) om företagets verksamhet. Använda organiserade metoder och tekniker för att analysera fakta Inventera och dela modeller som förklarar vad som är orsak och verkan i vad företaget gör och vilka effekter detta har för att nå företagets mål. Experimentera med olika tillvägagångssätt och kontrollera vad det ger för resultatåterkoppling. Att förstå att människor inte alltid beter sig rationellt. Att driva företaget (ta beslut och handla) baserat på allt ovanstående.

21 Affärsmodeller B2B - Business-to-business Handel med företag som köpare Affärssystemsföretag (CRM, ekonomi osv) Kontorsmaterial Grossister Osv B2C Business-to-consumer Handel med privatpersoner som köpare Bokhandel (amazon.com, bokus, adlibris osv) Mediehandel (cdon, diskshop) Varor (tretti.se) Tjänsteförsäljning Varuförsäljning

22 Aktörer som är verksamma inom BI I någon mån används BI inom alla företag Medlemskort hjälper företag att kartlägga köpbeteenden Datalagringslagen, integritetsskydd

23 Översikt BI-plattformar Gartner Groups Business Intelligence Platform Magic Quadrant

24 De ledande BI-plattformarna Oracle MicroStrategy Microsoft IBM QlikTech SAS SAP Information Builders

25 BI-cykeln Analys Steg 1 är att fråga och besvara många svar snabbt både konventionella och okonventionella. Resultatmätning Insikt Handling

26 BI-cykeln Analys Steg 2 är att nå insikter baserat på analysen Resultatmätning Insikt Handling

27 BI-cykeln Analys Resultatmätning Insikt Handling Steg 3. Vi utför handlingar baserat på våra insikter

28 BI-cykeln Analys Steg 4 Vi mäter resultatet av våra handlingar. Om vi fått det resultat vi vill ha bra annars startar vi om från Steg 1. Analys Resultatmätning Insikt Key Performance Indicator (KPI) Nyckeltal för verksamheten Handling

29 Key Performance Indicator Från Wikipedia: Key Performance Indicator, vanligen endast KPI (akronym), är ett begrepp från engelskan som används för att mäta effektivitet hos till exempel en verksamhet. På svenska kallar man detta ofta Nyckeltal för verksamheten. Vilka faktorer som mäts varierar från fall till fall, men syftet är att genom att mäta ett fåtal indikatorer, nyckeltalen, få ett korrekt mått på effektivitet eller prestation av hela verksamheten. Några exempel på nyckeltal kan vara försäljningsintäkt, vinstmarginal, kostnadsreduktion, medelnivå på kundnöjdhet på en skala, maximal väntetid för en kund.

30 Exempel på nyckeltal (KPI) Verksamheten Antal producerade enheter Kapacitetsutnyttjande % defekta Sälj Antal enheter sålda Genomsnittligt försäljningspris sålt per anställd Ekonomi % vinst % marginal resultat jämfört med prognos

31

32 Tekniken vad har förbättrats? Datorkraft Dagens stationära är bättre än superdatorerna för några årtionden sedan Datavolymer Datalagring haft en stor kapacitetsökning de senaste 10 åren, till lägre priser Webben och Informationsdemokrati Att fler personer kommer åt informationen och inte bara chefer (informationdemokrati) och att man kan använda webbläsare för att komma åt informationslagret. Standarder Standarder har förbättrats så att det är lättare att exportera och importera BI-mjukvara BI-mjukvaran har utvecklats

33 Människorna och företagskulturen Människor Kan ogilla eller gilla förändringar Känslostyrning Om du har en samma uppsättning fakta, kan du se de på alla möjliga olika sätt beroende på vad du förväntar dig att se vad du vill se hur mycket du vågar experimentera med synsätt Olika människor drar olika slutsatser från exakt samma material! Ingen mängd rådata kan dock ersätta experimenterande och analys. Informationssystem kan rapportera vad som pågår, men för att få insikt till varför detta händer måste man förstå sig på människor och organisationer. Detta kräver människor!

34 Företagskultur Företagskulturer som lyckas bäst i att etablera BI är de som systematiskt lyckas med följande: Tillhandahålla enkel och bred tillgång till information Stimulera analys och beslutstagande på en stor skala Stimulera delning av vad som upptäcks med bredare publik Insistera på faktabaserad rationellt stöd för planer Uppmuntra experimenterande och visa tolerans för misslyckanden som ändå varit goda försök

35 Tänk och googla fram exempel på B2B och B2C företag. Hur använder de/skulle kunna använda BI? Notera också på om de sysslar med försäljning av tjänster eller varor!

36 Sammanfattning Vad är Business Intelligence? Ett sätt att nå bättre beslut snabbare Konvertera data till information Rationellt ledarskap dvs baserat på fakta Affärsmodeller: B2B - Business-to-business gentemot B2C Business-toconsumer Tjänsteförsäljning gentemot varuförsäljning BI-cykeln Analys-Insikt-Handling-Resultatmätning

37 Kapitel ur boken: 2. Bridging the Analysis Gap

38 Operational database (transaktionsdatabas) OLTP OnLine Transaction Processing Relationsdatabaser (RDBMS relational database management system) Hanterar rådatat Språket för dataaccess i RDBMS är SQL

39 Interaktion med OLTP Bankexempel: en transaktion Händelse Uttagsautomaten kontrollerar Kund Sätter in bankkort Uttagsautomat Läser bankkort Hittades konto? Uttagsautomat Efterfrågar PIN-kod Kund Skriver in PIN-kod Stämmer PIN-koden? Uttagsautomat Efterfrågar hur mycket som önskas Kund Skriver in önskat belopp Finns täckning på kontot? Uttagsautomat Betalar ut pengar och gör avdrag på kontosaldot Kund Uttagsautomat Tar pengar Avslutar transaktionen Har kunden tagit pengarna - pip annars

40 Interaktion med OLTP Fortsättning bankexempel Genomför en transaktion du tar ut pengar enligt processen med rätt konto, PIN-kod, pengar på kontot osv Alla transaktioner sker i realtid att du är berättigad till uttag, ger dig pengarna uppdaterar saldot omedelbar osv. Allt sker mer eller med direkt verkan. Banken behandlar många transaktioner kontinuerligt, ditt konto, och alla andra som sätter in pengar, tar ut pengar osv som görs kontinuerligt hela dagen, varje dag. Det finns inga strikta nedstängningar eller stopp eller åtminstone inga som är synliga för de som använder uttagsautomaten.

41 BI i små företag I företag som hanterar små datamängder kan man göra analys fortfarande via rapporter och BI-kunnande, men ju mer data, desto mer komplexa blir sambanden Många affärssystem har inbyggd rapportfunktionalitet men den behöver ofta anpassas av utvecklare Även där kan dock det finnas mer data än man kanske tror och i diverse olika system som behöver länkas ihop för att analysmaterialet ska kunna bli bra

42 Rapportering Rapportfunktionalitet finns ofta inbyggd i affärssystem Den inbyggda rapportfunktionaliteten kan inte komma åt information från icke-integrerade system

43 OLAP OnLine Analytical Processing För att ta fram svar på flerdimensionella frågor (per, per, per) och kunna gräva ner sig i informationen En översikt över OLAP: Användningsexempel: Vad är faktisk försäljning jämfört med forecast-försäljning per region av säljare per produkt? Vad är vår vinst per produkt och per kund?

44 Multidimensionell analys 3 olika vyer: tid, marknad och produkt Multidimensionell vy Atlanta Chicago Denver Detroit Total Time Amount Qtr 1 $16,000 Qtr 2 $16,000 Tot Time $32,000 Market Amount Atlanta $8,000 Chicago $8,000 Denver $8,000 Detroit $8,000 Tot Market $32,000 Qtr 1 Apples $ - $ - $2,500 $1,500 $4,000 Cherries $ - $ - $2,000 $2,000 $4,000 Grapes $1,000 $3,000 $ - $ - $4,000 Melons $2,000 $2,000 $ - $ - $4,000 Total Q1 $3,000 $5,000 $4,500 $3,500 $16,000 Qtr 2 Apples $4,000 $ - $ - $ - $4,000 Product Amount Cherries $1,000 $3,000 $ - $ - $4,000 Apples $8,000 Cherries $8,000 Grapes $8,000 Melons $8,000 Grapes $ - $ - $1,500 $2,500 $4,000 Melons $ - $ - $2,000 $2,000 $4,000 Total Q2 $5,000 $3,000 $3,500 $4,500 $16,000 Tot Product $32,000 Grand Total $8,000 $8,000 $8,000 $8,000 $32,000

45 Slice-and-dice Slice-and-dice vrida och vända på informationen

46 Hierarkier Ad-hoc-analys I stort sett vilken fråga som helst kan bli besvarad i realtid inom några minuters tid (i ett välkonstruerat OLAP-system) I stort sett valfri rapport kan formatteras med pivot och inbäddade dimensioner I stort sett vem som helst i företaget, inklusive affärsfolk som gillar att fråga en massa frågor, kan läras att göra detta Drill down is the action of clicking a member name to see the next lower level of detail in the hierarchy. Drill up is clicking a member to see the next highest level (that is, a bottom-up action). Drill across opens up a new dimension. Drill through is clicking a summarized data value to display the source data rows that comprise that value.

47 Hierarkier - fortsättning Dimensioner Hierarkier Medlemmar Relationer

48 Mätvärden Det som mäts är alltid en kvantitet eller ett utryck som resulterar i en kvantitet. Det som mäts kan vara olika kvantitiva mått, tex ett exakt tal (antal sålda), valuta (hur mycket det sålt för), procent (hur många procent såldes) eller andel (försäljning per person) Det som mäts kan tas fram från originaldatakällor eller uträkningar Du måste ha åtminstone ett mått för att göra någon form av OLAP-analys; en applikation kommer normalt sett ha många olika mått och i vissa extrema fall tusentals.

49 OLAP lagring (från Wikipedia) Desktop files (known as desktop online analytical processing [DOLAP]). Because data is stored on individual desktop machines, you will tend to find DOLAP existing by itself in smaller-scale applications where there is minimal need for multiple users to have access to a single data source on a central server. You will also find DOLAP as a part of many OLAP vendors overall offering to facilitate analysis when users are away from their company network, such as when they are on an airplane. Relational databases servers (known as relational online analytical processing [ROLAP]). You will find lots of ROLAP environments in various size implementations. Storing data in a relational database allows you to take advantage of one of its greatest benefitsâ being able to store lots of data. What tends to happen, however, is that the data retrieval performance for ROLAP will often not be as fast as other storage options, such as multidimensional servers. Some OLAP vendors store data only in relational databases regardless of the data volume. Other vendors provide ROLAP as one of several options. Multidimensional databases servers (known as multidimensional online analytical processing [MOLAP]). In MOLAP storage, data is placed into special structures that are stored on a central server(s). MOLAP tends to offer the greatest data retrieval performance generally outperforming all other storage modes. However, there are some arguments that MOLAP cannot handle as much data as ROLAP. The performance and storage really depend on the particular OLAP product and the type of analysis that you are trying to accomplish. For the sake of thoroughness, we would be remiss if we did not mention the fourth storage mode: HOLAP (hybrid online analytical processing). HOLAP is not really a distinct mode of storing data. Rather, HOLAP is the ability to spread data across both relational and multidimensional databases in order to get the best of both worlds. Whether this is true or not depends on the particular vendor.

50 BIG data Big Data (stordata) är data som överskrider processkapaciteten av konventionella databassystem. Det är för stort, rör sig för fort eller passar inte in i din databasarkitektur Läs mer på: Wikipedia: Om SQL Server 2012 och Big Data: Hadoop distribuerad lagring i molnet Qlikview

51 Exemplet med Target Diskutera detta, tänk på det ur svenskt perspektiv, kommer ni på liknande saker som kan uppstå i Sverige? Vad tänker ni om medlemskort osv? Skiljer hur man pratar om integritetsfrågor mellan Sverige och USA? Andra länder?

52 Sammanfattning Gapet mellan rådata och företagsinformation kan överbryggas genom en rad processer som börjar med transaktionssystem och slutar upp med BI-system Att utforma effektiva flerdimensionella system bygger på förståelse av dimensioner, hierarkier och mätbarhet.

53 Högnivå-vyn Rapportering och analys Datalager

54 Var lagras informationen? 2 definitioner Från CS språkwebb: data mart - datatorg - del av en organisations data, tillgänglig för anställda som kan ha behov av dem. Det kan vara data som behövs för vissa arbetsuppgifter eller som handlar om ett speciellt ämne. Man skiljer mellan data mart och data warehouse, på svenska informationslager. Enkelt uttryckt är en data mart en del av ett informationslager. Ett annat sätt att beskriva det är att ett informationslager är ett sätt att hantera befintliga data som organisationen hanterar, medan data marts är utformade för användarnas behov. - Mart är en nersliten form av engelska market i betydelsen 'torgmarknad', 'mässa'. Ordet mart används också om information som är spridd mer eller mindre planlöst i en organisation, se från CS språkwebb: informationslager - (data warehouse) - databas som innehåller aktuella data från ett företags verksamhet och som är utformad för avancerad analys, men som är separat från det datasystem som företaget använder i verksamheten. Enkelt uttryckt är det en databas som är anpassad för snabb läsning, men som inte behöver klara ändringar och strykningar, eftersom den bara används för analys av sådant som redan har hänt. Informationslager används för försäljningsanalys, informationsutvinning och beslutsstöd. Bygger på att färska data regelbundet överförs från det vanliga datasystemet, som sedan inte belastas av tunga sökningar. I ett informationslager formateras datamängderna också om så att de blir anpassade för analytikernas sökningar. - Jämför med data mart (datatorg). - Läs också om olap.

55 Hur informationen kommer till användarna Rapporterings och analysprocesser Front-end verktyg Data mining

56 Rapporter och analyser Syftet med rapporter är att göra data enkelt att analysera

57 Användargrupper Poweranalytikern Skapar rapporter som andra använder. Utför ad-hoc-analyser i fri form Informationskonsumenter Vill ha möjligheten att ställa dynamiska frågor till databasen utan att behöva bli databasexpert Informationsanvändare Vill ha strukturerade rapporter utan att själva behöva vrida och vända på informationen. Power Analysts Information Consumers Information Users

58 Front-end-verktyg Verktyg som följer rapportstandarder: Dessa verktyg tenderar vara bäst på att skapa formaterade rapporter. Många av dessa verktyg kan nu användas via webbläsaren för att utforma och se rapporter. Är bra på utskrifter och schemaläggning. Verktyg som följer standarderna för multidimensionell ad hoc datautforskning. Dessa verktyg är bäst på att läsa OLAP-kuber, stödja interaktiv analys och ge grafiska sätt att se datat.

59 Informationsutvinning Wikipedia: Informationsutvinning, även kallat Data mining betecknar sökandet efter mönster i stora datamängder. [1] Begreppet har vuxit fram sedan växande databasers storlek har begränsat möjligheterna till kompletta statistiska analyser inom områden som biologi och finansiella kalkyler. Genom exempelvis algoritmer eller manuell observation försöker man finna relationer mellan datapunkterna, för att bättre kunna visualisera eller utnyttja den komplexa informationen. Informationsutvinning kan använda sig av olika tekniker, bl.a. mönsterigenkänning och subjektbaserad igenkänning.

60 Praktisk informationsutvinning Svårigheter- Har tidigare varit dyrt Om man lyckas bra med informationsutvinning publicerar man kanske inte information om detta för att inte konkurrenterna ska göra samma sak, och för att kunderna kan bli nervösa (tänk på vår gruppövning igår om Target)

61 Data Mining (svenska:informationsutvinning Datautvinning) En automatiserad process som använder olika analysverktyg och statistiska tekniker för att synliggöra mönster och relationer i stora komplexa datauppsättningar. Descriptive Beskrivande En sorts informationsutvinning som producerar en modell som beskriver mönster i historiska data och som kräver mänsklig interaktion för att bestämma betydelsen och meningen i mönstren. Predictive Förutsägande Informationsutvinning som producerar en modell för användning med nya data för att förutsäga ett värde eller ett troligt resultat baserat på mönster upptäckta i historiska data Affinity grouping grupperar liknande ideer eller saker i kategorier En beskrivande informationsutvinningsuppgift som beskriver vilka saker som passar ihop baserat på en uppsättning kriterier. Cluster Analysis En beskrivande informationsutvinningsuppgift som delar upp data in i små grupper baserat på likhet utan fördefiniering av datagrupperna Visualization - Visualisering Grafisk representation av data som kan göra mönster mer synliga för det mänskliga ögat

62 Data Warehouse Kallas även informationslager eller datalager Är en sammanställning av information från flera källor, utförd på ett sådant sätt att det underlättar en avancerad analys av informationen. Sammanställningen har dessutom en sådan struktur, och är försedd med sådana hjälpmedel, att analysen kan utföras utan mera djupgående IT-kunskaper.

63 Översikt över Data Warehouse från Wikipedia

64 Kännetecken för data warehouse Ämnesorienterad Konsistent data Städat data Historiskt data Snabb leverans av data

65 Sammanfattning Data Warehouse-arkitekturen möjliggör flexibel och effektivt beslutsstödjande ramverk för att organisera och leverera data till beslutsmakare. BI får liv genom att den använder

66 SQL Server 2012 Business Intelligence ft.com/sqlserver/en/ us/solutions- technologies/sql- Server businessintelligence.aspx

67 SQL Server 2012 Business Intelligence SSAS (SQL Server Analysis Services) SSIS (SQL Server Integration Services) SSRS (SQL Server Reporting Services) Kurser: Introduktion till Business Intelligence (10 YH-poäng) SQL och Windows Server (25 YH-poäng) Matematik (10 YH-poäng) T-SQL (30 YH-poäng) Databasdesign 1 (25 YH-poäng) MS SQL Server Reporting Services (30 YH-poäng) MS SQL Server Integration Services (30 YH-poäng) Databasdesign 2 (15 YH-poäng) MS SQL Server Analysis Services (25 YH-poäng)

68 Jobb vad ska vi söka på? Google direkt mot företagen Nätverkande Andra utbildningar på Nackademin LinkedIn

69

70 Lektion med utbildningsledaren där 1 timmes tenta ingår 70