Alterna(va datamodeller & grafdata på webben. Gäs8öreläsning Robin Keskisärkkä

Transkript

1 Alterna(va datamodeller & grafdata på webben Gäs8öreläsning Robin Keskisärkkä

2 Översikt Del 1: Alternativ till relationsdatabaser Del 2: Introduktion till den semantiska webben Dela data på webben RDF Metoder för att publicera och konsumera data Exempel på datamängder och användningsområden Del 3: Använda webbdata i R

3 Alterna(v (ll rela(onsdatabaser

4 Begränsningar hos rela(onsdatabaser Objekt existerar inte naturligt utan sina attribut Relationsmodellen fokuserar på relationer (inte objekt) Attribut måste vara atomära Semantiken bakom relationsdatabasen är inte explicit Vi måste veta om hur strukturen hänger ihop eller försöka härleda den ur hur tabellerna relaterar till varandra Knepigt att uppdatera databaschemat Kan ofta inte hantera riktigt stora datamängder Skalar inte horisontellt...

5 5 Alterna(v Objektorienterade databaser Deduktiva databaser ( logikdatabaser ) NoSQL Key-value stores Grafdatabaser...

6 6 Alterna(v? Objektorienterade databaser Deduktiva databaser ( logikdatabaser ) NoSQL Key-value stores Grafdatabaser...

7 7 Vad är NoSQL? Next Generation Databases mostly addressing some of the points: being non-relational, distributed, opensource and horizontally scalable. Often more characteristics apply such as: schema-free, easy replication support, simple API, eventually consistent / BASE (not ACID), a huge amount of data and more. Från

8 8 Key-value store Jfr. dictionary eller hashtabell Exempel Dynamo, Oracle NoSQL Database, Redis,... Fördelar Distribuerat (samma hash-funktion) Tillgängligt Enkel modell (inget schema) Utmaningar Konsistens, tid för händelser och konflikthantering => Offrar konsistens mot tillgänglighet och replikering

9 9 Wide column store Tvådimensionellt key-value store Tabell där radnamn + kolumnnamn utgör nyckeln för ett dataelement Tänkt för en stor mängd kolumner

10 10 Ex: Googles BigTable Utvecklades av Google Rådata från Googles crawlers (2006) ca 800TB, 1000 miljarder celler Distribuerat över serverkluster Hierarki av tabeller för att hitta rätt data

11 11 Ex: Apache Cassandra Används av bla Apple, Netflix, ebay, Instagram... Kännetecknas av att data finns replikerat på flera noder och alla noder har samma status Netflix Detaljerade kategorier Användarstatistik sedan många år tillbaka

12 12 Grafdatabaser Mycket data kan naturligt beskrivas som grafer Sociala nätverk Länkar eller andra relationer mellan dokument... Typisk datamodell Noder Bågar (relationer) Attribut för både noder och relationer 1 sedan= 2011 jobbarpå namn= Eva personnummer=... 2 namn= LIU adress=...

13 13 Ex: Neo4J En av de populäraste grafdatabaserna Används av Walmart (produktrekommendationer), Telenor (resurser och åtkomstkontroll), ebay (leveransplanering)... Video (2009)

14 14 Ex. OrientDB Snabbt växande Hög prestanda på stora datamängder Flexibel datastruktur

15 15 Data på webben RDF och länkade data

16 Web vs. Seman(c Web

17 RDF Resource Descrip(on Framework Grafdatamodell för att representera data på webben Data representeras som tripplar En resurs är vad som helst som kan identifieras med en URI En webbsida, en bok, en verklig person,... Relationer är också resurser! Exempel: <Bob> <is a> <person>. <Bob> <is a friend of> <Alice>. <Bob> <is born on> <the 4th of July 1990>. <Bob> <is interested in> <the Mona Lisa>. <the Mona Lisa> <was created by> <Leonardo da Vinci>. <the video 'La Joconde à Washington'> <is about> <the Mona Lisa>. Exampel från hcps://

18 Exampel från hcps://

19 The Seman(c Web Layers

20 22 Standardiserade ontologier RDF RDFS OWL...

21 Relationsdatabas eller kunskapsbas? 23 En relationsdatabas har en mycket effektiv underliggande modell (för normalstora data) men semantiken bakom viss information förloras när den lagras som tabeller (jfr. ER-modell vs. tabeller) Ex: Lista alla forskningsartiklar Namn Anders Anna Bengt Position Doktorand Professor Pressansvarig Författare Artikel Bengt Universitetsnytt 2014 Anna Ontology engineering Bengt Statistik över LiU '07

22 RDF Bengt Anna Universitetsnytt 2014 Doktorand Pressansvarig Anders Statistik över LiU '07 Professor Ontology engineering

23 RDF + RDF Schema (RDFS) Position Fakultetsposition Doktorand Professor Administrativ position Pressansvarig Person Anna Bengt Anders Artikel Universitetsnytt 2014 Statistik över LiU '07 Ontology engineering

24 RDF + RDFS + OWL Position Fakultetsposition Doktorand Professor Administrativ position Pressansvarig Forskare Bengt Person Anders Anna Artikel Universitetsnytt 2014 Statistik över LiU '07 Ontology engineering Forskningsartikel = artikel skriven av en forskare = person som har en fakultetsposition

25 27 RDF/XML exempel <rdf:description rdf:about=" <rdf:type rdf:resource=" <rdf:description rdf:about=" <skos:preflabel> Uthyrning och förvaltning av egna eller arrenderade bostäder</skos:preflabel> <rdf:description rdf:about=" <org:classification rdf:resource=" <rdf:description rdf:about=" <gn:parentfeature rdf:resource=" <rdfs:label>södermanlands län</rdfs:label> <rdf:description rdf:about=" <gn:parentfeature rdf:resource=" <rdfs:label>eskilstuna kommun</rdfs:label> <rdf:description rdf:about=" <geo:location rdf:resource="

26 RDF/XML exempel <rdf:description rdf:about=" <rdf:type rdf:resource=" <rdf:description rdf:about=" <skos:preflabel> Uthyrning och förvaltning av egna eller arrenderade bostäder</skos:preflabel> <rdf:description rdf:about=" <org:classification rdf:resource=" <rdf:description rdf:about=" <gn:parentfeature rdf:resource=" <rdfs:label>södermanlands län</rdfs:label> <rdf:description rdf:about=" <gn:parentfeature rdf:resource=" <rdfs:label>eskilstuna kommun</rdfs:label> rdf:type <rdf:description rdf:about=" <geo:location rdf:resource=" 28 foaf:organization

27 RDF/XML exempel <rdf:description rdf:about=" <rdf:type rdf:resource=" <rdf:description rdf:about=" <skos:preflabel> Uthyrning och förvaltning av egna eller arrenderade bostäder</skos:preflabel> <rdf:description rdf:about=" <org:classification rdf:resource=" <rdf:description rdf:about=" <gn:parentfeature rdf:resource=" <rdfs:label>södermanlands län</rdfs:label> <rdf:description rdf:about=" <gn:parentfeature rdf:resource=" <rdfs:label>eskilstuna kommun</rdfs:label> <rdf:description rdf:about=" <geo:location rdf:resource=" rdf:type foaf:organization 29 Uthyrning... skos:preflabel

28 RDF/XML exempel <rdf:description rdf:about=" <rdf:type rdf:resource=" <rdf:description rdf:about=" <skos:preflabel> Uthyrning och förvaltning av egna eller arrenderade bostäder</skos:preflabel> <rdf:description rdf:about=" <org:classification rdf:resource=" <rdf:description rdf:about=" <gn:parentfeature rdf:resource=" <rdfs:label>södermanlands län</rdfs:label> <rdf:description rdf:about=" <gn:parentfeature rdf:resource=" <rdfs:label>eskilstuna kommun</rdfs:label> rdf:type org:classification <rdf:description rdf:about=" <geo:location rdf:resource=" 30 foaf:organization Uthyrning... skos:preflabel

29 Varför RDF? Prata om resurser och deras attribut på webben (eller utanför) En gemensam enkel (graf-) datamodell Ett universellt sätt att identifiera resurser (URI:er) Lågnivå -integration av data Vi kan tala om att två resurser är samma sak genom att använda samma URI

30 32 Hur lagras och (llhandahålls RDF-data? Nedladdningsbara filer Ladda hem och ladda in i eget triple store SPARQL-endpoints Ställ SPARQL fråga mot en tjänst på webben Data direkt på webben länkade data Slå upp URI:er och traversera grafen Experimentella SPARQL-interface finns Specialiserade API:er

31 34 Triple stores Specialdesignade grafdatabaser för att stödja RDF Jena, RDF4J, OpenLink Virtuoso, Blazegraph, Stardog,... Skillnad mot andra grafdatabaser RDF tillåter inte attribut på noder och bågar Standardiserat frågespråk och datamodell Stödjer oftast ontologier och inferens Ju mer uttrycksfull modell desto sämre skalbarhet

32 Länkade data RDF data som publiceras på webben i enlighet med ett antal principer: 1. Använd URI:er som namn på saker 2. Använd HTTP-URI:er så att man kan slå upp namnen 3. När någon slår upp en URI, se till att returnera användbar information om URI:n 4. Inkludera länkar till andra URI:er, så att man kan upptäcka mer Linking Open Data Project LOD Det första projektet som började publicera data på detta sätt Nu mycket mer än ett projekt

33 Linked Open Data cloud

34 Ec LOD exempel: DBPedia Man har extraherat strukturerad information (RDF) från Wikipedia (främst infoboxes ) Utforska: skriv in en URI för en entitet i din browser, t ex URI:n för Berlin Ställ frågor genom deras publika SPARQL endpoint Alternativt interface:

35 Ec LOD exempel: DBPedia Exempelfråga till DBPedia: Ge mig alla fotbollsspelare som har spelat för klubbar som har en arena med mer än platser, och som är födda i ett land med mer än 10 miljoner invånare.

36 SPARQL-fråga PREFIX dbo: < PREFIX dbp: < PREFIX rdf: < SELECT DISTINCT?player?country WHERE {?player rdf:type dbo:soccerplayer.?player dbo:team?team.?team dbo:ground?stadium.?stadium dbo:seatingcapacity?no. FILTER (?no > 40000)?player dbo:birthplace?country.?country a dbo:country.?country dbp:populationcensus?population. FILTER (?population < ) } DBpedia endpoint:

37 40 Hur kan jag använda länkade data? Utnyttja the Web of Data i dina system Ex: basdata såsom information om platser Hur kommer jag åt data? Nedladdning av datamängder (eget triple store) HTTP Följ länkarna, leta i kataloger (ex SPARQL endpoints Andra API:er

38 43 Exempel på användning slutanvändare BBC Wildlife Finder Europeana Finland Kulturarv, litteratur, historiska dokument Kungliga biblioteket Everything is connected

39 Använda webbdata i R

40 R och länkade data Analysera webbdata med R SPARQL-paket SPARQL/index.html Ställ SPARQL-frågor mot publika endpoints för att hämta in data till R

41 46 R-SPARQL tutorial sparql-package-for-r-gephi-movie-star-graphvisualization-tutorial/ Data från DBpedia om filmskådespelare DEMO

42 47 Summering Moderna storskaliga (webb-) applikationer ställer andra krav än vad traditionella RDBMS är byggda för Horisontell skalbarhet Flexibla scheman Länka till externa data... NoSQL är ett samlingskoncept för populära alternativ såsom grafdatabaser En av de mest populära grafdatamodellerna är RDF, som specifikt utvecklad för webbdata Med länkade data + ontologier kan vi bygga system som utnyttjar webben nästan som om det vore en stor databas Med SPARQL-paketet för R kan man analysera sådana data i R

43 Robin Keskisärkkä

44 Länkar