Databaser Design och programmering. Fysisk design av databasen att ta hänsyn till implementationsaspekter: minnesteknik filstrukturer indexering

Relevanta dokument
Databaser Design och programmering. Fysisk design av databasen att ta hänsyn till implementationsaspekter: minnesteknik filstrukturer indexering

Databaser Design och programmering Minnesteknik Minnesteknik, forts Utvecklingen Hårddisk Hårddisk, forts

Databaser - Design och programmering. Minnesteknik. Minnesteknik, forts. Hårddisk. Primärminne (kretsteknik) Fysisk design av databasen

Minnesteknik. Minnen lämpliga för databaser. Minnesteknik, forts. Databaser design och programmering. temporärt/flyktig Snabbt Dyrt

Fillagring och indexering

Karlstads Universitet, Datavetenskap 1

Datastrukturer och algoritmer. Innehåll. Tabell. Tabell - exempel. Gränsyta till Tabell. Tabell. Modell. Hashtabell Relation, lexikon.

Programdesign, databasdesign. Databaser - Design och programmering. Funktioner. Relationsmodellen. Relation = generaliserad funktion.

Databaser design och programmering. Fö 2: Design processen, ER-modellering

Databaser design och programmering. Design processen ER- modellering

Magnus Nielsen, IDA, Linköpings universitet

Tommy Färnqvist, IDA, Linköpings universitet. 1 ADT Map/Dictionary Definitioner Implementation... 2

Webprogrammering och databaser. Konceptuell datamodellering med ER-modellen

Webprogrammering och databaser. Konceptuell datamodellering med ER-modellen

Operativsystem - Filsystem

Inlämningsuppgift : Finn. 2D1418 Språkteknologi. Christoffer Sabel E-post: csabel@kth.se 1

Öppna filer och filsystem i PintOS Hemuppgift TDDI81, 21/

1 Skapa Tabell Skapa Relationer Redigera Relationer Redigera Fält i Tabell Lägga till Poster i Tabell...

Datastrukturer. föreläsning 6. Maps 1

Tommy Färnqvist, IDA, Linköpings universitet. 1 ADT Map/Dictionary Definitioner Implementation... 2

Dagens föreläsning. KTH & SU, CSC Databasteknik Föreläsning 10 sid 1

Vad du skall komma ihåg från tidigare föreläsningar. Dagens föreläsning. Evaluering av frågor. Data dictionary

Fö 2: Minnen. Introduktion. Primärminnet. Interna och externa minnen. Introduktion, Klassificiering

Tentamen DATABASTEKNIK - 1DL116

Innehåll MySQL Intro. Ex på ett index Index typer ISAM Balanserat träd Pk och Fk i MySQL Eget index För o nackdelar med index

TENTAMEN. TDDD12 Databasteknik TDDD46 Databasteknik. 16 augusti 2010, kl 14-18

Vad är en databas? Databaser. Relationsdatabas. Vad är en databashanterare? Vad du ska lära dig: Ordlista

Databaser - Design och programmering. Kursöversikt. Exempel: telefonbok. Varför databaser?

! Teori och praktik. ! Ändringar från förra året. ! Examination (tenta, projekt) LiU. ! Varför ni? ! Varför överhuvudtaget? LiU

Filsystem. Varför? Hur? För att kunna lagra data mer permanent än i RAM. Vettig organisation Vettiga namn

Filhantering. Grunderna i filhantering. Uppbyggnad av filer. Data hierarkin. Filpekaren. Positionering i filer

Träd Hierarkiska strukturer

Programkonstruktion och. Datastrukturer

Föreläsning Datastrukturer (DAT036)

Sökning i ordnad lista. Sökning och sortering. Sökning med vaktpost i oordnad lista

Datastrukturer. föreläsning 10. Maps 1

Mer datorarkitektur. En titt I datorn Minnen

Datastrukturer och algoritmer

Prov i DAT 312: Algoritmer och datastrukturer för systemvetare

Tentamen i. Databasteknik

Innehåll. Föreläsning 10. Specifikation. Mängd. Specifikation. Konstruktion av mängd. Mängd Lexikon Hashtabell

Programmering för Språkteknologer II. Innehåll. Associativa datastrukturer. Associativa datastrukturer. Binär sökning.

Avbildningar och hashtabeller. Koffman & Wolfgang kapitel 7, mestadels avsnitt 2 4

Sökning. Översikt. Binärt sökträd. Linjär sökning. Binär sökning. Sorterad array. Linjär sökning. Binär sökning Hashtabeller

Innehåll. F7: Tabell, hashtabell, relation & lexikon. Gränsyta till Tabell. Tabell. Tabell Hashtabell Relation Lexikon.

F5: Högnivåprogrammering

F5: Högnivåprogrammering

TENTAMEN TDDD12 Databasteknik 7 januari 2010, kl 14-18

Tentamen med lösningsförslag Datastrukturer för D2 DAT 035

Föreläsningsanteckningar, Introduktion till datavetenskap HT S4 Datastrukturer. Tobias Wrigstad

Innehåll. Föreläsning 12. Binärt sökträd. Binära sökträd. Flervägs sökträd. Balanserade binära sökträd. Sökträd Sökning. Sökning och Sökträd

DD1320 Tillämpad datalogi. Lösnings-skiss till tentamen

Vad är en databas? Databaser. Relationsdatabas. Vad är en databashanterare? Vad du ska lära dig: Ordlista

TENTAMEN TDDB77 Databaser och Bioinformatik 22 augusti 2006, kl 14-18

TENTAMEN TDDB77 Databaser och Bioinformatik 12 juni 2007, kl 14-18

TDDC30. Objektorienterad programmering i Java, datastrukturer och algoritmer. Föreläsning 9 Jonas Lindgren, Institutionen för Datavetenskap, LiU

Föreläsning REPETITION & EXTENTA

Abstrakta datatyper. Primitiva vektorer. Deklarera en vektor

Föreläsning 18 Filer och avbildningar

Föreläsningsanteckningar 5. Cacheminnen

Hitta k största bland n element. Föreläsning 13 Innehåll. Histogramproblemet

TENTAMEN TDDB77 Databaser och Bioinformatik 19 april 2002, kl 14-18

Databaser - Design och programmering

732G16: Databaser - Design och programmering

Grunderna för relationsmodellen!

! Webprogrammering. ! Databasteori och praktik. ! Fö, le, la + projekt. ! Examination (tenta, dugga + labb, ! Studera användarna och deras problem

Hashing Bakom kulisserna på Pythons dictionary

Grunderna i stegkodsprogrammering

Introduktion till MySQL

Sökning och sortering

Webprogrammering och databaser. 729G28 Webprogrammering och databaser. Kursöversikt. Praktisk info. Webprogrammering. Ändringar mot förra året

SQLs delar. Idag. Att utplåna en databas. Skapa en databas

Innehåll. Mina målsättningar. Vad krävs för att nå dit? Obligatoriska uppgifter. Websajten. Datastrukturer och algoritmer

Hashtabeller. TDA416, lp3 2016

Vad är ett dokument? Gör så här

Tentamen Datastrukturer för D2 DAT 035

Föreläsning 9 Datastrukturer (DAT037)

Tentamen i Databasteknik


TDDC30. Objektorienterad programmering i Java, datastrukturer och algoritmer. Föreläsning 3 Jonas Lindgren, Institutionen för Datavetenskap, LiU

Objektorienterade programmeringsspråk. Objektorienterade språk. Den objekt-orienterade modellen. Jämför med icke-oo

TDDC77 Objektorienterad Programmering

Programmering för språkteknologer II, HT2014. Rum

Introduktion till objektorientering. Vad är objektorientering egentligen? Hur relaterar det till datatyper? Hur relaterar det till verkligheten?

Hashing Bakom kulisserna på Pythons dictionary

Hashing Bakom kulisserna på Pythons dictionary. Leta i listor Osorterade listor. Leta i listor Sorterade listor

Magnus Nielsen, IDA, Linköpings universitet

Fredag 10 juni 2016 kl 8 12

ADT Prioritetskö. Föreläsning 13 Innehåll. Prioritetskö vs FIFO-kö. Prioritetskö Exempel på användning. Prioritetsköer och heapar

Datastrukturer. föreläsning 10. Maps 1

Programkonstruktion och. Datastrukturer

En processor kan ha en klockfrekvens på flera GHz. Det går alltså a9 exekvera en instruk=on väldigt for, givet a9 instruk=onen finns i processorn.

F9 - Polymorfism. ID1004 Objektorienterad programmering Fredrik Kilander

Datastrukturer, algoritmer och programkonstruktion (DVA104, HT 2014) Föreläsning 5

Föreläsning 13 Innehåll

Lite om databasdesign och modellering

TDDC30. Objektorienterad programmering i Java, datastrukturer och algoritmer. Föreläsning 3 Jonas Lindgren, Institutionen för Datavetenskap, LiU

Tentamen Datastrukturer D DAT 035/INN960

Idag. Hur skapar vi och underhåller en databas? DD1370 (Föreläsning 4) Databasteknik och informationssystem 7,5 hp Hösten / 20

Objektorienterad programmering

Transkript:

Databaser Design och programmering Fysisk design av databasen att ta hänsyn till implementationsaspekter: minnesteknik filstrukturer indexering

2 Programdesign, databasdesign Databasdesign Kravspecifikation Applikationsdesign Konceptuell design Konceptuell datamodell Transaktionsdesign Logisk design Implementationsmodell Fysisk design Fysisk datamodell Implementation

3 Databas En databas är en samling data som: Har med varandra att göra Representerar (modellerar) en del av verkligheten för ett specifikt ändamål Är beständig (finns kvar) Har en strikt struktur som beskrivs i ett schema Inte innehåller motsägelser Lagras på dator

4 Lagra stora mängder data - minnesteknik Primärminne (kretsteknik) Flyktigt Snabbt (nanosekunder) Dyrt Sekundärminne (Olika tekniker: hårddisk, CD, DVD, diskett, magnetband mm) Permanent Långsamt (millisekunder) Billigt

5 Minnesteknik, forts Solid State Disk (kretsteknik) (ex usb-minne, kameraminnen) Permanent Snabbt (0,1 millisekunder) Dyrt Åldras vid varje skrivning (dock inte praktiskt problem) storlek vs accesstid och pris per byte

6 Utvecklingen 1000 Pris per GB (kr/gb) 100 10 1 0,1 Primärminne SSD Hårddisk DVD 0,01 2008 2009 2010 2011 2012 2017

7 Hårddisk magnetiserbar beläggning, packningstäthet Läs/skrivhuvud spår, rotations-hastighet Packe, cylinder Block

8 Hårddisk, forts Block fysiskt 1/2 till 4kB - minsta överföringsmängd till PM en fil lagras i ett antal block Accesstid = sök+rotation+läs = 5-10ms (läsa hela skivan sekvensiellt dock snabbare) Accessa (läsa) 1000 block = 5-10 sek. Blocköverföring tar alltså tid!

9 Databasen på hårddisken Lagras som en samling poster i filer på hårddisk en tupel lagras som en post ett attributvärde lagras som ett fält i en post Datatyp (tecken, heltal osv) - utrymme för respektive attribut Viktiga operationer på poster/tupler: sätta in ny, ta bort, söka specifik

10 Filer och block En fil behöver flera block. Posterna i en fil lagras i ett antal fysiska block. Information om vilka block som ingår i en fil lagras på disken, kallas filhuvud. Block i sama fil läggs efter varandra i samma spår så långt det går Efter raderingar och insättningar: fragmentering

11 Blockningsfaktor, bfr Om R är poststorlek och B är blockstorleken är bfr = B/R en fil med r stycken poster kräver b = r/bfr stycken block Vilka block som ingår lagras i filhuvudet

12 Filer Består av filhuvud och en samling poster ordnade på något sätt i en samling block. Filhuvud - information om poststorlek, ingående block mm Hur är posterna ordnade inom filen? 1. Hög (heap) (osorterat) 2. Ordnad sekvens (sorterat) 3. Hashtabell 4. Indexerad sekvens

13 Hög (heap) Oordnad sekvens av poster (antal block=b) Ny post - Adressen till sista blocket finns i filhuvudet. Läs in den, lägg till nya posten, skriv ut den. Antal accesser: 2. Sökning - sekvensiell genomgång av filen tills man hittar den sökta posten. Antal acesser: Medel=b/2, Max=b. Borttagning - sök rätt block, som läses in. Ta bort posten. Skriv tillbaks det reviderade blocket, som nu är delvis tomt. Antal accesser: Medel=b/2

14 Sökning i hög, räkne-exempel Fil: Poststorlek, R = 100 byte filstorlek, r = 30 000 st poster Hårddisk: blockstorlek, B = 512 byte tid för blocköverföring: 10 ms Blockningsfaktorn blir: bfr= B/R = = 512/100 = 5 poster per block Filen tar upp b= r/bfr = 30000/5 =6000 st block För att hitta en viss post krävs i genomsnitt b/2= 3000 blocköverföringar = 30 sekunder.

15 Hög: fördelar och nackdelar + Insättning går mycket fort. - Många borttagningar leder till tomrum på skivan. (Kräver periodisk omorganisering av filen.) - Sökning långsam - Om posterna har variabel längd kan ändring i en sådan post få blocket att svämma över - posten måste då tas bort och sättas in på nytt.

16 Ordnad sekvens (sorterat) Posterna i filen sorteras enligt värdet på något fält i posterna. Ny post - hitta rätt ställe (rätt block), skapa plats åt den nya posten, sätt in den. Skapa plats = flytta resten av posterna ett steg framåt. Sökning - t.ex. binärsökning, om listan av block sparas i filhuvudet eller sekvens av block nyttjas. Borttagning - som ny post om posten fysiskt ska tas bort. Man kan också markera posten som borttagen och organisera om då och då.

17 Sökning i ordnad sekvens, exempel Samma fil som tidigare: blockfaktor, bfr = 5 poster per block antal block, b = 6000 block. tid för blocköverföring = 10 ms Binärsökning, antal blocköverföringar: n= log2(b) = log2(6000) =13 För att hitta en viss post krävs maximalt 13 blocköverföringar = 0.13 sekunder.

18 Ordnad sekvens, fördelar och nackdelar - Insättning av ny post tar tid om plats skapas genom att förskjuta övriga poster i filen - Borttagning eventuellt likaså. + snabbare sökning än hög

19 Hashstruktur För filer med nyckel. Posterna sprids över en hylla med fack med hjälp av en hashfunktion. Varje hylla=ett block Kollisionshantering vid fullt block: spill-block

20 Hashstruktur, forts Ny post - beräkna hashvärde, om plats finns i blocket, sätt in. Om inte länka in nytt block. Sökning - beräkna hashvärde, läs. Om inte rätt block följ länken till nästa tills funnen. Tid för sökning: beror av hur många länkar man måste följa. Borttagning hitta som ovan, ta bort posten ur blocket och skriv tillbaks det ändrade blocket.

21 Hashstruktur, fördelar och nackdelar + snabb sökning (fåtal blockaccesser) - avancerad algoritm för insättning och borttagning - tar viss extra plats (länkfältet samt luft ) - kräver hela nyckeln vid utsökning, kan ej läsas sekvensiellt

22 Indexerad sekvens Jfr index till en bok - lista med pekare till rätt plats Indexpost pekar ut var i huvudfilen posten finns Primärindex, klusterindex (grupperade index), sekundärindex Glest index vs tätt index Indexfilen sorteras alltid. Indexfilen tar plats!

23 Indexerad sekvens, forts Ny post - rätt block söks fram, läses in, ändras och skrivs tillbaks. Vid översvämning i blocket skapas ett nytt block och en ny indexpost läggs in i indexfilen Sökning sök nyckeln i indexfilen (som vid sökning i sorterad fil). Hämta aktuellt block från huvudfilen). Borttagning - som ny post. Oftast lämnas tomrum i block istället för att organisera om varje gång.

24 Sökning med primärindex, exempel Samma huvudfil som tidigare: antal block, b = 6000 block. tid för blocköverföring = 10 ms Antag att nyckelfältet är 9 bytes långt och adressen till block tar 6 bytes. Indexfilen är en sorterad fil som söks som sådan.

25 Sökning i indexfilen Indexfilens poststorlek ir blir då 15 bytes Indexfilens blockfaktor ibfr = 512/15 = 34 Indexfilen har en post per block i huvudfilen, dvs ir=6000 poster Indexfilen tar alltså upp ib = 6000/34 =177 block Hitta en viss indexpost (binärsökning i indexfilen): log2(177) blocköverföringar =8 st. Sedan ytterligare en för att läsa ur huvudfilen. Totalt 9 blocköverföringar, 0.09 sekunder.

26 Indexstruktur, fördelar och nackdelar - indexfilen tar extra plats i databasen. - insättning och borttagning kräver även uppdatering av indexfilen. + snabb sökning + relativt enkla algoritmer för insättning och borttagning

27 Multipla index (indexnivåer) Index till indexfilen. För varje block i indexfilen en post i indexindexfilen... Kan ha godtyckligt många nivåer...

28 Sökning med multipelt index Samma huvudfil och samma indexfil: Indexfilens blockfaktor ibfr = 34 Indexfilen tar upp ib = 177 block Index på indexfilen behöver i2r= 177 poster. Den tar 6 block. Hitta index till indexfilen ( log2(6) =3). Hitta index till huvudfilen (1 överföring). Läsa in det eftersökta blocket ur huvudfilen. Totalt 5 blockaccesser, 0.05 sekunder.

29 Klusterindex Indexering på icke-unikt fält går det? Sortera filen på indexfältet och gör index för första posten av varje indexvärde. Ny post sortera in efter nyckeln Sökning sök rätt index som tidigare, sök sedan rätt post i blocket, eller nästa block Borttagning som för vanligt index.

30 Sekundärindex index på unikt fält som filen inte är sorterad efter? Detta index är tätt (en indexpost per post i huvudfilen, jfr primärindex, glest). Sekundärindexet får lika många poster som datafilen har poster.

31 Sökning på sekundärindex, exempel samma fil som tidigare och indexposter som tidigare, men med tätt index: Indexfilens poststorlek ir = 15 bytes Indexfilens blockfaktor ibfr = 1024/15 = 68 Indexfilen tar ib = 30000/68 = 442 block Hitta en indexpost, binärsökning i indexfilen: log2(442) blocköverföringar = 9 st sedan en blocköverföring ur huvudfilen. Totalt 10 blockaccesser, 0.1 sekunder.

32 Sammanfattning Typ Ny post Sökning Borttagning Extra plats Hög snabb (2) långsam (b/2) långsam (b/2 +1) övergivna poster* Ordnad långsam (log2(b)+1) snabb (log 2 (b)) långsam (log 2 (b)+1) tomma poster* Hashstrukt snabb (2-3) snabb (1-2)** snabb (2-3) länkvärde + reserv Indexerad snabb (log 2 (ib)+2) snabb (log 2 (ib)+1) snabb (log 2 (ib)+2) indexfilen Värdet anger antal accesser, b=antal block i filen, ib=antal block i indexfilen. *=Om ingen omorganisation sker. **= sökning på nyckelvärde, annan sökning som för Hög.

33 Filorganisationer Hög Ordnad sekvens Hashstruktur Indexstruktur primärindex (multipla nivåer) klusterindex sekundärindex

34 Fysisk design designa databasen på fysisk nivå: avvägning mellan utrymme och snabbhet. Ta med i beräkningen hur ofta tabellen används och hur (sökning/matchning mot vilket fält). Åtgärder: Ordna datafilen - osorterad hög eller sorterad? På vad? Används alltid nyckel? Hashtabell! Skapa index vilka behövs? - de som söks på!