Databaser Design och programmering Fysisk design av databasen att ta hänsyn till implementationsaspekter minnesteknik filstrukturer indexering 1 Minnesteknik Primärminne (kretsteknik) Flyktigt Snabbt Dyrt Sekundärminne (Olika tekniker: hårddisk, diskett, magnetband, CD, DVD mm) Permanent Långsamt Billigt 2 Minnesteknik, forts Hybrider, sk solid state (usb-minne, kameraminnen) Permanent Snabbt Dyrt storlek vs accesstid och pris per byte Krav: databaser är stora och persistenta 3 1000 100 10 1 0,1 2008 2009 2010 2011 Utvecklingen Pris per GB 4 Primärminne SSD Hårddisk DVD Hårddisk 5 Hårddisk, forts 6 Skiva med magnetiserbar beläggning, packningstäthet Läs/skrivhuvud Roterar: spår, rotationshastighet Packe, cylinder Info lagras i block Block fysiskt 1/2 till 4kB - minsta överföringsmängd till PM Fil lagras i ett antal block Accesstid = sök+rotation+läs = 5-10ms (millisekunder) (läsa hela skivan sekvensiellt dock snabbare) Blocköverföring tar alltså tid.
Databasen 7 Filer 8 Lagras som en samling poster i filer på hårddisk Post med fält = tupel med attribut Fil med poster = relation med tupler Datatyp (tecken, heltal osv) - utrymme Operativsystemets filer Databashanterarens filer Olika lösningar: databashanteraren har helt egna filer databashanteraren använder OS' filer Viktiga operationer på poster: hitta, lägg till, ta bort, ändra, gå igenom ett antal Filer och block 9 Blockningsfaktor, bfr 10 Filer lagras som en serie poster i ett antal fysiska block Block i sama fil ligger efter varandra i samma spår så långt det går Efter raderingar och insättningar: fragmentering Om R är poststorlek och B är blockstorleken är bfr = B/R" en fil med r stycken poster kräver n = #r/bfr$ stycken block Vilka block som ingår lagras i filhuvudet Filer 11 Hög (heap) 12 Består av filhuvud och en samling poster ordnade på något sätt i en samling block. Filhuvud - information om poststorlek, ingående block mm Hur är posterna ordnade inom filen? 1. Hög (heap) (osorterat) 2. Ordnad sekvens (sorterat) 3. Hashstruktur 4. Indexstruktur Oordnad sekvens av poster Ny post - läggs sist. Adressen till sista blocket sparas i filhuvudet. Sökning - sekvensiell genomgång av filen tills man hittar den sökta posten. Medel=b/2, Max=b. Borttagning - sök rätt block, som läses in. Ta bort posten. Skriv tillbaks det reviderade blocket, som nu är delvis tomt.
13 14 Sökning i hög, exempel Hög: fördelar och nackdelar Poststorlek, R = 100 byte blockstorlek, B = 1024 byte filstorlek, r = 30 000 st poster tid för blocköverföring: 10 ms Blockningsfaktorn blir: bfr=b/r"= =1024/100"= 10 poster per block Filen tar upp b=#r/bfr$=#30000/10$ st block För att hitta en viss post krävs i genomsnitt b/2= 1500 blocköverföringar = 15 sekunder. + Insättning går mycket fort. - Många borttagningar leder till tomrum på skivan. (Kräver periodisk omorganisering av filen.) - Sökning - Om posterna har variabel längd kan ändring i en sådan post få blocket att svämma över - posten måste då tas bort och sättas in på nytt. Ordnad sekvens (sorterat) Posterna i filen sorteras enligt värdet på något fält i posterna. Ny post - hitta rätt ställe (rätt block), skapa plats åt den nya posten, sätt in den. Skapa plats = flytta resten av posterna ett steg framåt. Sökning - t.ex. binärsökning, om listan av block sparas i filhuvudet eller sekvens av block nyttjas. Borttagning - som ny post om posten fysiskt ska tas bort. Man kan också markera posten som borttagen och organisera om då och då. 15 Sökning i ordnad sekvens, exempel Samma fil som tidigare: blockfaktor, bfr = 10 poster per block antal block, b = 3000 block. tid för blocköverföring = 10 ms Binärsökning, antal blocköverföringar: n=#log 2(b)$ = #log 2(3000)$=12 För att hitta en viss post krävs maximalt 12 blocköverföringar = 0.12 sekunder. 16 Ordnad sekvens, fördelar och nackdelar 17 Hashstruktur 18 - Insättning av ny post tar tid om plats skapas genom att förskjuta övriga poster i filen - Borttagning eventuellt likaså. + snabbare sökning än hög För filer med nyckel. Posterna sprids över en hylla med fack med hjälp av en hashfunktion. Varje hylla=ett block Kollisionshantering vid fullt block: spillblock
Hashstruktur, forts Ny post - beräkna hashvärde, om plats finns i blocket, sätt in. Om inte länka in nytt block. Sökning - beräkna hashvärde, läs. Om inte rätt block följ länken till nästa tills funnen. Tid för sökning: beror av hur många länkar man måste följa. Borttagning hitta som ovan, ta bort posten ur blocket och skriv tillbaks det ändrade blocket. 19 Hashstruktur, fördelar och nackdelar + snabb sökning (fåtal blockaccesser) - avancerad algoritm för insättning och borttagning - tar viss extra plats (länkfältet samt luft ) - kräver hela nyckeln 20 Indexstruktur För sökning på något speciellt fält (indexeringsfält). Jfr index till en bok Huvudfilen är ordnad efter något fält, t.ex. nyckeln. Kallas då primärindex. För varje block i huvudfilen skapas en post i indexfilen, som innehåller nyckeln från den första posten i blocket samt blockets adress. Indexfilen sorteras enligt nyckelvärdet. 21 Indexstruktur, forts Ny post - rätt block söks fram, läses in, ändras och skrivs tillbaks. Vid översvämning skapas ett nytt block och en ny indexpost läggs in i indexfilen Sökning sök nyckeln i indexfilen (som vid sökning i sorterad fil). Hämta aktuellt block. Borttagning - som ny post. Oftast lämnas tomrum i block istället för att organisera om varje gång. 22 Sökning i indexerad fil, exempel 23 Sökning i indexfilen 24 Samma huvudfil som tidigare: antal block, b = 3000 block. tid för blocköverföring = 10 ms Antag att nyckelfältet är 9 bytes långt och adressen till block tar 6 bytes. Indexfilen är en sorterad fil som söks som sådan Indexfilens poststorlek ir blir då 15 bytes Indexfilens blockfaktor ibfr =1024/15"= 68 Indexfilen tar alltså upp ib = #3000/68$=45 block Hitta en viss indexpost (binärsökning i indexfilen): #log2(45)$blocköverföringar =6 st. Sedan ytterligare en för att läsa ur huvudfilen. Totalt 7 blockaccesser, 0.07 sekunder.
Indexstruktur, fördelar och nackdelar - indexfilen tar extra plats i databasen. - insättning och borttagning kräver även uppdatering av indexfilen. + snabb sökning + relativt enkla algoritmer för insättning och borttagning 25 Index till indexfilen. Multipla index (indexnivåer) För varje block i indexfilen en post i indexindexfilen... Kan ha godtyckligt många nivåer... 26 Sökning med multipelt index Samma huvudfil och samma indexfil: Indexfilens blockfaktor ibfr = 68 Indexfilen tar upp ib = 45 block Index på indexfilen behöver i2r= 45 poster. Den får plats i ett block: Hitta index till indexfilen (1 överföring). Hitta index till huvudfilen (1 överföring). Läsa in det eftersökta blocket ur huvudfilen. Totalt 3 blockaccesser, 0.03 sekunder. 27 Klusterindex Indexering på icke-unikt fält går det? Sortera filen på indexfältet och gör index för första posten av varje indexvärde. Ny post sortera in efter nyckeln Sökning sök rätt index som tidigare, sök sedan rätt post i blocket, eller nästa block Borttagning som för vanligt index. 28 Sekundärindex index på unikt fält som filen inte är sorterad efter? Detta index är tätt (en indexpost per post i huvudfilen, jfr primärindex, glest). Sekundärindexet får lika många poster som datafilen har poster. 29 Sökning på sekundärindex, exempel samma fil som tidigare och indexposter som tidigare, men med tätt index: Indexfilens poststorlek ir = 15 bytes Indexfilens blockfaktor ibfr =1024/15"= 68 Indexfilen tar ib =#30000/68$= 442 block Hitta en indexpost, binärsökning i indexfilen: #log2(442)$ blocköverföringar = 9 st sedan en blocköverföring ur huvudfilen. Totalt 10 blockaccesser, 0.1 sekunder. 30
Sammanfattning Typ Ny post Sökning Borttagning Extra plats Hög Ordnad snabb (2) (log2(b)+1) (b/2) snabb (log2(b)) (b/2 +1) (log2(b)+1) ingen övergivna poster Hashstrukt snabb (2-3) snabb (1-2) snabb (2-3) länkvärde (nyckel) + reserv Indexerad snabb snabb snabb (1-2) indexfilen (log2(ib)+2) (log2(ib)+1) (log2(ib)+2) Värdet anger antal accesser, b=antal block i filen, ib=antal block i indexfilen. 31 Hög Ordnad sekvens Hashstruktur Indexstruktur Filorganisationer primärindex (multipla nivåer) klusterindex sekundärindex 32 Fysisk design 33 designa databasen på fysisk nivå: avvägning mellan utrymme och snabbhet. Ta med i beräkningen hur ofta tabellen används och hur (sökning/matchning mot vilket fält). Åtgärder: Ordna datafilen - osorterad hög eller sorterad? På vad? Används alltid nyckel? Hashtabell Skapa index vilka behövs?