Föreläsning 10 Innehåll

Transkript

1 Föreläsning 10 Innehåll Hashtabeller implementering, effektivitet Metoden hashcode i Java Abstrakta datatyperna mängd (eng. Set) och lexikon (eng. Map) Interfacen Set och Map i Java Undervisningsmoment: föreläsning 10, övningsuppgifter 10-11, lab 5 och 6 Avsnitt i läroboken: :a upplagan: PFK (Föreläsning 10) VT / 56

2 Diskutera Tidigare har vi sett att man kan använda binära sökträd för att lagra data som man snabbt ska kunna söka i. Tidskomplexiteten för att sätta in, söka och ta bort element i ett balanserat binärt sökträd är O(logn). Antag att vi har fått i uppdrag att skriva ett program som hanterar medlemmar i en förening. Antalet medlemmar är max 1000 st. Varje medlem har ett unikt medlemsnummer mellan 0 och 999. Detta nummer används som nyckel för att identifiera och söka efter en medlem. Finns det något bättre (snabbare, enklare) sätt än binärt sökträd för att lagra medlemmarna i just detta specialfall? PFK (Föreläsning 10) VT / 56

3 Hashtabeller Antag att de nycklar som ska användas vid sökningen är heltal i intervallet 0..n. En vektor med n + 1 platser kan användas. Elementet med nyckel k placeras på plats k i vektorn. Sökning, insättning och borttagning av k blir en direkt access till plats k. Alla dessa operationer har tidskomplexitet O(1). Idéen kan generaliseras till alla slags objekt: Nycklarna översätts till ett heltal i intervallet 0..n. PFK (Föreläsning 10) VT / 56

4 Hashfunktion Idé: översätt nycklar till heltal som kan användas som index i en vektor. hashfunktion nyckel hashkod (ett heltal) Hashfunktionen avbildar nyckeln på heltal (hashkod). hashkod % table.length kan användas som index i en vektor table. Kollisioner (olika nycklar får samma index) är oundvikliga och måste hanteras. En bra hashfunktion bör påverkas av alla delar av nyckeln. ger litet förväntat antal kollisioner, sprider elementen över hela tabellen. PFK (Föreläsning 10) VT / 56

5 Hashfunktion för heltal Om nyckeln är ett heltal k kan hashkoden vara talet självt. Index i vektorn räknas ut så här: int index = k % table.length; if (index < 0 ) { index : index + table.length; } Math.abs kan ge ett negativt resultat och används därför inte här. PFK (Föreläsning 10) VT / 56

6 Hashfunktion för strängar För en sträng s 0 s 1 s 2...s n 1 är en lämplig hashfunktion s[0] 31 n 1 + s[1] 31 n s[n 1] Ger ett stort heltal (som får anpassas till tabellens storlek genom % table.length). Tecken i olika positioner multipliceras med olika potenser av 31. Permutationer av samma tecken ger därför olika hashkod. 31 är ett primtal och det kan visas att man därför får relativt få kollisioner. PFK (Föreläsning 10) VT / 56

7 Metoden hashcode I klassen Object finns en metod hashcode som översätter ett objekt till ett heltal. Den är implementerad så att olika objekt om möjligt avbildas på olika heltal. Metoden hashcode är skuggad i Javas klasser (String, Integer...) så att lika objekt avbildas på samma heltal. Heltalet som returneras från hashcode får sedan anpassas till tabellens storlek med % table.length. Man måste skugga hashcode (och equals) i den klass vars objekt ska fungera som nyckel i en hashtabell. Objekt för vilka equals ger true ska få samma hashkod. PFK (Föreläsning 10) VT / 56

8 Diskutera Försök sätta in element med nycklarna 1, 8, 27, 64, 6 ska sättas in i en tabell med 7 platser. Elementets index = x % Hur hanterar man kollisioner (dvs. att olika nycklar får samma index)? PFK (Föreläsning 10) VT / 56

9 Hashtabeller olika alternativ Det finns olika sätt att implementera hashtabeller. Sluten hashtabell (eng: open addressing) en vektor används för att lagra elementen Det finns sedan olika sätt att hantera kollisioner t ex linjär teknik kvadratisk teknik Öppen hashtabell (eng: separate chaining) en vektor av listor Kolliderande objekt placeras i samma lista. PFK (Föreläsning 10) VT / 56

10 Sluten hashtabell med linjär kollisionsteknik Vid linjär teknik sätter man in ett element som kolliderar med ett annat på första lediga plats efter den där det skulle ha hamnat om ingen kollision inträffat. Tabellen betraktas som cirkulär, d.v.s. index 0 anses komma efter tablesize Sökning efter visst element börjar på den plats elementets hashkod anger och fortsätter eventuellt framåt. Om det inte påträffas före en ledig plats finns det inte i tabellen. PFK (Föreläsning 10) VT / 56

11 Borttagning i sluten hashtabell med linjär kollisionsteknik Om vi vid borttagning bara gör platsen tom, leder det till fel vid sökning. Ex: Tag bort 1 ur tabellen på föregående bild: Om vi nu söker efter 8 vars hashkod % 7 är 1 börjar vi pröva plats 1. Eftersom denna plats är tom sluter vi oss felaktigt till att det sökta elementet inte finns i tabellen. PFK (Föreläsning 10) VT / 56

12 Borttagning i sluten hashtabell med linjär kollisionsteknik Forts Om vi i stället markerar platsen icke-aktiv vid borttagning (i fig. nedan markerat med ett d): 6 d så kan vi utföra sökningen med början på den plats hashkod % 7 anger och framåt över alla upptagna och icke-aktiva platser. Först när vi stöter på en riktigt tom plats är det misslyckad sökning. PFK (Föreläsning 10) VT / 56

13 Tidskomplexitet, linjär teknik Sökning (och därmed insättning och borttagning) i en hashtabell innebär beräkning av index sökning bland kolliderande element Värstafallet för operationerna sökning, insättning och borttagning är O(n), där n är antalet element som finns insatta i tabellen. Inträffar om alla element hamnar i en följd och vi t ex vid sökning måste pröva alla platserna i denna följd. Är dock ytterst osannolikt. Under förutsättning att tabellen inte fylls till mer än hälften får man O(1)-komplexitet i medeltal. PFK (Föreläsning 10) VT / 56

14 Problem med linjär teknik Linjär teknik ger upphov till primär klustring i tabellen. Om flera objekt kolliderar (får samma index pos) kommer de att ligga i ett kluster kring platsen pos. Även objekt vars hashkoder är nära pos kommer att drabbas av kollisioner och bygga ut klustret. Stora kluster gör sökning långsam. Ex: Sätt in element med nycklarna 3, 13, 23, 33, 5, PFK (Föreläsning 10) VT / 56

15 Sluten hashtabell, kvadratisk kollisionsteknik Alternativ, bättre teknik för hantering av kollisioner. Först prövas nästa plats, sedan platsen 4 steg fram, sedan 9 steg fram, alltså pos, pos + 1, pos + 2 2, pos + 3 2,..., pos + i 2,... där pos är elementets hashkod. Tabellen används fortfarande cirkulärt. Undviker primär klustring av element. Kan modifieras till andra sekvenser av steg. PFK (Föreläsning 10) VT / 56

16 Sluten hashtabell, kvadratisk kollisionsteknik Exempel Sätt in element med nycklarna 89, 18, 49, 58, 9 i en tabell med 10 platser. 89 % 10 = 9 18 % 10 = 8 49 % 10 = 9 58 % 10 = 8 9 % 10 = PFK (Föreläsning 10) VT / 56

17 Sluten hashtabell, kvadratisk kollisionsteknik Problem: Inte alltid säkert att man hittar ledig plats även om det finns. Om t ex tabellens storlek är 16 och man använder hashfunktionen x % 16 och sätter in element med nycklarna 0, 16, 32 och 64 så kan man inte därefter hitta någon ledig plats för element som hashas till plats 0. De enda platser som kommer att prövas i serien pos + i 2 när pos = 0 blir de upptagna platserna 0, 1, 4 och 9. Om tabellens storlek är ett primtal kan ett nytt element alltid sättas in om tabellens fyllnadsgrad är mindre än 0.5. Tidskomplexitet: Ännu ej fullständigt utredd. Värsta fallet är O(n). I praktiken mindre klustring än den linjära tekniken. PFK (Föreläsning 10) VT / 56

18 Öppen hashtabell (separate chaining) Elementen i tabellen är listor. I lista nummer k ligger alla element vars nyckel har hashkod % table.length = k table.length-2 table.length-1 PFK (Föreläsning 10) VT / 56

19 Öppen hashtabell (separate chaining) Exempel Sätt in element med nycklarna 1, 8, 27, 64, 6 i en öppen tabell med 7 listor PFK (Föreläsning 10) VT / 56

20 Nycklar och hashkod Blanda inte ihop begreppen Nycklarna är unika. Hashkoden beräknas med en hashfunktion som avbildar nycklarna på heltal. Som index i vektorn används hashkod % table.length I Java: key.hashcode() % table.length Olika nycklar kan få samma index (kollision) Unika nycklar: 64, 8, 1 samma index: Unika nycklar: 6, 27 samma index: 6 PFK (Föreläsning 10) VT / 56

21 Öppen hashtabell Obeservera att borttagning i öppen tabell är enklare än i sluten. Elementet tas helt enkelt bort ur den lista där det befinner sig. Vi får inga problem med luckor som i den slutna tabellen. I Javas klassbibliotek används öppna tabeller i klasserna HashSet och HashMap. På laboration 5 får du implementera en öppen hashtabell med enkellänkade listor. PFK (Föreläsning 10) VT / 56

22 Diskutera Vilka faktorer påverkar antal kollisioner i en hashtabell? Vilka konsekvenser får ett högt antal kollisioner i en (öppen) hashtabell? Hur kan risken för kollisioner minskas? PFK (Föreläsning 10) VT / 56

23 Tidskomplexitet, öppen tabell Värstafallet för operationerna sökning, insättning och borttagning är O(n), där n är antalet element som finns insatta i tabellen. Inträffar om alla element hamnat i samma lista. Medelfall Tidskomplexiteten är O(1) i medelfall (och i praktiken med en bra hashfunktionen och med en tillräckligt stor tabell). Fyllnadsgrad (eng. load factor) = antal insatta element/antal platser i tabellen. Valet av fyllnadsgrad är en kompromiss mellan minnesåtgång och tidsåtgång. Ett lämpligt val av fyllnadsgrad är PFK (Föreläsning 10) VT / 56

24 Rehashing Om fyllnadsgraden blir för stor måste man bygga om tabellen: Skapa en dubbelt så stor tabell. Sätt in alla element i den nya tabellen PFK (Föreläsning 10) VT / 56

25 ADT Mängd Definition En mängd (eng. Set) är en en samling element där dubbletter är förbjudna. Operationer: sätta in ett element ta bort ett element undersöka om ett element finns i mängden PFK (Föreläsning 10) VT / 56

26 Använda binärt sökträd för att implementera ADT mängd Ett balanserat binärt sökträd passar bra att använda för att representera en mängd: Ett binärt sökträd innehåller inte dubbletter. Det är effektivt att sätta in ett element ta bort ett element undersöka om ett element finns i trädet. Tidskomplexiteten för dessa operationer är O( 2 log n) i ett balanserat binärt sökträd. PFK (Föreläsning 10) VT / 56

27 Använda hashtabell för att implementera ADT mängd En hashtabell passar bra att använda för att representera en mängd: Ett hashtabell innehåller inte dubbletter. Det är effektivt att sätta in ett element. ta bort ett element. undersöka om ett element finns i hashtabellen. Tidskomplexiteten för dessa operationer är O(1) i medelfall (och i praktiken vid bra val av hashfunktion och tabellstorlek). PFK (Föreläsning 10) VT / 56

28 ADT Lexikon Definition Ett lexikon (eng. Map) är en en samling element där varje element har en en nyckel och ett värde. Nycklarna är unika. Operationer: sätta in ett nyckel-värde-par ta bort ett nyckel-värde-par söka värdet som hör till en nyckel PFK (Föreläsning 10) VT / 56

29 ADT lexikon (Map) I ett lexikon (Map) betraktas element som tvådelade en nyckel och tillhörande värde. Nyckeln avbildas (eng. maps) på sitt värde. Nycklar är unika, men inte värden. Man använder nyckeln för att söka tillhörande värde. Exempel: nyckel = månad, värde = antal dagar i månaden. nyckel = personnummer, värde = Person-objekt med namn, adress... PFK (Föreläsning 10) VT / 56

30 ADT lexikon (Map) Exempel nycklar (mängd)... mars april maj... värden (samling, dubbletter ok) PFK (Föreläsning 10) VT / 56

31 Diskutera Hur kan vi använda ett binärt sökträd eller en hashtabell för att implementera en Map? PFK (Föreläsning 10) VT / 56

32 Använda binärt sökträd för att implementera ADT lexikon I ett binärt sökträd kan vi sätta in element, inte par (nyckel, värde). Men vi kan ändå använda ett binärt sökträd. Vi deklarerar en nästlad klass som representerar par (nyckel,värde) och sätter in objekt av denna typ i trädet. Vid jämförelser (i metoden compareto) är det nycklarnas värden som ska jämföras. data left right key value PFK (Föreläsning 10) VT / 56

33 Använda hashtabell för att implementera ADT lexikon Man kan deklarera en nästlad klass som representerar nyckel-värde-par och sätta in sådana objekt i hashtabellen. Hashkoden beräknas på nyckeln null null key value next key value next null 3 null 4 null 5 6 null key value null next PFK (Föreläsning 10) VT / 56

34 Interfacen Set och Map i java.util <<Interface>> Iterable <<Interface>> Collection <<Interface>> Queue <<Interface>> List <<Interface>> Set <<Interface>> Map <<Interface>> SortedSet <<Interface>> SortedMap PFK (Föreläsning 10) VT / 56

35 Interfacet Set En mängd (Set) är en samling element som inte innehåller dubbletter. Metoderna i interfacet Set finns även i interfacet Collection. De har dock olika kontrakt genom att Set inför restriktionen att inga dubbletter får förekomma. Enligt specifikationen i Java får en mängd (Set) innehålla null-element. Men bara ett null-element, p.g.a. dubblettförbudet. Vissa konkreta implementeringar av interfacet Set i java.util förbjuder dock insättning av null. PFK (Föreläsning 10) VT / 56

36 Interfacet SortedSet Förutsätter att elementen som sätts in går att jämföra med varandra. Elementen ska antingen implementera interfacet Comparable eller genom att man (via konstruktorn) anger ett Comparator-objekt som kan användas för jämförelser. Vi återkommer till detta. Garanterar att operationen iterator() returnerar en iterator som går igenom mängden i växande ordning. Utvidgar Set-interfacet med några operationer som återspeglar att elementen går att ordna. Exempel: returnera minsta element, returnera största... PFK (Föreläsning 10) VT / 56

37 Klasser som implementerar Set TreeSet implementerar det utvidgade interfacet SortedSet. Använder ett slags balanserat träd, inte AVL-träd utan röd-svarta träd (eng. Red-Black trees), som också garanterar att höjden är O( 2 log n). HashSet Använder hashtabell. <<Interface>> Set <<Interface>> SortedSet HashSet TreeSet PFK (Föreläsning 10) VT / 56

38 Interfacet Set Abstrakta klasser <<Interface>> Collection betyder ärver från ("extends") AbstractCollection <<Interface>> Set betyder implementerar ("implements") AbstractSet <<Interface>> SortedSet HashSet TreeSet PFK (Föreläsning 10) VT / 56

39 Interfacet Set Abstrakta klasser Kommentarer till hierarkin på föregående bild: Interface fick t.o.m. Java 7 inte innehålla implementeringar. Ibland kan man implementera vissa operationer med hjälp av andra operationer i samma interface. Ex: isempty size() == 0 För att underlätta för den som ska implementera ett (stort) interface kan man implementera en abstrakt klass som innehåller implementeringar av vissa metoder enligt detta mönster. Ex: klasserna AbstractCollection och AbstractSet Implementatören av en konkret klass kan då ärva den abstrakta klassen och behöver sedan bara implementera återstående operationer i interfacet. Ex: klasserna TreeSet och HashSet. Fr.o.m Java 8 får man ha default-metoder i interface. Det innebär att man nu hade kunnat lägga de metoder som implementeras i Abstractklasserna direkt i interfacen istället. PFK (Föreläsning 10) VT / 56

40 Klassen TreeSet Implementerar interfacet SortedSet. Det finns flera konstruktorer i klassen, bl.a: 1 public TreeSet(); 2 public TreeSet(Comparator<? super E> c); Används den första konstruktorn, förutsätts elementen implementera Comparable annars genereras ClassCastException. Den andra konstruktorn har en parameter som är ett objekt av en klass som implementerar interfacet Comparator. Används denna kommer jämförelser att utföras med hjälp av komparatorn. PFK (Föreläsning 10) VT / 56

41 Exempel på användning av klassen TreeSet Comparable<E> // Denna mängd kommer att ordnas efter personnummer Set<Person> nbrset = new TreeSet<Person>(); nbrset.add(new Person("Kalle", " ")); nbrset.add(new Person("Kajsa", " "));... // undersök om personen med personnummer // finns i mängden boolean found = nbrset.contains(new Person(null, " ")); Klassen Person måste implementera Comparable<Person>. I metoden compareto jämförs personernas personnummer. PFK (Föreläsning 10) VT / 56

42 Exempel på användning av klassen TreeSet Komparator // Denna mängd kommer att ordnas efter namn Set<Person> nameset = new TreeSet<Person>(new NameComparator()); nameset.add(new Person("Kalle", " ")); nameset.add(new Person("Kajsa", " "));... Klassen NameComparator måste implementeras. I metoden compare jämförs personernas namn. public class NameComparator implements Comparator<Person> { public int compare(person p1, Person p2) { return p1.getname().compareto(p2.getname()); } } Istället för en comparatorklass kan man använda lambdauttryck: Set<Person> nameset = new TreeSet<Person>((p1, p2) -> p1.getname().compareto(p2.getname())); PFK (Föreläsning 10) VT / 56

43 Exempel på användning av klassen HashSet Antag vi vill vill sätta in Person-objekt i en mängd av typen HashSet. HashSet<Person> set = new HashSet<Person>(); Person p = new Person("Kajsa", " "); set.add(p);... boolean found = set.contains(new Person(null, " ")); Nu måste equals och hashcode skuggas i klassen Person. I equals ska personnumren jämföras. I hashcode ska en hashkod för personnumret beräknas. PFK (Föreläsning 10) VT / 56

44 Skugga metoderna equals och hashcode Inuti klasserna HashSet och HashMap används metoderna hashcode() och equals(object) för att hitta ett element: Först beräknas index för elementet med nyckel key med key.hashcode() % table.length. Sedan söks key i listan på denna plats. I samband med denna sökning används equals. PFK (Föreläsning 10) VT / 56

45 Om man glömmer skugga hashcode... Om vi glömmer att skugga hashcode i Person hittar vi troligen inte personen: När personen p sätts in beräknas hashkoden för objektet som p refererar till. När vi söker efter personen baseras sökningen på hashkoden av det objekt som är parameter till contains-metoden. Detta är ett annat objekt (men med samma personnummer). Sökningen utgår från den plats denna senare hashkod anger och med största sannolikhet är det i en helt annan del av tabellen än den där personen sattes in. PFK (Föreläsning 10) VT / 56

46 Klass som skuggar equals och hashcode Klassen Person public class Person { private String name; private String pnbr; } // konstruktor och övriga metoder public boolean equals(object other) { if (other instanceof Person) { return pnbr.equals(((person) other).pnbr); } else { return false; } } public int hashcode() { return pnbr.hashcode(); } PFK (Föreläsning 10) VT / 56

47 Interfacet Map i java.util <<Interface>> Map AbstractMap <<Interface>> SortedMap HashMap TreeMap PFK (Föreläsning 10) VT / 56

48 Interfacet Map - ett urval av metoderna public interface Map<K,V> { V get(object key); boolean isempty(); V put(k key, V value); V remove(object key); int size(); Set<K> keyset(); Collection<V> values(); Set<Map.Entry<K,V>> entryset(); } public interface Entry<K,V> { K getkey(); V getvalue(); V setvalue(v); } Interfacet Map ärver inte interfacet Collection eller Iterable. Det går alltså inte att iterera direkt över mappen. Däremot kan man iterera över nycklarna, värdena och nyckel-värdeparen. PFK (Föreläsning 10) VT / 56

49 Klasser som implementerar Map TreeMap implementerar interfacet SortedMap. Använder balanserat binärt sökträd (röd-svart träd) keyset().iterator() ger en iterator som går igenom nycklarna i växande ordning. Ytterligare operationer som bygger på ordning mellan nycklarna finns. HashMap Använder öppen hashtabell. <<Interface>> Map <<Interface>> SortedMap HashMap TreeMap PFK (Föreläsning 10) VT / 56

50 Exempel på användning av klassen TreeMap Map<String, Integer> map = new TreeMap<String, Integer>(); map.put("januari", 31); map.put("februari", 28); map.put("mars", 31); map.put("april", 30); map.put("maj", 31);... System.out.println("Antal dagar i mars: " + map.get("mars")); I en TreeMap är det nyckelklassen som ska implementera Comparable eller vars attribut ska jämföras i en komparatorklass. I exemplet har nycklarna typen String. Klassen String implementerar Comparable<String>. PFK (Föreläsning 10) VT / 56

51 Exempel på användning av klassen TreeMap, forts En Map används normalt för att med nyckeln hitta motsvarande värde. Ibland behöver man göra tvärtom: System.out.println("Månader med 31 dagar:"); for (Map.Entry<String, Integer> e : map.entryset()) { if (e.getvalue() == 31) { System.out.println(e.getKey()); } } Metoden entryset returnerar en mängd med alla nyckel-värde-par. Genom att traversera denna mängd kan vi ta reda på vilka nyckel-värde-par som har värdet 31 och skriva ut motsvarande nyckel. PFK (Föreläsning 10) VT / 56

52 Interfacet Map.Entry Map.Entry är ett inre interface som är nästlat i interfacet Map. /* Representerar ett nyckel-värdepar */ public interface Entry<K,V> { K getkey(); V getvalue(); V setvalue(v); // ändrar värdet till V och // returnerar det gamla värdet } Operationen entryset returnerar en mängd (Set) av Entry-objekt. d.v.s. objekt av en klass som implementerar interfacet Map.Entry PFK (Föreläsning 10) VT / 56

53 Exempel på användning av klassen HashMap Exempel 1 Map<String, Integer> map = new HashMap<String, Integer>(); map.put("januari", 31); map.put("februari", 28); map.put("mars", 31); map.put("april", 30); map.put("maj", 31);... System.out.println("Antal dagar i mars: " + map.get("mars")); I en HashMap måste nyckelklassen skugga equals och hashcode. I exemplet har nycklarna typen String. Klassen String skuggar equals och hashcode. PFK (Föreläsning 10) VT / 56

54 Exempel på användning av klassen HashMap Exempel 2 Antag vi vill vill sätta in Person-objekt i en hashtabell (HashMap). Personens personnummer ska vara nyckel. Map<String, Person> map = new HashMap<String, Person>(); map.put(" ", new Person("Kajsa", " "));... Person p = map.get(" "); if (p!= null) {... } Här har nycklarna typen String, och i denna klass är redan equals och hashcode skuggade. PFK (Föreläsning 10) VT / 56

55 Interfacen Set och Map, hashtabeller Exempel på vad du ska kunna Förklara begreppen hashtabell och hashfunktion. Definiera vad som menas med sluten och öppen hashtabell och hur kollisioner hanteras i sådana tabeller. Förklara vad som menas med fyllnadsgraden (eng: load factor) för en hashtabell. Förklara hur sökning, insättning och borttagning går till i slutna respektive öppna hashtabeller. Implementera öppna hashtabeller (görs på laboration 5). Ange tidskomplexiteten för operationer på hashtabell. Förklara vad de abstrakta datatyperna set och map är och vilka operationer man förväntas kunna utföra på dem. Använda interfacen Set och Map och deras implementerande klasser i Java Collections Framework. PFK (Föreläsning 10) VT / 56

56 Datorlaboration 5 Map, hashtabell Implementera en map med en egen öppen hashtabell null null key value next key value next null 3 null 4 null... table.length key value null next Tips: Det ska vara en öppen hashtabell. Entry-objekten fungerar även som noder i en enkellänkad lista. Innehåll: abstrakta datatypen map, öppen hashtabell, länkade listor, generisk klass PFK (Föreläsning 10) VT / 56