ID1020:Enkel Sortering

Transkript

1 ID1020:Enkel Sortering Dr. Jim Dowling kap 2.1 Slides adapted from Algorithms 4 th Edition, Sedgewick.

2 Ett sorteringsproblem T.ex. Student poster på ett universitet. Chen 3 A Blair Rohde 2 A Forbes Gazsi 4 B Brown post Furia 1 A Brown Kanaga 3 B Brown Andrews 3 A Little nyckel Battle 4 C Whitman Sortering. Ordna om en array (följd) av N poster i stigande ordning. Andrews 3 A Little Battle 4 C Whitman Chen 3 A Blair Furia 1 A Brown Gazsi 4 B Brown Kanaga 3 B Brown Rohde 2 A Forbes 2

3 Sortering applikationer Library of Congress numbers FedEx packages contacts playing cards 3

4 Exempel: sortering klient (1) Mål. Sortera alla möjliga datatyper. T.ex.1. Sortera slumpmässiga reella tal i stigande ordning. ett exempel kommer senare public class Experiment { public static void main(string[] args) { int N = Integer.parseInt(args[0]); Double[] a = new Double[N]; for (int i = 0; i < N; i++) a[i] = StdRandom.uniform(); Insertion.sort(a); for (int i = 0; i < N; i++) StdOut.println(a[i]); % java Experiment

5 Exempel: sortering klient (2) Mål. Sortera alla möjliga datatyper. T.ex. 2. Sortera alla strängar i bokstavsordning. public class StringSorter { public static void main(string[] args) { String[] a = StdIn.readAllStrings(); Insertion.sort(a); for (int i = 0; i < a.length; i++) StdOut.println(a[i]); % more words3.txt bed bug dad yet zoo... all bad yes % java StringSorter < words3.txt all bad bed bug dad... yes yet zoo [suppressing newlines] 5

6 Exempel: sortering klient (3) Mål. Sortera alla möjliga datatyper. T.ex. 3. Sortera alla filer i en given mapp efter filnamn. % java FileSorter. import java.io.file; public class FileSorter { public static void main(string[] args) { File directory = new File(args[0]); File[] files = directory.listfiles(); Insertion.sort(files); for (int i = 0; i < files.length; i++) StdOut.println(files[i].getName()); Insertion.class Insertion.java InsertionX.class InsertionX.java Selection.class Selection.java Shell.class Shell.java ShellX.class ShellX.java 6

7 Totalordning Mål. Sortera alla möjliga datatyper (där sortering är väldefinierade). En totalordning är en binärrelation som satisfierar: - icke-symmetri: IF (v w och w v) THEN v = w. - transitiv: IF (v w och w x) THEN v x. - totalitet: antingen v w eller w v eller både. T.ex. - Vanlig ordningen för heltal och reella tal. - Kronologiska ordningen för datum och tider. - Bokstavsordning för strängar. Icke-transitive. Sten-sax-påse. 7

8 Callbacks (återanropsfunktion) Mål. Sortera alla möjliga datatyper (där sortering är väldefinierade). Hur kan sort() veta hur den ska jämföra data av olika typer, som Double, String, and java.io.file, utan att ha någon information om datatypen av postens nyckel? Callback = en referens till exekverbarkod. - Klienen skickar en array av objekt till sort() funktionen. - sort() funktionen anropar objekts compareto() metod vid behov. Att implementera callbacks. - Java: interfaces. - C: function pointers. - C++: class-type functors. - C#: delegates. - Python, Perl, ML, Javascript: first-class functions. 8

9 Callbacks i Java klient public class StringSorter { public static void main(string[] args) { String[] a = StdIn.readAllStrings(); Insertion.sort(a); for (int i = 0; i < a.length; i++) StdOut.println(a[i]); Comparable interface (inbyggd i Java) public interface Comparable<Item> { public int compareto(item that); inga beroenden på String datatypen datatyp implementation public class String implements Comparable<String> {... public int compareto(string b) {... return -1;... return +1;... return 0; sort implementation public static void sort(comparable[] a) { int N = a.length; for (int i = 0; i < N; i++) for (int j = i; j > 0; j--) if (a[j].compareto(a[j-1]) < 0) exch(a, j, j-1); else break; 9

10 Comparable API Implementera compareto() så att v.compareto(w): - definierar en totalordning; - returnerar en negativ heltal, noll, eller en positiv heltal IF v är respektiv mindre än, lika med, eller större än w. - kastar en exception om typer är inkompatibla typer (eller om en av dem är null). v w v w v w mindre än (returnera -1) lika med (returnera 0) större än (returnera +1) Inbyggda jämförbara typer. Integer, Double, String, Date, File,... Använder-definierade jämförbara typer. Implementera Comparable interface:n och instanser av klassen (objekt) kan jämföras med compareto metoden. 10

11 Implementera Comparable interface:n Date datatyp. Förenklad version av java.util.date. public class Date implements Comparable<Date>{ private final int month, day, year; public Date(int m, int d, int y) { month = m; day = d; year = y; jämför Date objekt bara med andra Date objekt public int compareto(date that) { if (this.year < that.year ) return -1; if (this.year > that.year ) return +1; if (this.month < that.month) return -1; if (this.month > that.month) return +1; if (this.day < that.day ) return -1; if (this.day > that.day ) return +1; return 0; 11

12 Enkel sortering (elementary sorting)

13 Selection sort (urvalssortering) algoritm demo Under iteration i, hitta index min av den minste resterande post. a[i] och a[min] byter plats. initial 14

14 Selection sort algoritm Algoritm. skannar från vänster till höger. Invarianter. - Poster till vänster av (inkluderande ) är sorterad i stigande ordning. - Ingen post till höger av är mindre än en post till vänster av. i slutordning 15

15 Två användbara sorterings hjälpfunktioner Hjälpfunktioner. Jämförelser och byte operationer på poster (objekt). Mindre än (less-than). Är posten (objekt) v mindre än w? private static boolean less(comparable v, Comparable w) { return v.compareto(w) < 0; Byte (exchange). Byt posten i array a[] vid index j med posten vid index k. private static void exch(comparable[] a, int j, int k) { Comparable swap = a[j]; a[j] = a[k]; a[k] = swap; 16

16 Selection sort innre slingan För att bevara algoritmen invarianter: - Flytta pekare till höger. i++; - Identifiera indexet av minsta posten till höger i array:n. i slutordning int min = i; for (int j = i+1; j < N; j++) { if (less(a[j], a[min])) { min = j; i slutordning - Byt indexet i med min, det minsta elementet. exch(a, i, min); i slutordning 17

17 Selection sort: Java implementation public class Selection { public static void sort(comparable[] a) { int N = a.length; for (int i = 0; i < N; i++) { int min = i; for (int j = i+1; j < N; j++) if (less(a[j], a[min])) min = j; exch(a, i, min); private static boolean less(comparable v, Comparable w) { /* as before */ private static void exch(comparable[] a, int i, int j) { /* as before */ 18

18 Selection sort: animeringar 20 poster i slumpordning algoritm position sorterade inte sorterade ännu 19

19 Selection sort: animeringar 20 delvis sorterade poster algoritm position sorterade inte sorterade ännu 20

20 Matematisk analys Vi använder följande kostnadsmodellen med de enkla sorteringsalgoritmerna: 1. antalet jämförelser (comparisons) 2. antalet byten (exchanges) Om algoritmen inte swappar element, då räknar vi antalet array accesser.

21 2 Selection sort: matematisk analys Sats. Selection sort jämför (N -1) + (N - 2) ~ N 2 / 2 gånger och byter N gånger. Körtiden är inte känslig mot indata. Kvadratisk tid, även om input är sorterad. Minimera kopieringen av data. Linjär antal byte.

22 Insertion Sort (Insättningssortering)

23 Insertion sort demo Under iteration i, a[i] byter plats med varje post som är större på vänstra sidan. 24

24 Insertion sort Algoritm. skannar från vänster till höger. Invarianter. - Poster till vänster om (inkluderande ) är i stigande ordning. - Poster till höger om har inte bearbetats än. sorterade inte bearbetat än 25

25 Insertion sort inner loop Bevara algoritm invarianterna: - Flytta pekare till höger. i++; sorterade inte sorterade ännu När pekare flyttar från höger till vänster, byt a[i] med varje post på vänstra sidan som är större. for (int j = i; j > 0; j--) if (less(a[j], a[j-1])) exch(a, j, j-1); else break; sorterade inte sorterade ännu 26

26 Insertion sort: Java implementation public class Insertion { public static void sort(comparable[] a) { int N = a.length; for (int i = 0; i < N; i++) { for (int j = i; j > 0; j--) { if (less(a[j], a[j-1])) { exch(a, j, j-1); else { break; private static boolean less(comparable v, Comparable w) { /* as before */ private static void exch(comparable[] a, int i, int j) { /* as before */ 27

27 Insertion sort: animering 40 poster i slumpordning algoritm position sorterade inte sorterade ännu 28

28 Insertion sort: animering 40 omvänd-sorterade poster algoritm position sorterade inte sorterade ännu 29

29 Insertion sort: animering 40 delvis sorterade poster algoritm position sorterade inte sorterade ännu 30

30 Insertion sort: matematisk analys Sats. För att sortera en array i slumpordning med unika nycklar, insertion sort jämför ~ ¼ N 2 gånger och byter ~ ¼ N 2 gånger i genomsnitt. Bevis. Förväntat antal platser en post flyttar tillbaka är N/2 (halvvägs). 31

31 Insertion sort: trace 32

32 Insertion sort: analys Best case. Om array:n är i stigande ordning, insertion sort jämför N 1 gånger och byter 0 gånger. A E E L M O P R S T X Worst case. Om array:n är i nedstigande ordning (med unika element), insertion sort jämför ~ ½ N 2 gånger och byter ~ ½ N 2 gånger. X T S R P O M L F E A 33

33 Insertion sort: delvis sorterade arrayer Def. En inversion är ett par nycklar som är i fel ordningen. A E E L M O T R X P S T-R T-P T-S R-P X-P X-S (6 inversioner) Def. En array är delvis sorterade om antalet inversionerna är c N. - T.ex. 1. En sorterade array har 0 inversioner. - T.ex. 2. En subarray av längd 10 lagt till en sorteradea subarray av längd N. Sats. För delvis sorterade arrayer, insertion sort kör i linjärtid. Bevis. Antalet byten är lika med antalet inversionerna. antalet jämförelser = antalet byten + (N 1) 34

34 Insertion sort: förbättringar Binär insertion sort. Man kan använda binärsökning för att hitta den såkallade insertion point. - Antalet jämförelser ~ N lg N. - Men det är fortfarande kvadratisk i antalet array accesser. A C H H I M N N P Q X Y K B I N A R Y binärsök efter första nyckel > K 35

35 Shellsort

36 Shellsort översikt Kärnidén. Vi vill flytta poster mer än en position åt gången genom att exekvera h-sorting på array:n. Shellsort. [Shell 1959] h-sort array för nedstigande sekvens av värden av h. 37

37 h-sorting demo Vid iteration i, byt a[i] mot denna post som ligger h positioner till vänster om denna post är större än a[i]. 38

38 h-sorting Hur kör man h-sort på en array? Kör insertion sort, men med klivlängd (stride length) h. 3-sorting an array M O L E E X A S P R T E O L M E X A S P R T E E L M O X A S P R T E E L M O X A S P R T A E L E O X M S P R T A E L E O X M S P R T A E L E O P M S X R T A E L E O P M S X R T A E L E O P M S X R T Varför insertion sort? - Stora inkrement small subarray. - Små inkrement nästan sorterad. A E L E O P M S X R T 39

39 Shellsort exempel: inkrement av 7, 3, 1 input S O R T E X A M P L E 7-sort S O R T E X A M P L E M O R T E X A S P L E M O R T E X A S P L E M O L T E X A S P R E M O L E E X A S P R T 3-sort M O L E E X A S P R T E O L M E X A S P R T E E L M O X A S P R T E E L M O X A S P R T A E L E O X M S P R T A E L E O X M S P R T A E L E O P M S X R T A E L E O P M S X R T A E L E O P M S X R T 1-sort A E L E O P M S X R T A E L E O P M S X R T A E L E O P M S X R T A E E L O P M S X R T A E E L O P M S X R T A E E L O P M S X R T A E E L M O P S X R T A E E L M O P S X R T A E E L M O P S X R T A E E L M O P R S X T A E E L M O P R S T X resultat A E E L M O P R S T X 40

40 Shellsort: Java implementation public class Shell { public static void sort(comparable[] a) { int N = a.length; int h = 1; while (h < N/3) h = 3*h + 1; // 1, 4, 13, 40, 121, 364,... while (h >= 1) { // h-sort the array. for (int i = h; i < N; i++) { for (int j = i; j >= h && less(a[j], a[j-h]); j -= h) exch(a, j, j-h); h = h/3; private static boolean less(comparable v, Comparable w) { /* as before */ private static void exch(comparable[] a, int i, int j) { /* as before */ 3x+1 inkrement sekvens insertion sort nästa inkrement 41

41 Shellsort: visualisering 42

42 Shellsort: animering 50 poster i slumpordning algoritm position h-sorted nuvarande subsekvens andra element 43

43 Shellsort: animering 50 delvis sorterade poster algoritm position h-sorted nuvarande subsekvens andra element 44

44 Shellsort: vilken inkrementsekvens ska man använda? Tvåpotens (powers of two). 1, 2, 4, 8, 16, 32,... Nej. Tvåpotens minus ett. 1, 3, 7, 15, 31, 63, Kanske. 3x , 4, 13, 40, 121, 364, OK. Lätt att beräkna. 45

45 Shellsort: intuition Sats. En h-sorted array förbli h-sorted efter ha kört g-sort på array:n. 7-sort S O R T E X A M P L E M O R T E X A S P L E M O R T E X A S P L E M O L T E X A S P R E M O L E E X A S P R T 3-sort M O L E E X A S P R T E O L M E X A S P R T E E L M O X A S P R T E E L M O X A S P R T A E L E O X M S P R T A E L E O X M S P R T A E L E O P M S X R T A E L E O P M S X R T A E L E O P M S X R T A E L E O P M S X R T still 7-sorted Utmaning. Bevisa detta faktum; det är svårare än vad man tror! 46

46 Shellsort: analys Sats. Tidskomplexitet av worst-case är antalet jämförelser i shellsort. När inkrementet är 3x+1, då är tidskomplexitet lika med N 3/2. Egenskap. Förväntade antalet jämförelser för att köra shellsort på en array i slumpordning med inkrementet lika med 3x+1 är. N compares 2.5 N ln N 0.25 N ln 2 N N 1.3 5,000 93K 106K 91K 64K 10, K 230K 213K 158K 20, K 495K 490K 390K 40, K 1059K 1122K 960K 80, K 2258K 2549K 2366K Anmärkning. En noggrann modell har inte hittats ännu (!) 47

47 Varför är shellsort intressant? En enkel idé kan leda till signifikant prestandsförbättringar. Användbart i praktiken. - Snabb om array:n inte är enorm. R, bzip2, /linux/kernel/groups.c - Mycket liten minneskomplexitet (använt i vissa inbyggda system). Enkel algoritm, icke-trivial prestanda, intressanta frågor. - Asymptotisk tidskomplexitet? - Bästa möjliga sekvens av inkrementet? - Average-case prestanda? uclibc öppet problem: hitta en bättre inkrement sekvens Läxa. Många bra algoritm har inte upptäckts ännu. 48

48 Enkel sortering sammanfattning algoritm best average worst selection sort N 2 N 2 N 2 insertion sort N N 2 N 2 Shellsort (3x+1) N log N? N 3/2 Mål N N log N N log N Tidskomplexitet av körtiden för att sortera en array av N poster 49

49 Blandning (Shuffling)

50 Hur blandar man en array? Mål. Ordna om en array så att resultatet är en slumpmässig valda permutation. alla permutationer har samma sannolikhet 51

51 Hur blandar man en array? Mål. Ordna om en array så att resultatet är en slumpmässig valda permutation. alla permutationer har samma sannolikhet 52

52 Shuffle sort Generera ett slumpmässigt reellt tal för varje element i array:n. Sortera array:n. användbart för att blanda spaltar i en kalkylblad

53 Shuffle sort Generera ett slumpmässigt reellt tal för varje element i array:n. Sortera array:n. användbart för att blanda spaltar i en kalkylblad

54 Shuffle sort - Generera ett slumpmässigt reellt tal för varje element i array:n. - Sortera array:n. användbart för att blanda spaltar i en kalkylblad Sats. Shuffle sort resulterar i en slumpmässig valda permutation (uniformly random permutation). Vi antar reella tal valda slumpmässigt (och inga oavgjorda) 55

55 The Microsoft Shuffle Microsoft antitrust probe by EU. Microsoft var överens om att visa en slumpmässig genererade skärm så att användare kunde välja sin browser i Windows 7. förekom sist 50% av tiden 56

56 The Microsoft Shuffle Lösningen? Implementera shuffle sort genom att skriva en comparator som alltid returnera ett slump svar. public int compareto(browser that) { Microsofts implementation i Javascript double r = Math.random(); function if (r RandomSort < 0.5) return (a,b) -1; { if (r > 0.5) return +1; return (0.50; - Math.random()); browser comparator (ska implementera en totalordning) 57

57 Knuth shuffle demo - Under iteration i, slumpa fram ett heltalr mellan 0 och i. - Swappaa[i] och a[r]. 58

58 Knuth shuffle - Under iteration i, slumpa fram ett heltal r mellan 0 och i. - Swappa a[i] och a[r]. Sats. [Fisher-Yates 1938] Knuth shuffle sort resulterar i en slumpmässig valda permutation (uniformly random permutation) av input array:n i linjär tid. Vi antar heltal valda slumpmässigt 59

59 Knuth shuffle - Under iteration i, slumpa fram ett heltal r mellan 0 och i. - Swappa a[i] och a[r]. vanlig bugg : mellan 0 and N 1 korrekt variant: mellan i and N 1 public class StdRandom {... public static void shuffle(object[] a) { int N = a.length; for (int i = 0; i < N; i++) { int r = StdRandom.uniform(i + 1); exch(a, i, r); mellan 0 och i 60

60 Trasig Knuth shuffle Vad händer om heltalet är vald mellan 0 och N-1? Det är inte slumpmässigt längre! istället för 0 och i permutation Knuth shuffle broken shuffle A B C 1/6 4/27 A C B 1/6 5/27 B A C 1/6 5/27 B C A 1/6 5/27 C A B 1/6 4/27 C B A 1/6 4/27 sannolikhet av alla resultat när man blandar { A, B, C 61

61 Online Poker Texas hold'em poker. Programmet ska blanda elektroniska kort. How We Learned to Cheat at Online Poker: A Study in Software Security 62

62 Online poker anekdot Shuffling algorithm in FAQ at for i := 1 to 52 do begin r := random(51) + 1; swap := card[r]; card[r] := card[i]; card[i] := swap; end; between 1 and 51 Bug 1. Slump tal r aldrig 52 => 52 :de kort kan inte hamna i 52 :de platsen. Bug 2. Blandingen är inte slumpmässig (ska vara mellan 1 och i). Bug 3. random() använder bara en 32-bit seed => 2 32 möjliga blandningar. Bug 4. Seed = millisekunder sedan midnatt => 86.4 miljon blandningar. Exploit. Man kan, efter har set bara 5 kort och synkroniserat med server klockan, förutspå alla framtida kort i realtid. The generation of random numbers is too important to be left to chance. Robert R. Coveyou 63

63 Online poker: bästa praxis Bästa praxis för blandning. - Använd en hårdvara lösning som genererar slumptal som är godkänd för både både FIPS och NIST statistiska prov. Men, hårdvara slumptal generatorer kan vara ömtåliga och kan fail silently". - Använd en opartiska blandningsalgoritm. 64

64 Sammanfattning Enkla algoritmer för att sortera arrayer - Selection sort - Insertion sort - Shell sort Blandning - Att blanda kort är svårt! Näst - N log N sorteringsalgoritmer baserad på divide-and-conquer - Mergesort och Quicksort