Alternativa metoder för sammanslagning av tabeller i SAS. Fredrik Bernström och Johan Elfman Konsulter SAS Institute

Transkript

1 Alternativa metoder för sammanslagning av tabeller i SAS Fredrik Bernström och Johan Elfman Konsulter SAS Institute

2 Alternativa metoder för sammanslagning av tabeller i SAS Syfte med presentationen: Visa på alternativ till Merge och SQL Utöka verktygslådan Påvisa för- och nackdelar med de olika metoderna. 2

3 Alternativa metoder till Merge och SQL INTO & WHERE SET med KEY= option FORMAT HASH 3

4 Urval ur stor tabell sasforum.orders Order_ID... Customer_ID sasforum.bad_customers Customer_ID Indexerad på Customer_ID 4

5 Match-Merge data orders_subset; merge sasforum.bad_customers(in=a keep=customer_id) sasforum.orders(in=b); by customer_id; if a and b; run; 5

6 SQL Inner join proc sql; create table orders_subset as select a.* from sasforum.orders a, sasforum.bad_customers b where a.customer_id = b.customer_id ; quit; 6

7 SQL Select into Bygger på möjligheten att skapa makrovariabler med proc sql Kan användas för att göra enklare urval ur tabeller Har flera andra användningsområden, t.ex. att styra DO-loopar 7

8 SQL Select into proc sql noprint; select distinct customer_id into :subset separated by ', ' from sasforum.bad_customers; quit; data orders_subset; set sasforum.orders; where customer_id in (&subset); run; 8

9 SQL Select into proc sql noprint; select distinct customer_id into :subset separated by ', ' from sasforum.bad_customers; quit; data orders_subset; set sasforum.orders; where customer_id in (&subset); run; 9

10 SQL Select into proc sql noprint; select distinct customer_id into :subset separated by ', ' from sasforum.bad_customers; quit; data orders_subset; set sasforum.orders; where customer_id in (&subset); run; 10

11 SQL Select into proc sql noprint; select distinct customer_id into :subset separated by ', ' from sasforum.bad_customers; quit; data orders_subset; set sasforum.orders; where customer_id in (&subset); run; 11

12 SQL Select into proc sql noprint; select distinct customer_id into :subset separated by ', ' from sasforum.bad_customers; quit; data orders_subset; set sasforum.orders; where customer_id in (1, 2, 4, 5); run; 12

13 SQL Select into Fördelar: Data behöver ej vara sorterat eller indexerat Enkel programmering Har fler användningsområden än joins Nackdelar: Fungerar ej om urvalstabellen innehåller för många unika värden Nycklar endast på en variabel. 13

14 SET med KEY= option Datasteg med flera SET statements. Ger via index direktaccess till specifika rader i en tabell. Kan användas till såväl urval av rader i en stor tabell som slagning mot kodtabeller. 14

15 SET med KEY= option data orders_subset; set sasforum.bad_customers(keep=customer_id); set sasforum.orders key=customer_id; run; 15

16 SET med KEY= option data orders_subset; set sasforum.bad_customers(keep=customer_id); set sasforum.orders key=customer_id; if _iorc_ = %sysrc(_sok) then output; else if _iorc_ = %sysrc(_dsenom) then _error_=0; run; 16

17 SET med KEY= option data orders_subset; set sasforum.bad_customers(keep=customer_id); set sasforum.orders key=customer_id; if _iorc_ = %sysrc(_sok) then output; else if _iorc_ = %sysrc(_dsenom) then _error_=0; run; 17

18 SET med KEY= option data orders_subset; set sasforum.bad_customers(keep=customer_id); do until (_iorc_=%sysrc(_dsenom)); set sasforum.orders key=customer_id; if _iorc_ = %sysrc(_sok) then output; else if _iorc_ = %sysrc(_dsenom) then _error_=0; end; run; 18

19 SET med KEY= option Fördelar: Kan användas på osorterat data Kan hämta flera värden/kolumner i en slagning Kan nyckla på fler än en variabel (via komposit index) Nackdelar: Förhållandevis komplicerad kod Kräver index 19

20 Format Kan användas för att konvertera/översätta värden. Format kan skapas ifrån datakällor. Läses upp i minnet för snabb åtkomst. 20

21 Format Steg för steg - översikt 1. Utgå ifrån en tabell med ett nyckelvärde, och ett informationsvärde (t.ex. id resp. klartext). 2. Skapa en ny tabell med förutbestämda kolumnnamn 3. Skapa format genom att läsa in tabellen med proc format. 4. Använd formatet i ett datasteg. 21

22 Format - exempel Två tabeller: En tabell med orderinformation En tabell med produktkoder och produktnamn. 22

23 Format Två tabeller: En tabell med orderinformation En tabell med produktkoder och produktnamn. 23

24 Format Steg för steg 1. Utgå ifrån en tabell med ett nyckelvärde, och ett informationsvärde (t.ex. id resp. klartext). 2. Skapa en ny tabell med förutbestämda kolumnnamn 3. Skapa format genom att läsa in tabellen med proc format. 4. Använd formatet i ett datasteg. 24

25 Format En tabell med ett nyckelvärde en klartext 25

26 Format Steg för steg 1. Utgå ifrån en tabell med ett nyckelvärde, och ett informationsvärde (t.ex. id resp. klartext). 2. Skapa en ny tabell med förutbestämda kolumnnamn 3. Skapa format genom att läsa in tabellen med proc format. 4. Använd formatet i ett datasteg. 26

27 Format Kolumnnamn (måste): FMTNAME = Namn på formatet (utan $ och.) TYPE = N eller C START = Nyckelvärde LABEL = Etikett Kolumnnamn (ev): END = Vid numeriska intervallformat HLO = Typ av värde. T.ex. Other (O), High(H) 27

28 Format Skapa formattabell utifrån befintlig tabell data fmtin_data; length fmtname $32 type $1; retain fmtname 'prodfmt' type 'N'; set sasfdata.products(keep=product_id product_name); rename product_id = start product_name = label ; run; 28

29 Format En tabell med ett formatnamn ett formattypvärde ett startvärde / nyckelvärde en etikett / klartext 29

30 Format Steg för steg 1. Utgå ifrån en tabell med ett nyckelvärde, och ett informationsvärde (t.ex. id resp. klartext). 2. Skapa en ny tabell med förutbestämda kolumnnamn 3. Skapa format genom att läsa in tabellen med proc format. 4. Använd formatet i ett datasteg. 30

31 Format Skapa format utifrån formattabell proc format cntlin=fmtin_data; run; 31

32 Format Skapa format utifrån formattabell 25 proc format cntlin=fmtin_data; NOTE: Format PRODFMT has been output. 26 run; NOTE: PROCEDURE FORMAT used (Total process time): real time 0.15 seconds cpu time 0.04 seconds NOTE: There were 5579 observations read from the data set WORK.FMTIN_DATA. 32

33 Format Steg för steg 1. Utgå ifrån en tabell med ett nyckelvärde, och ett informationsvärde (t.ex. id resp. klartext). 2. Skapa en ny tabell med förutbestämda kolumnnamn 3. Skapa format genom att läsa in tabellen med proc format. 4. Använd formatet i ett datasteg. 33

34 Format Använd nyckelvärdet för att slå mot formatet och få tillbaka det formaterade värdet. data customer_orders; set custorders; length product_name $30; product_name = put(product_id, prodfmt.); run; 34

35 Format Komplett tabell: 35

36 Format data fmtin_data; length fmtname $32 type $1; retain fmtname 'prodfmt' type 'N'; set sasfdata.products(keep=product_id product_name); rename product_id = start product_name = label ; run; proc format cntlin=fmtin_data; run; data customer_orders; set custorders; length product_name $30; product_name = put(product_id, prodfmt.); run; 36

37 Format Fördelar: Ingen sortering av datakällor behövs Snabb exekvering Enkelt att använda. Nackdelar: Något komplicerat att skapa formatet Endast ett värde returneras per slagning. Endast ett nyckelvärde kan användas. Långsam vid stora datamängder. 37

38 Hash-objekt Nyhet i SAS9. Data Step Component Interface. Hash: Objekt i minnet som går mycket fort att söka i m.h.a. nyckelvärden (direct-addressing). Läs in en (eller flera) tabeller i minnet och använd dem för att hitta värden. 38

39 Hash-objekt

40 Hash, binärsökning Antal tester om man har värden: Sekvensiellt medelvärde: 500 Binärsökning, (max): 10 Antal tester om man har värden: Sekvensiellt medelvärde: Binärsökning, (max): 20 40

41 Hash Steg för steg. Inne i data steget: 1. Deklarera variabler som ej finns i huvudtabell. 2. Initiera variabler som ej finns i huvudtabell. 3. Deklarera hash-objektet. 4. Läs in tabell i till hashobjektet 5. Starta läsning av grunddata, och slå mot hashobjektet. 41

42 Hash data outtable; set custorders; length product_name $45; if _n_ = 1 then do; call missing(product_name); declare hash prod(dataset: "sasfdata.products", hashexp: 8); prod.definekey('product_id'); prod.definedata('product_name'); prod.definedone(); end; rc = prod.find(); run; 42

43 Hash Steg för steg. Inne i data steget: 1. Deklarera variabler som ej finns i huvudtabell. 2. Initiera variabler som ej finns i huvudtabell. 3. Deklarera hash-objektet. 4. Läs in tabell i till hashobjektet 5. Starta läsning av grunddata, och slå mot hashobjektet. 43

44 Hash data outtable; set custorders; length product_name $45; if _n_ = 1 then do; call missing(product_name); 44

45 Hash Steg för steg. Inne i data steget: 1. Deklarera variabler som ej finns i huvudtabell. 2. Initiera variabler som ej finns i huvudtabell. 3. Deklarera hash-objektet. 4. Läs in tabell i till hashobjektet 5. Starta läsning av grunddata, och slå mot hashobjektet. 45

46 Hash declare hash prod(dataset: "sasfdata.products", hashexp: 8); 1. Deklarera objektet 2. Namn 3. Inkälla 4. Hash-exponent (storlek) 46

47 Hash declare hash prod(dataset: "sasfdata.products", hashexp: 8); 1. Deklarera objektet 2. Namn 3. Inkälla 4. Hash-exponent (storlek) 47

48 Hash declare hash prod(dataset: "sasfdata.products", hashexp: 8); 1. Deklarera objektet 2. Namn 3. Inkälla 4. Hash-exponent (storlek) 48

49 Hash declare hash prod(dataset: "sasfdata.products", hashexp: 8); 1. Deklarera objektet 2. Namn 3. Inkälla 4. Hash-exponent (storlek) 49

50 Hashexponent Hashexp anger hur många Hash-buckets man skall ha. En Bucket är ett binär-träd. Värdet är en exponent ( Antal = 2 ** Hashexp) Alltså ger hashexp=2 nedan. 4 st buckets, enligt bild 50

51 Hash Steg för steg. Inne i data steget: 1. Deklarera variabler som ej finns i huvudtabell. 2. Initiera variabler som ej finns i huvudtabell. 3. Deklarera hash-objektet. 4. Läs in tabell i till hash-objektet 5. Starta läsning av grunddata, och slå mot hashobjektet. 51

52 Hash objekt: Metoder definekey() Vilket värde är nyckel? definedata() Vilket värde skall lagras? definedone() Slut på deklarationen av objektet. declare hash prod(dataset: "sasfdata.products", hashexp: 8); prod.definekey('product_id'); prod.definedata('product_name'); prod.definedone(); 52

53 Hash Steg för steg. Inne i data steget: 1. Deklarera variabler som ej finns i huvudtabell. 2. Initiera variabler som ej finns i huvudtabell. 3. Deklarera hash-objektet. 4. Läs in tabell i till hashobjektet 5. Starta läsning av grunddata, och slå mot hash-objektet. 53

54 Hash objekt: Metoder find() Hitta värde? add, remove, replace, check, num_items, delete, output... /* Nyckelvärdesvariabel skapad innan med rätt namn och med värde */ rc = prod.find(); Om rc = 0 så finns nyckelvärdet i hash-objektet. 54

55 Hash data outtable; set custorders; length product_name $45; if _n_ = 1 then do; call missing(product_name); declare hash prod(dataset: "sasfdata.products", hashexp: 8); prod.definekey('product_id'); prod.definedata('product_name'); prod.definedone(); end; rc = prod.find(); run; 55

56 122 data Hash outtable; 123 set custorders; 124 length product_name $45; 125 if _n_ = 1 then do; 126 call missing(product_name); declare hash prod(dataset: "sasfdata.products", hashexp: 8); 129 prod.definekey('product_id'); 130 prod.definedata('product_name'); 131 prod.definedone(); 132 end; 133 rc = prod.find(); 134 run; Hash - Log NOTE: There were 5579 observations read from the data set SASFDATA.PRODUCTS. NOTE: There were 15 observations read from the data set WORK.CUSTORDERS. NOTE: The data set WORK.OUTTABLE has 15 observations and 8 variables. NOTE: DATA statement used (Total process time): real time 0.01 seconds Fredrik Bernström cpu time & Johan Elfman, SAS Institute 0.02 AB seconds 56

57 Hash tre tabeller 57

58 data orderswithprodsup; set custorders; length product_name $45 supplier_id 8 supplier_name country $40; if _n_ = 1 then do; declare hash prod(dataset: "sasfdata.products", hashexp: 8); prod.definekey('product_id'); prod.definedata('product_name'); prod.definedata('supplier_id'); prod.definedone(); declare hash sup(dataset: "sasfdata.supplier", hashexp: 8); sup.definekey('supplier_id'); sup.definedata('supplier_name'); sup.definedata('country'); sup.definedone(); call missing(product_id, product_name, supplier_id, supplier_name, country); end; rc = prod.find(); rc2 = sup.find(); format country $COUNTRY.; run; 58

59 Hash tre tabeller NOTE: There were 5579 observations read from the data set SASFDATA.PRODUCTS. NOTE: There were 64 observations read from the data set SASFDATA.SUPPLIER. NOTE: There were 15 observations read from the data set WORK.CUSTORDERS. NOTE: The data set WORK.ORDERSWITHPRODSUP has 15 observations and 12 variables. NOTE: DATA statement used (Total process time): real time 0.03 seconds cpu time 0.04 seconds 59

60 Hash tre tabeller 60

61 Hash Fördelar: Snabbt (in memory) Flexibelt (En eller flera tabeller, sortering, många till många) Nackdelar: Man får ej med kolumnattribut från inlästa tabeller Annorlunda programmering än vad vi är vana vid. 61

62 Vad avgör val av teknik? Programmerarens kunskaper Förvaltning Prestanda Viljan att prova på nya saker och utvecklas! 62

63 63