Kapitel 4. Teckenrepresentation. 4.2 Teckenkoder. 4.1 Binärt. 4.3 Att ange teckenkodning

Transkript

1 Kapitel 4 Teckenrepresentation Temat i detta kapitel är teckenkodningar och locales, men först kommer korta stödanteckningar om tvåpotenser. 4.1 Binärt Den minsta enheten information är en bit något som bara kan ha två värden. Av eller på, upp eller ner, svart eller vitt, 0 eller 1. För varje ny bit fördubblas antalet möjligheter. 2 1 = = 2 2 = = = = = = = = = = = = = = = = = 1024 och så fortsätter det 2 048, 4 192, 8 192, , , , osv. Så med t. ex. fyra bitar kan ett av 16 olika värden lagras. Dessa tal dyker upp i många sammanhang. Det finns t. ex. 8 bitar i en byte. Det finns 256 möjliga värden på en byte. Med kilo menas i datorsammanhang oftast inte exakt tusen, utan 1 024, liksom Mega oftast inte betyder exakt en miljon utan 2 20 som är lite mer än en miljon. Att skriva tal binärt är att skriva dem med bara två siffror, 0 och 1. T. ex. kan 256 olika tal (0-255) skrivas med åtta binära siffror. Annat som förekommer är oktalt (åtta olika siffror, 0 7) och hexadecimalt (sexton olika siffror, 0 9 och A F). (En oktal siffra innehåller lika mycket information som tre bitar. En hexadecimal siffra innehåller lika mycket information som fyra bitar.) 4.2 Teckenkoder När en vanlig text (plain text) lagras i en fil eller ska föras över mellan datorer eller program måste en viss teckenkodning användas, dvs. ett sätt att ge varje tecken en numerisk kod. Filer lagrar olika slags data som en sekvens av bytes, som kan ses som värden 0 255, så det enklaste sättet att lagra text är att varje tecken får en kod från 0 till Att ange teckenkodning Det finns många olika teckenkodningar, vilket kan ställa till problem. På samma system (i samma operativsystem; i samma program) använder man oftast samma teckenkodning genomgående och råkar inte ut för några problem. Trycker man på en tangent som det står»å«på får man naturligt nog ett tecken»å«på skärmen och sparar man det i en fil så kommer samma tecken fram nästa gång man tittar på det. Det besvärliga kommer istället när man ska föra över data mellan system som använder olika teckenkodningar. Då finns det risk för att den kod man skickar iväg som betyder»å«i ens egen system betyder nåt annat på det andra systemet. Det är därför viktigt a) att man använder en teckenkodning som mottagande system känner till, och b) att man talar om vilken teckenkodning man har använt. Då får mottagaren(s system) möjlighet att tolka informationen rätt. Oftast fungerar sånt automatiskt. I figur 4.1 ges ett exempel på hur det kan bli annars. Detta görs med standardiserade beteckningar för olika teckenkodningar, och det är organisationen IANA (Internet Assigned Numbers Authority) som håller i dessa beteckningar, precis som de håller i flera andra standarder som används på Internet. I flera sammanhang när text skickas över nätet, t. ex. för datorpost och över webben, så används dessa standardiserade beteckningar, så istället för att bara texten skickas över så skickas det även med en etikett som talar om vad det är för slags text så 37

2 4. TECKENREPRESENTATION Varf r blir det sõ hõr? s å [SPC] h ä r s Õ [SPC] h õ r Figur 4.1: Exempel på fel. En text är skriven med vissa koder, men tolkas utifrån andra koder. I detta fall är det Latin-1 som tolkats som CP850. att mottagaren vet hur det ska tolkas. Normalt ordnar sig sådant automatiskt, men ni kan ändå då och då stöta på tillfällen när ni måste kunna hantera detta själva. Även filnamn med åäö eller andra»konstiga«tecken kan orsaka problem när man skickar dem mellan datorer om de inte använder samma teckenkodning. 4.4 ASCII En traditionell teckenkodning med stor genomslagskraft är ASCII (American Standard Code for Information Interchange). Med beteckningar från IANA kan den bland annat kallas ASCII eller US-ASCII. (Det finns ofta flera IANA-namn på samma teckenkodning.) Den omfattar koder från 0 till 127 och visas i figur 4.2. ASCII är en amerikansk och internationell standard från 1960-talet (dagens version är i praktiken ekvivalent med den från 1968) som snabbt antogs av de flesta och som fortfarande används ofta. 4.5 Kontrolltecken och nyrad Även i en ren textfil finns det ofta mer än bara grafiska tecken med utseenden som hämtas från en visst font. De består ju ofta av flera rader, och då måste även nyrad representeras på något sätt. Sådana och andra»tecken«som inte motsvarar något grafiskt tecken som kan skrivas ut på papper eller på en skärm kallas för kontrolltecken. De har istället någon annan betydelse när en text lagras i en fil, när tecken ska skickas från en terminal till en dator eller från en dator till en terminal eller liknande. I ASCII är tecken 0 31 samt 127 kontrolltecken. Några har effekten att flytta på markören. Här är de viktigaste: 9, [HT] = Horizontal tabulation:»advances the active position to the next pre-determined character position on the same line«(= TAB) 10, [LF] = Line feed:»advances the active position to the same character position of the next line«13, [CR] = Carriage return:»moves the active position to the first character position on the same line«med beskrivningarna ovan behövs två»tecken«för att en text ska fortsätta på början av nästa rad: [CR] och [LF]. [CR] (vagnretur) för att börja skriva på början av raden och [LF] (radframmatning) för att gå fram till nästa rad. De brukar ges i just den ordningen [CR] + [LF] och kombinationen kallas ibland tillsammans för CRLF. I Unix används dock bara ett tecken, [LF], för att börja på en ny rad, så man har tolkat om detta teckens betydelse. Det brukar då kallas för newline och betecknas ibland som \n. MS Windows använder däremot det traditionella [CR]+[LF] och det brukar även krävas vid kommunikation mellan datorer på nätet. 1 Dessutom är det vanligt i en del sammanhang att en sådan kod som ursprungligen används för att beteckna ny rad (oavsett vilken variant man använder) istället används för att indikera nytt stycke medan man låter rader brytas automatiskt. Dessa skillnader gör att vanliga textfiler kan skilja sig åt mellan olika system även om båda använder ASCII. Kontrolltecknet [HT] ovan kallas oftare för TAB och har en egen tangent på tangentbordet. (Se avsnitt 3.7.) Ett annat kontrolltecken som har en egen tangent är [ESC] (Escape, tecken 27) som används till många olika saker. I övrigt kan man skicka kontrolltecken från terminalen genom att använda Ctrltangenten. Med Ctrl-A skickar man tecken 1, Ctrl- B ger tecken 2, osv., och i en del sammanhang betecknas dessa tecken med ^A, ^B osv. Eftersom J är den tionde bokstaven är alltså ^J tecken 10, dvs. [LF] (line feed, newline). Om man vill lägga in ett kontrolltecken i en fil i Emacs räcker det inte med att bara trycka så. Om man trycker t. ex. C-a så betyder det istället att gå till början av raden, osv. Då får man lov att använda kommandot C-q (med q som i»quote«) före tecknet, så med C-q C-a lägger man in kontrolltecken nummer 1, osv. 4.6 Latin-1 I ASCII finns bara ungefär de tecken som finns på en amerikansk skrivmaskin och alla tecken har koder från I Mac-världen användes förr istället endast [CR] för denna funktion, men eftersom Mac OS X är en Unix så använder moderna Mac-datorer också [LF]. 38

3 ISO = UCS Unicode 32 33! 34 " 35 # 36 $ 37 % 38 & 39 ' 40 ( 41 ) 42 * , / : 59 ; 60 < 61 = 62 > 63? 65 A 66 B 67 C 68 D 69 E 70 F 71 G 72 H 73 I 74 J 75 K 76 L 77 M 78 N 79 O 80 P 81 Q 82 R 83 S 84 T 85 U 86 V 87 W 88 X 89 Y 90 Z 91 [ 92 & 93 ] 94 ^ 95 _ a 98 b 99 c 100 d 101 e 102 f 103 g 104 h 105 i 106 j 107 k 108 l 109 m 110 n 111 o 112 p 113 q 114 r 115 s 116 t 117 u 118 v 119 w 120 x 121 y 122 z 123 { } 126 ~ 127 DEL Figur 4.2: ASCII-tecken Kod 32 är mellanslag. Kod 127 är inte ett egentligt tecken utan»kontrolltecknet«delete. Även kod 0 till 31 är olika kontrolltecken som inte visas här ª 171 «172ň ś 178 š 179 ş ţ ź 186 º 187» 188 ¼ 189 ½ 190 ¾ À 193 Á 194 Â 195 Ã 196 Ä 197 Å 198 Æ 199 Ç 200 È 201 É 202 Ê 203 Ë 204 Ì 205 Í 206 Î 207 Ï 208 Ð 209 Ñ 210 Ò 211 Ó 212 Ô 213 Õ 214 Ö 215 Ö 216 Ø 217 Ù 218 Ú 219 Û 220 Ü 221 Ý 222 Þ 223 ß 224 à 225 á 226 â 227 ã 228 ä 229 å 230 æ 231 ç 232 è 233 é 234 ê 235 ë 236 ì 237 í 238 î 239 ï 240 ð 241 ñ 242 ò 243 ó 244 ô 245 õ 246 ö 247 ö 248 ø 249 ù 250 ú 251 û 252 ü 253 ý 254 þ 255 ÿ Figur 4.3: Tecken i Latin-1. Tecken 160 är nbsp = non-breaking space. Tecken 173 är shy = soft hyphen en möjlig avstavningspunkt där»-«ska visas om det blir avstavning där, men som annars inte syns. Tecken är kontrolltecken, och visas inte här. Eftersom det kan finnas värden i varje byte så finns det plats för dubbelt så många olika tecken när man lagrar text i en fil. Latin-1 är en utökning där man även använder koderna till mer tecken. Den är tänkt att innehålla sådana tecken som behövs för västeuropeiska språk som skrivs med latinskt alfabet. De tecken som lagts till den visas i figur 4.3 och där ingår t. ex. svenska åäö. 4.7 ISO = UCS Unicode Men det finns ju fler alfabeten, som det ryska och det arabiska. Och andra skriftsystem med stavelsetecken och ideografiska tecken. Numer har teckenkodningen Unicode tagit över allt mer, såväl under Unix som Microsoft Windows och annars. Med det är det tänkt att man ska kunna skriva alla naturliga språk (levande och döda), samt dessutom en stor mängd matematiska och andra symboler. Egentligen finns det två olika projekt: Det ena är en standard från standardiseringsorganisationen ISO: UCS = Universal Character Set, eller ISO Det andra är Unicode från ett konsortium av datorföretag. De båda standarderna har dock anpassat sig till varandra, så i de flesta bemärkelser är det numer samma sak och det är Unicode som det oftast talas om. Standarden utökas eftersom och har nu totalt över tecken. Det finns plats för drygt en miljon tecken. Kod är som för Latin-1 (så är som för ASCII). Förutom den numeriska koden innehåller Unicode även bland annat Ett namn för varje tecken (som LATIN CAPI- TAL LETTER A WITH RING ABOVE, ARABIC QUESTION MARK och HEXAGRAM FOR DIF- FICULTY AT THE BEGINNING) Information om vad för slags tecken de olika tecknen är (alfabetiska, siffror, interpunktion,... ) Information om vilka tecken som skrivs från höger till vänster och vilka som skrivs från vänster till höger Information om vilka tecken som motsvarar varandra som små och stora bokstäver Ibland betecknas tecknen med»u+«och tecknets hexadecimala kod. Tecknet, med namnet LESS-THAN OR EQUAL TO, är t. ex. tecken nummer åttatusen åttahundra fyra, men oftare betecknar man det hexadecimalt som U+2264 istället för UTF-8 Eftersom det finns långt fler än 256 tecken krävs det flera bytes per tecken. Detta är ett skäl till att Unicode är besvärligare att hantera än t. ex. ASCII och Latin-1. För att spara utrymme så lagrar man ofta Unicode-text på ett sådant sätt så att olika tecken tar olika mycket plats att lagra. Det finns flera sätt att göra detta, varav ett heter UTF-8. Där tar tecken mindre plats att lagra ju lägre kod de har: Kod 0 127: 1 byte (ASCII) Kod : 2 bytes Kod : 3 bytes Kod : 4 bytes Om en fil bara innehåller ASCII-tecken (kod 0 127) så blir det alltså precis likadant med US-ASCII som med UTF-8. Kommunikation över Internet använder allt oftare UTF-8. I december 2007 blev 39

4 4. TECKENREPRESENTATION text: H a l l å! [SPC] namn: LATIN CAPITAL LETTER H LATIN SMALL LETTER A LATIN SMALL LETTER L LATIN SMALL LETTER L LATIN SMALL LETTER A WITH RING ABOVE EXCLA- MATION MARK SPACE WHITE SMILING FACE unicode: utf8: Figur 4.4: Den korta texten»hallå! «lagras med UTF-8. Olika tecken tar olika mycket plats att lagra. Varfà r blir det sã hã r? text: s å [SPC] h ä r unicode: utf8: latin-1: text: s à [SPC] h à r Figur 4.5: Exempel på teckenkodningsfel där en text skriven med UTF-8 tolkas som om det vore Latin-1. UTF-8 det vanligaste sättet att koda texter på webben, och i början av 2010 hade det kommit upp till hälften av alla webbsidor, enligt interna data från Google. I figur 4.4 ges ett exempel på hur en kort text (åtta tecken) kan lagras där olika tecken tar upp olika många bytes. Det som tar mest plats tar upp tre bytes. Det är nästan bara väldigt ovanliga ideografiska tecken och utdöda skriftsystem som har så höga koder att de behöver fyra bytes med UTF-8. Om man ser text som ser ut»sã hã r«istället för»så här«så är det på grund av trassel med teckenkodning. Så ser UTF-8-text ut om den tolkas som Latin-1. Se figur 4.5! Observera att bokstäverna a z ser likadana ut (de ingår ju i ASCII) medan åäö lagras i två bytes var med UTF-8 och dessa två bytes har här felaktigt tolkats som något helt annat. 4.8 Övriga teckenkodningar Innan Unicode slog igenom användes en mängd olika teckenkodningar i olika sammanhang. Det fanns vissa som bara användes för att hantera rysk text, vissa bara för japansk text, osv. Än idag används inte Unicode genomgående, så ni kommer då och då behöva hantera annat. Nästan alla bygger på ASCII, så man kan vara rätt säker på att»a«är kodat som 65,»B«som 66 osv. i nästan alla sammanhang, trots att detta egentligen är rätt godtyckligt och hade kunnat vara på något annat sätt. Här tas bara några av de vanligare upp ISO 8859-* Latin-1 heter egentligen ISO och är bara en av en hel serie standarder från ISO som heter ISO , ISO ,... ISO Hos IANA finns dessa registrerade som ISO , ISO osv. De är alla utökningar av ASCII som använder koderna till ytterligare tecken. Så som ISO är tänkt för västeuropeiska språk har de övriga andra inriktningar. T. ex. är ISO till för sydeuropeiska språk och ISO för arabiskt alfabet. Att ISO kallas för Latin-1 är för att det är den första av dem som är till för språk med latinskt alfabet. 2 Utom ISO som inte finns. 40

5 Språkinställningar Microsoft Windows Microsoft har använt en del egna utökningar av ISO-8859-familjen. Den viktigaste av dessa är windows-1252 som bygger på Latin-1. Den innehåller alla skrivtecken som Latin-1 gör, men ersätter en del av kontrolltecknen med ytterligare skrivbara tecken, t. ex. C,,, ž och Ÿ, som inte finns med i Latin-1. Den kallas ibland även för WinLatin1, men windows-1252 är det enda namn för denna teckenkodning som Microsoft har registrerat hos IANA. I MS Windows-världen kallas denna teckenkodning märkligt nog ibland för»ansi«(såsom den amerikanska standardiseringsorganisationen American National Standards Institute), trots att det inte är någon ANSI-standard! Eftersom den liknar Latin-1 så mycket finns det risk för sammanblandning. Ibland sprids filer från MS Windows-världen med felaktiga etiketter som påstår att texterna är skrivna med Latin-1 fast det egentligen är windows-1252 vilket kan ställa till med problem. 4.9 Vad är olika tecken? Det är inte i första hand det grafiska utseendet som avgör vad som ska räknas som varianter av samma tecken eller som ska räknas som olika tecken. T. ex. är a och a samma tecken (I Unicode LATIN SMALL LETTER A, tecken 97) trots att de ser olika ut. Däremot är svenska A och grekiska A olika tecken (tecken 65: LATIN CAPITAL LETTER A respektive tecken 913: GREEK CAPITAL LETTER ALPHA) trots att de (beroende på typsnitt) kan se likadana ut. (Att de är olika märks om inte annat på motsvarande gemena bokstäver a och α.) Samma tecken kan också se olika ut i olika positioner i texten. Ett f följt av ett i blir t. ex. ofta en sammanhängande ligatur fi (se uppförstoringen i figur 4.6), men det räknas ändå som två olika tecken. Många arabiska bokstäver har olika former beroende på om de kommer i början, mitten eller slutet av ett ord. Termen glyf används ibland för ett specifikt grafiskt utseende, till skillnad från den mer abstrakta termen tecken Samma tecken i ASCII Med Unicode görs minst lika mycket skillnad på olika tecken som görs när man sätter text i tryck. Men i ASCII finns inte lika många särskillnader. Där figur 4.6 Figur 4.6: Figur 4.6 quote quote Figur 4.7: Hur tecknen för startcitat och slutcitat skiljer sig åt skiljer sig i olika typsnitt. De två exemplen här är Helvetica och Palatino. finns t. ex. bara ett tecken - trots att man i tryck skiljer på olika långa sådana streck t. ex. i abc-bok (kortare bindestreck) och kl (längre intervalltecken). Ett annat exempel är citattecken. På t. ex. engelska så används olika citattecken före och efter citat. Det kan se ut like this eller like this. Hur skillnaden ser ut skiljer sig åt i olika typsnitt. I figur 4.7 finns ett par rätt olika exempel. På skrivmaskiner nöjde man sig dock med raka neutrala citattecken som skulle gå lika bra att använda både före och efter, och så är det i ASCII och t. ex. Latin-1 också: "like this" eller 'like this'. (Citattecknen är tecken 34 och 39 i figur 4.2.) I ASCII finns det dock även grav accent (tecken nummer 96 i figuren). Ibland kan man stöta på text som använder den som citatstart så det är skrivet `like this'. 3 Detta ser rätt skevt ut, och är inte att rekommendera, men förr fanns det en hel del fonter där tecknet ' inte var rakt, utan vinklat, så då såg det helt OK ut. En apostrof, som i»don t«är samma tecken som ett slutcitattecken. I Unicode beskrivs tecknet som RIGHT SINGLE QUOTATION MARK, men det används även för apostrof. På svenska kan för övrigt detta tecken användas både före och efter citat: så här. Programspråk använder sällan tecken utanför ASCII i speciella betydelser, så källkod till program innehåller vanligtvis bara ASCII utom kanske i textsträngar och kommentarer Språkinställningar En fil med vanlig text har i allmänhet ingen information i sig om vilken teckenkodning den använder. En fil med två bytes, 241 och 214, kanske är en Latin1-fil med texten»ñö«, eller kanske en ISO fil med de grekiska bokstäverna»ρφ«eller kanske en ISO fil med de kyrilliska bokstäverna» ж«4 eller något helt annat! Program som gör något med textfiler måste ofta veta vilken teckenkodning de är lagrade med. Om sort ska kunna sortera en fil med en sådan rad så spelar det ju t. ex. roll om första tecknet där är ñ vilket antagligen ska sorteras likadant som n. 3 Det såg ni t. ex. i resultat från skalet på s Vilket betyder igelkott på ryska! 41

6 4. TECKENREPRESENTATION Dessutom måste de ibland veta vad det är för språk för att rätt kunna behandla en text. Dessa inställningar kallas för ens locale och man har standardinställningar för detta som gäller om man inte säger till om annat. Dessa inställningar kan även ändra vilket språk program ska använda i sin output ifall programmet har översatts till flera olika språk. Programmet läser av användarens språkinställningar och ändrar beteende utifrån det Språkinställning i Gnome Om du normalt vill att datorn ska prata svenska (eller något annat språk) med dig så kan du ställa om språk från inloggningsrutan innan du loggar in. (Du får en fråga om det bara är under just denna session du vill använda detta språk eller om du vill ändra så att detta blir det normala för dig.) Hur en locale ser ut En angivelse av locale kan se ut i stil med pt_br.iso vilket betyder brasiliansk portugisiska kodat enligt Latin-1. Först kommer en beteckningen för vilket språk det är. I förra kapitlet, på sidan 34, finns en lista över några av dessa språk. Till detta fogas även vilket land det gäller. Landskoderna kan man t. ex. känna igen från toppdomänerna på Internet där.se är Sverige osv. 5 I tabell 4.1 återges en del av landskoderna. Dessa standarder är reglerade av den internationella standardiseringsorganisationen ISO. Både språk och land anges alltså. Några exempel: sv_se : Svenska i Sverige sv_fi : Finlandssvenska en_gb : Brittisk engelska en_za : Sydafrikansk engelska es_es : Spanska i Spanien es_ar : Spanska i Argentina fr_ca : Franska i Kanada zh_cn : Kinesiska i Kina zh_tw : Kinesiska i Taiwan Observera att språk och land inte nödvändigtvis har samma tvåbokstavsförkortning när orden är liknande. T. ex. har danska språket koden»da«och Danmark har»dk«. Till detta lägger man en punkt och en teckenkodning, t. ex..iso eller.utf8, så en fullständig locale kan se ut som sv_se.utf8. (Det finns även locales som har andra slags namn.) I många fall spelar det ingen roll vilket land man anger. Det är nog t. ex. knappast många program som beter sig olika om man har talat om att man vill ha rikssvenskt eller finlandssvenskt beteende. Det betyder inte att man kan sätta ihop lands- och 5 I det sammanhanget används dock inte förkortningen GB för Great Britain, utan.uk för United Kingdom, och.us används inte så mycket. Tabell 4.1: Koder enligt ISO för några av världens och Europas största länder, samt de skandinaviska länderna AZ BD BE BR BG CD DK EG ET PH FI FR GR IN ID IR IS IT JP CN MX NL Azerbajdzjan Bangladesh Belgien Brasilien Bulgarien Kongo-Kinshasa Danmark Egypten Etiopien Filippinerna Finland Frankrike Grekland Indien Indonesien Iran Island Italien Japan Kina Mexiko Nederländerna NG NO PK PL PT RO RU CH RS ES GB SE TH CZ TR DE US UA HU VN BY AT Nigeria Norge Pakistan Polen Portugal Rumänien Ryssland Schweitz Serbien Spanien Storbritannien Sverige Thailand Tjeckien Turkiet Tyskland USA Ukraina Ungern Vietnam Vitryssland Österrike språkbeteckningar hur som helst i en locale. Med kommandot locale -a listas alla giltiga locales Att sätta om locale temporärt Med LANG= locale kommando kan man utföra ett kommando med en annan locale än sin normala. I följande exempel kan man se hur det påverkar både vanlig output och felmeddelanden. Ändrar man sin normala locale före inloggning kommer det alltså inte bara att påverka det grafiska gränssnittet, utan även vad skalkommandon skriver ut. $ ls xx ls: xx: No such file or directory $ LANG=fr_FR.utf8 ls xx ls: xx: Aucun fichier ou répertoire de ce type $ date Tue Sep 14 11:53:27 CEST 2010 $ LANG=es_ES.utf8 date mar sep 14 11:53:36 CEST 2010 $ LANG=fi_FI.utf8 wc *.txt ivt2-svenska.txt rummet.txt wonderland.txt yhteensä (I det sista exemplet märks skillnaden bara på»yhteensä«istället för»total«.) 42

7 Olika teckenkodningar i Emacs Sortering Hur text ska sorteras är språkspecifikt. På svenska sorterar vi åäö i slutet av alfabetet, medan t. ex. tyskarna som också använder ä och ö sorterar dessa som a och o. I uppgift 3.35 sorterade du svenska ord men med engelska språkinställningar fick du en sortering där åäö sorteras som aao i stil med hur vi sorterar tecken som éèêë likadant som vanligt e. Genom att sätta om LANG ändras dock även hur sort sorterar Här sorteras samma rader två gånger, först på svenska och sedan på engelska: $ LANG=sv_SE.utf8 sort /tmp/fil citron zebra åsna äpple $ LANG=en_US.utf8 sort /tmp/fil äpple åsna citron zebra Sorteringsreglerna för en del språk kan vara rätt komplicerade. Ibland vill man sortera bara för att föra ihop likadana rader, och då är det onödigt att använda så komplicerade sorteringsregler som naturliga språk ofta har. Då kan man använda en särskild locale»c«vilket ger enklast möjliga sortering. Raderna jämförs bara byte för byte enligt de numeriska koderna. (Det innebär t. ex. att stora och små bokstäver sorteras olika.) Om det är en stor fil kan man märka att en sådan enklare sortering kan gå mycket snabbare När använda detta? I de flesta fall kommer du inte behöva bry dig om dessa språkinställningar. Du kommer knappast ha nån nytta av att köra wc på nederländska en specifik gång så att det står»totaal«i summeringsraden istället för»total«, utan det räcker med att en gång för alla tala om vilket språk du ha. Ett viktigt undantag är sortering. Du bör tänka på hur sorteringar sker och veta hur du kan ställa om LANG för att få olika sorteringar, inklusive den rent»datoriska«med LANG=C som inte tar hänsyn till något särskilt språks sorteringsregler. Det gäller förstås också att sätta teckenkodningen rätt! Om en fil är lagrad i Latin-1 betyder det bl. a. att koden 224 där betyder à och att koden 227 betyder ã. (Se figur 4.3!) Om dessa tecken ska sorteras likadant så måste sort till att börja med veta teckenkodningen. Annars har den ingen anledning att behandla 224 och 227 likadant Hur ett skalkommando ser ut Med denna nya ingrediens i skalkommandona är vår nuvarande sanning om hur de ser ut så här: Ett helt kommandorör består av en mängd kommandon avskilda av lodstreck ( ). Det första kommandot kan följas av < filnamn och det sista kommandot kan följas av > filnamn. Varje individuellt kommando i ett sådant kommandorör kan enligt tidigare se ut som kommandord väljare argument, men dessutom kan det alltså tillkomma LANG= nånting i början. Detta hör då bara till just det kommandot och inte till ett helt kommandorör. Om man i ett längre kommandorör vill ha en sortering med t. ex. locale C blir det alltså... LANG=C sort... och det är då bara sort som körs med annan locale än den normala. Kommandon tidigare och senare i kommandoröret påverkas inte Olika teckenkodningar i Emacs Emacs kan läsa och skriva filer med flera olika teckenkodningar. Ofta kan den gissa rätt på vilken teckenkodning en viss fil är skriven med. Alla buffertar i Emacs får innehålla vilka tecken som helst som Emacs kan hantera. Det är först när man försöker spara en fil som det krävs att alla tecken i bufferten finns med i den teckenkodning som man ska spara filen med. Om det inte är så talar Emacs om detta och låter en välja en annan teckenkodning. Man kan också tala om explicit vilken teckenkodning man vill använda innan man sparar genom att använda Options Mule Set Coding Systems For Saving This Buffer. Till vänster i informationsraden anger Emacs vilken teckenkodning som i första hand ska användas när en viss buffert sparas till fil (1 = ISO , U = Unicode,... ). I samma meny finns även besläktade kommandon, t. ex. för att tala om uttryckligen vilken teckenkodning en fil har ifall Emacs gissar fel Att konvertera mellan teckenkodningar Ett program som konverterar mellan teckenkodningar är iconv. Det kan användas som iconv -f latin1 -t utf-8 foo.txt för att konvertera filen foo.txt från Latin-1 till UTF8 och skriva ut resultatet till standard output. Om man utelämnar argumentet tas input istället från standard input. Man kan ange namn på teckenkodningarna på lite olika sätt. Istället för»latin1«kan man skriva t. ex.»iso «eller»iso8859-1«. 43

8 4. TECKENREPRESENTATION Default, dvs. vad som händer om man inte säger till om något annat, är att ens normala teckenkodning (enligt ens locale) används, så om man inte använder väljaren -f omvandlar iconv från ens vanliga teckenkodning, och om man inte använder väljaren -t omvandlar iconv till ens vanliga teckenkodning. Ett annat sätt att konvertera är att öppna filen i Emacs och så spara den igen efter att man ställt om teckenkodning Att skriva tecken i Emacs C-x 8 Om du behöver skriva in tecken som du inte hittar på tangentbordet så finns det flera Emacskommandon som börjar med prefixet C-x 8 och följs av ett eller flera tecken. Med C-x 8 / O kan man t. ex. skriva Ø och med C-x 8 L kan man skriva. I synnerhet finns C-x 8 RET med vilket man kan skriva vilka tecken som helst genom att ange deras Unicode-namn. Riktigt alla tecken finns inte i fonten som Emacs använder. Okända tecken visas som tomma rutor. För att skriva ideogram, t. ex. kinesiska, finns det dels inputmetoder där man först anger ordets fonetik, dels sådana där man först anger några av delarna i det grafiska tecknet. I båda fallen finns det i allmänhet flera möjliga tecken som kan passa in. Man får upp en lista över sådana från vilken man får välja Hos oss På våra GNU/Linux-datorer använder vi en_us.utf-8 som normal locale, dvs. amerikansk engelska kodad med UTF-8. (Tidigare använde vi Latin-1 som normal teckenkodning.) Inputmetoder Om man vill skriva en hel text med något annat skriftsystem, som t. ex. ryska eller kinesiska tecken, så kan man använda en särskild inputmetod. Inputmetoden definierar vilka tecken som genereras när man trycker på olika tangenter. Funktionen Select Input Method finns i menyn Options Mule (Multilingual environment) och där finner man även ett kommando för att beskriva en viss inputmetod (C-h I). Det finns olika slags inputmetoder. T. ex.: Prefix- och postfixmetoder där man framförallt kan skriva bokstäver med accenter genom att skriva något särskilt före respektive efter bokstaven. Inputmetoden german-prefix är t. ex. till för att skriva tyska även om man inte har ett tyskt tangentbord och gör därför så att "A genererar Ä men även så att "s genererar ß. Tangentbordslayouter. Om man t. ex. kan layouten på ett vanligt ryskt tangentbord, kan man använda inputmetoden cyrillic-jcuken för att tangenterna ska generera det tecken som tangenten på motsvarande position ger på ett ryskt tangentbord. Translitterering. Med cyrillic-translit trycker man t. ex. på tangenterna»shostakovich«för att skriva»xostakoviq«. 6 6 Detta följer en engelsk translitterering. På svenska skulle man oftast skriva»sjostakovitj«, och i vetenskapliga sammanhang translittererar man»šostakovič«. 44

9 Laboration 4: Teckenkodningar Redovisning När ett skalkommando efterfrågas ska du ge eventuell output från det kommandot också. Gör först cd introduktion-till-datateknik och ha sen den katalogen som aktuell katalog vid alla skalkommandon du ger i denna labb! Skicka svar till Per senast fredagen den 21 oktober. Tecken och bytes Hittills har du bara räknat ord och rader med wc, men det kommandot kan även räkna tecken. Väljaren -c har traditionellt använts till detta, men eftersom den funnits med sedan urminnes tider så räknar den helt enkelt antal bytes, vilket var samma sak då. Uppgift 4.1 Ge ett kommando för att räkna antal bytes i filen konto.txt som ligger i din hemkatalog. (Missa nu inte vad som står om aktuell katalog i reglerna under Redovisning ovan! Du ska inte stå i den katalog där den filen ligger, men ändå skriva en korrekt relativ sökväg.) Med nyare kodningar som UTF-8 kan antalet bytes och tecken skilja, så i operativsystemet GNU har wc fått en ny väljare som förstår sig på sånt och verkligen räknar tecken. Se efter med wc --help vad den väljaren heter. Uppgift 4.2 Ge ett kommando som räknar antal tecken i den där filen konto.txt. Uppgift 4.3 Hur stor skillnad blev det i bytes och tecken? Varför just så stor? Teckenkodningar i Emacs Det finns en textfil i katalogen ~ellen/ fotografier. Gör cat på den i skalet. (Använd komplettering för att se vad filen heter.) Några tecken kommer inte att visas rätt, eftersom den filen inte är kodad enligt UTF-8. Kopiera den filen till din kurskatalog. (Använd».«som sistaargument till cp för att kopiera den till aktuell katalog.) Öppna nu din kopia av filen i Emacs. Emacs känner igen vad det är för teckenkodning och visar därför alla bokstäver rätt. Uppgift 4.4 Vad är det för teckenkodning och hur kan du se i Emacs att det är det? Använd Options Mule Set Coding Systems For Saving This Buffer (eller C-x RET f) för att ange vilken teckenkodning du vill att denna fil ska ha och svara utf-8. Spara filen. Du har nu omvandlat den filen till UTF-8. (Kolla för säkerhets skull med cat i terminalen också.) Öppna /local/kurs/ids/rysk.txt i Emacs. Som man kan gissa av namnet så innehåller den en text på ryska med kyrillisk skrift. Emacs gissar dock fel på vad det är för kodning av den filen så tecknen ser inte alls ryska ut. Uppgift 4.5 Vad har Emacs gissat att det är för teckenkodning och hur kan du se det? I ett sånt här läge finns det ett särskilt kommando för att genast öppna om samma fil men då tala om vad det är för teckenkodning i den. Sök upp det kommandot i Emacs-menyerna i samma meny som nyss. Använd det kommandot för att öppna om denna fil. Ange den teckenkodning i ISO 8859-serien som är till för kyrillisk skrift. Sök upp information på nätet om vilken teckenkodning det är. Uppgift 4.6 Vad heter den teckenkodningen och var hittade du information om den? Uppgift 4.7 Hur visas den teckenkodningen i informationsraden i Emacs? Uppgift 4.8 Sök upp första ordet i den filen i Google. Vad heter denna figur på svenska? (Du kan t. ex. använda dig av Wikipedia, där det i vänsterspalten finns länkar till motsvarande sidor på andra språk. Öppna härnäst filen /local/kurs/ids/small. txt. Här är det flera tecken som inte visas som det var tänkt. De visas som bakstreck (\) följt av en numerisk kod (som är oktal). Att det verkligen bara 45

10 LABORATION 4: TECKENKODNINGAR är ett tecken och inte flera kan du se genom att förflytta dig ett tecken i taget framåt eller bakåt genom dem. Det står nånting om latin-1 i texten. Normalt så har du sett att Emacs känner igen sånt av sig självt, men kanske inte i detta fall? Öppna om filen som en latin-1-fil istället. Uppgift 4.9 Hur skrev du för att göra det? Det torde bli klart läsligare, men inte helt. Uppgift 4.10 Det är ett tecken som fortfarande inte är rätt. Hur visas det i Emacs-bufferten nu? (Det blir inte bra om du kopierar tecken till ditt svar. Då får du samma tecken där också, men det kanske visas på något helt annat sätt i det program jag läser ditt mail med.) Det saknade tecknet var tänkt att vara ett C, som inte finns i latin-1! Tydligen är denna fil inte kodad med Latin-1 trots allt, utan med en teckenkodning som är ungefär som Latin-1. (Och det förklarar att Emacs inte kände igen det som Latin-1.) Uppgift 4.11 Nästa gissning är att filen är kodad med en vanlig teckenkodning under Microsoft Windows som liknar Latin-1. Vad heter den? Prova denna gissning genom att öppna om filen på det sättet. Detta stämde visst. Uppgift 4.12 Hur visas denna teckenkodning i informationsraden i Emacs? Inputmetoder i Emacs Öppna en ny fil uttal.txt där du ska skriva en kort fonetisk skrift med uttalsangivelser enligt IPA, nämligen»længwidz«(= language). Några av tecknen finns inte på tangentbordet. Lös detta genom att ange en särskild inputmetod i Emacs med Options Mule Select Input Method. Välj metoden ipa. Att du har detta aktiverat visas med IPA i informationsraden. Nu tolkar Emacs det du skriver på ett lite speciellt sätt som ska underlätta att skriva IPA. T. ex. kan tecknet æ skrivas med»ae«. Med C-h I (versalt I!) får du en beskrivning av en inputmetod. Tryck på retur för att få just denna inputmetod beskriven så får du veta hur du kan skriva de övriga speciella tecknen i denna text. Märk medan du skriver att det i ekoarean framgår vad det finns för möjligheter. C-x C-+ C-x C-- C-x C-0 Zooma in Zooma ut Normalläge Figur 4.8: Zoomkommandon i Emacs. Den sista är med siffran 0, inte bokstaven O. Mer tecken i Emacs Om man placerar markören på ett visst tecken i Emacs kan man få information om det tecknet med C-u C-x = (tre tecken). I informationen man får upp står bland annat tecknets namn. Uppgift 4.13 Hur lyder den information du får upp om det där sista tecknet i förra uppgiften (Z) när du använder detta? Öppna en ny fil vinter.txt (i kurskatalogen) och skriv»snögubbe:«där. Använd C-x 8 RET för att därefter skriva Unicode-tecknet SNOWMAN. Spara filen. Om du inte är mycket skarpsynt så har du användning för kommandon i figur 4.8 för denna uppgift: Uppgift 4.14 Hur många knappar har snögubben och hur många snöflingor är det? Kör i skalet ett kommando od -c vinter.txt som visar innehållet i filen, byte för byte. ASCIItecken visas som tecken och övrigt visas som tal (skrivna oktalt). Hur många bytes behövs för bok- Uppgift 4.15 staven ö? Hur många bytes behövs för snö- Uppgift 4.16 gubben? Uppgift 4.17 iconv Sist kommer \n. Vad betyder det? Uppgift 4.18 Ge ett iconv-kommando för att direkt skriva ut Ellens fil i uppgift 4.4 kodad med UTF-8 i terminalen. (Använd hennes oförändrade original inte din kopia.) Filen /local/kurs/ids/nordic-authors.txt innehåller namnen på några nordiska författare, listade en per rad med efternamn först. Uppgift 4.19 Vilken teckenkodning använder den filen? 46

11 Uppror! Uppgift 4.20 Ge ett skalkommando som sparar en ny fil authors.txt som innehåller /local/ kurs/ids/nordic-authors.txt omvandlad till UTF-8. (Om du har gjort rätt ska filen se rätt ut t. ex. om du tittar på dess innehåll med cat.) Olika locale Se noga upp med att du skriver locale-namnen rätt i dessa uppgifter! Skriver man fel blir det inget felmeddelande, utan bara ett felaktigt resultat! Uppgift 4.21 Uppgift 4.22 Vad är koden för landet Sverige? Vad är koden för språket svenska? Uppgift 4.23 Vad blir därmed en fullständig locale för svenska i Sverige skrivet med UTF-8? Uppgift 4.24 Med locale -a kan man lista alla giltiga locales. Hur många sådana finns det? Uppgift 4.25 Vilka giltiga locales finns det för USA här? Vilka språk använder dessa? Uppgift 4.26 Sverige här? Vilka giltiga locales finns det för Uppgift 4.27 Ett par av dem är som man kan vänta för Latin-1 och för UTF-8. En använder ytterligare en annan teckenkodning. Vad heter den? Vad är vitsen med den? (Slå upp den på nätet.) Uppgift 4.28 Ge ett kommando för att sortera din nya fil authors.txt med svensk locale. På svenska har traditionellt v och w sorterats som samma bokstav, men numer vacklar bruket. Senaste upplagan av Svenska Akademiens ordlista förespråkar att w sorteras för sig, som en egen bokstav, medan bl. a. Svenska språknämnden rekommenderar att man fortsätter att sortera samman v och w. Uppgift 4.29 Hur beter sig svensk sortering här vad gäller v och w? Uppgift 4.30 Ge ett kommando för att sortera samma författarlista med dansk sortering! Vilka skillnader blir det då jämfört med svensk sortering? Du har sedan förra labben en fil rummet.words i din kurskatalog. Uppgift 4.31 Ge ett kommando som ger en lista över de tio sista orden i en svensksorterad lista över raderna i rummet.words, samt resultatet. Några rader där är dubbletter. Det finns ett kommando uniq som man kan använda som filter för att ta bort dubblettrader som kommer efter varann i en input. Uppgift 4.32 Ge ett kommando som ger en lista över de tio sista orden i en svensksorterad lista över raderna i rummet.words där dubbletter tagits bort, samt resultatet. I den listan ska inga dubbletter finnas. (Däremot kan samma ordform finnas som två olika ordklasser. Då är ju raderna inte dubbletter!) Uppgift 4.33 I uppgift 3.36 tog du fram en lista över bara ordklasserna i rummet.words. Ge ett kommando som gör nästan samma sak, men även använder uniq för att undvika att få dubbletter i svaret. Uppror! Uppror! är en science fiction-roman från 1975 av pseudonymen Ferdinand Fitzschkloff. 7 Den sprids med författarens godkännande på runeberg.org/uppror/ på webben. Gå dit i en webbläsare och välj (download) (långt ner på sidan) och sen Alla OCR-filer för att ladda ner en textfil uppror.txt med bokens innehåll. Välj»Save File«istället för att öppna den i Emacs. Dessa filer är skapade med OCR (Optical Character Recognition) från inskannade boksidor, så det kan ha blivit fel ibland. Flytta denna uppror.txt till din kurskatalog och öppna den sedan i Emacs. Precis efter det U på informationsraden som anger Unicode står här (DOS). Det visar att denna fil har nyradstecken à la DOS och MS Windows, dvs. med CRLF. 8 Genom att klicka med musen på detta»dos«så byter du vilken nyradskonvention du vill ha i filen. Prova det! Uppgift 4.34 Vad står det då istället för»dos«? Vad betyder det? Klicka igen. Då ska den parentesen helt försvinna och ersättas med bara ett kolon. Då har du ställt in att du vill ha normala nyrader (à la Unix) i den filen. Eftersom filen på disk inte är sån så räknas den bufferten som osparad. Spara den. Uppgift 4.35 När du sparade filen ska du ha fått det gamla innehållet sparat i en backupfil. Kontrollera att du har den. Vad heter den? Uppgift 4.36 Ge ett kommando som talar om hur många bytes det är både i din nya uppror.txt och den backupfil som skapades (som har kvar de gamla nyraderna). (Använd ett jokeruttryck.) Kan du förklara varför skillnaden blev just så stor? 7 = Gunnar Gällmo. 8 Om man tittar på samma fil i Emacs under MS Windows skulle det inte stå nåt särskilt, för då skulle det vara det normala. Däremot skulle Emacs skriva (Unix) där för filer som bara har [LF] för nyrad. 47

12 LABORATION 4: TECKENKODNINGAR Uppgift 4.37 Hur lyder den första raden i uppror.txt som innehåller texten»special«? Ge kommando som tar fram detta, samt kommandots resultat. Kontrolltecken i Emacs Kopiera /local/kurs/ids/djur.txt till din kurskatalog och öppna den i Emacs. Där står två kolumner med djurnamn med ett TAB-tecken mellan sig. I den sista raden är första ordet så långt så att andra kolumnen visas längre till höger, men där som på de övriga raderna är det bara ett TAB-tecken mellan kolumnerna. Med cut -f 2 djur.txt får du ut bara de svenska namnen. Skriv till»fox«+ TAB +»räv«. Uppgift 4.38 Hur många TAB-tecken lades in när du tryckte på TAB? Uppgift 4.39 Ge exempel på något cutkommando som nu inte ger önskat resultat. Ny rad: Skriv»ringed seal«+ TAB +»vikare«. Ny rad: Skriv»bat«+ TAB +»fladdermus«. Uppgift 4.40 Vad lade Emacs in när du tryckte på TAB dessa två gånger? Emacs vet inte att detta var tänkt att bli en fil med TAB-kolumner, utan gör som den brukar med TAB-tangenten, dvs. går fram till»nästa ställe«oavsett hur många tecken som den behöver lägga in i bufferten för att komma dit. Uppgift 4.41 TAB är ett kontrolltecken. Hur kan du skriva för att verkligen lägga in detta tecken i en fil ändå? Fixa till så att alla rader stämmer och kolla så att cut -f 2 djur.txt ger alla svenska namn (och inget annat). Figur 4.9: Ett par vikare, tagna från Wikipedia, som i sin tur har tagit bilden från The Fisheries and Fisheries Industries of the United States av George Brown Goode (1887). Uppgift 4.42 Om du använder det där Emacskommandot för att lägga in ett godtyckligt tecken (som t. o. m. kan vara ett kontrolltecken) i en buffert till att lägga in RET (retur), hur visas det tecknet då i bufferten? Uppgift 4.43 Varför just så? Var står det om detta i kompendiet? Uppgift 4.44 Tryck M-x i Emacs. Då hamnar du i minibufferten och får skriva namnet på ett Emacskommando där. Skriv»whitespace-mode«(du kan använda komplettering) och avsluta med RET. Vad verkar detta ha för effekt? Snart slut Uppgift 4.45 Vad är det för versionsnummer på den senaste versionen av Unicode? När kom den? Ge nåt exempel på något som är nytt i den versionen. (Slå upp på nätet.) Uppgift 4.46 Klipp ut de engelska namnen från din djur.txt och översätt dem till något annat språk med gtrans. Klipp även ut de svenska namnen och översätt dem till samma språk. Ange såväl dina kommandon som deras resultat. Fick du samma resultat? Uppgift 4.47 Ge ett skalkommando som lägger texten»räksmörgås«i en ny fil shrimp.txt kodad enligt Latin-1. Om du gjort rätt ska du kunna t. ex. kunna titta på den på samma sätt som i uppgift Uppgift 4.48 Hitta på en uppgift som kan lösas genom att kombinera minst två kommandon som vi har haft med hittills i ett rör. Lös din egen uppgift. Om du vill kan du använda dig av vilka filer som helst i din kurskatalog eller i /local/kurs/ids/ som input. (Trots att detta kapitel handlar om teckenkodningar behöver den sista uppgiften inte ha med sånt att göra.) Uppgift 4.49 Om man bara tittar på de första hundra raderna i rummet.words, vilka är då de sista fem orden där i svensk bokstavsordning? Ge skalkommando och resultat. Uppgift 4.50 Hur många tecken är det på den näst sista raden i /local/texts/jabberwocky? Ge skalkommando och dess resultat. Uppgift 4.51 Räkna för hand också för att se att din lösning till förra uppgiften stämmer. Hm, är det inte ett ifrån? Hur kommer det sig? 48