Teckenrepresentation. Kapitel Teckenkoder. 4.2 Att ange teckenkodning 4.3 ASCII

Transkript

1 Kapitel 4 Teckenrepresentation 4.1 Teckenkoder När en vanlig text (plain text) lagras i en fil eller ska föras över mellan datorer eller program måste en viss teckenkodning användas, dvs. ett sätt att ge varje tecken en numerisk kod. Ofta innebär detta att varje tecken lagras i en byte och att koden därför är ett värde från 0 till 255, men för teckenkodningar med många tecken kan det krävas fler bytes för ett tecken. 4.2 Att ange teckenkodning Det finns många olika teckenkodningar, vilket kan ställa till problem. På samma system (i samma operativsystem; i samma program) använder man oftast samma teckenkodning genomgående och råkar inte ut för några problem. Trycker man på en tangent som det står Å på får man naturligt nog ett tecken Å på skärmen och sparar man det i en fil så kommer samma tecken fram nästa gång man tittar på det. Det besvärliga kommer istället när man ska föra över data mellan system som använder olika teckenkodningar. Då finns det risk för att den kod man skickar iväg som betyder Å i ens egen system betyder nåt annat på det andra systemet. Det är därför viktigt a) att man använder en teckenkodning som mottagande system känner till, och b) att man talar om vilken teckenkodning man har använt. Då får mottagaren(s system) möjlighet att tolka informationen rätt. Oftast fungerar sånt automatiskt. Detta görs med standardiserade beteckningar för olika teckenkodningar, och det är organisationen IANA (Internet Assigned Numbers Authority) som håller i dessa beteckningar, precis som de håller i ett antal liknande standarder som används på Internet. I flera sammanhang när text skickas över nätet, t. ex. för datorpost och över webben, så används dessa standardiserade beteckningar, så istället för att bara texten skickas över så skickas det även med en bruksanvisning som talar om vad det är för slags text så att mottagaren vet hur det ska tolkas. Normalt så är detta inte något man behöver tänka på, utan det ordnar sig automatiskt, men ni ändå då och då stöta på tillfällen när ni måste kunna hantera detta. 4.3 ASCII En traditionell teckenkodning med stor genomslagskraft är ASCII (American Standard Code for Information Interchange). Hos IANA kan den bland annat kallas ASCII eller US-ASCII. (Det finns ofta flera IANA-namn på samma teckenkodning.) Den omfattar koder från 0 till 127 och visas i figur 4.1. ASCII är en amerikansk och internationell standard från 1960-talet (dagens version är i praktiken ekvivalent med den från 1968) som snabbt antogs av de flesta 1 och fortfarande används ofta. Observera att ASCII-koderna går från 0 127, medan det i en byte finns plats för dubbelt så många värden (256). Det är därför lätt att göra utökningar av ASCII med fler tecken och ändå få rum med ett tecken per byte, och det finns också en stor mängd sådana utökningar där även koderna har fått tecken tilldelade sig. I många fall kan man höra 1 Ett viktigt undantag var IBM som länge istället använde sina egna EBCDIC-teckenkodningar. 41

2 4. TECKENREPRESENTATION 32 33! 34 " 35 # 36 $ 37 % 38 & 39 ' 40 ( 41 ) 42 * , / : 59 ; 60 < 61 = 62 > 63? 65 A 66 B 67 C 68 D 69 E 70 F 71 G 72 H 73 I 74 J 75 K 76 L 77 M 78 N 79 O 80 P 81 Q 82 R 83 S 84 T 85 U 86 V 87 W 88 X 89 Y 90 Z 91 [ 92 & 93 ] 94 ^ 95 _ a 98 b 99 c 100 d 101 e 102 f 103 g 104 h 105 i 106 j 107 k 108 l 109 m 110 n 111 o 112 p 113 q 114 r 115 s 116 t 117 u 118 v 119 w 120 x 121 y 122 z 123 { } 126 ~ 127 DEL Figur 4.1: ASCII-tecken Kod 32 är mellanslag. Kod 127 är inte ett egentligt tecken utan»kontrolltecknet«delete. Även kod 0 till 31 är olika kontrolltecken som inte visas ovan. även sådana teckenkodningar kallas för ASCII eller»extended ASCII«. Det blir lätt förvirring med teckenkoder om samma namn används om flera olika saker så kalla bara ASCII för ASCII och använd specifika namn för de olika utökningar av ASCII som finns! 4.4 Kontrolltecken och nyrad Kontrolltecken är sådana tecken som inte motsvarar något grafiskt tecken som kan skrivas ut på papper eller på en skärm, utan istället är en kod som har någon särskild annan betydelse när en text lagras i en fil, när tecken ska skickas från en terminal till en dator eller från en dator till en terminal eller liknande. I ASCII är tecken 0 31 samt 127 kontrolltecken. Ett exempel är tecken 7, [BEL] = Bell, med beskrivningen A control character that is used when there is a need to call for attention; it may control alarm or attention devices. Om man skickar tecken nummer 7 till en terminal så kan den svara med att plinga eller tuta. Normalt lagrar man inte detta tecken i sina textfiler. De flesta av dessa kontrolltecken används nästan inte alls (längre). Några som har effekten att flytta på markören är bland de mest använda, framför allt: 9, [HT] = Horizontal tabulation:»advances the active position to the next pre-determined character position on the same line«(= TAB) 10, [LF] = Line feed:»advances the active position to the same character position of the next line«12, [FF] = Form feed:»advances the active position to the same character position on a predetermined line of the next form or page«13, [CR] = Carriage return:»moves the active position to the first character position on the same line«med beskrivningarna ovan behövs två tecken för att en text ska fortsätta på början av nästa rad: [CR] och [LF]. [CR] (vagnretur) för att börja skriva på början av raden och [LF] (radframmatning) för att gå fram till nästa rad. Konventionellt ges dessa i just den ordningen [CR] + [LF] och kombinationen kallas ibland tillsammans för CRLF. I Unix används dock bara ett tecken, [LF], för att börja på en ny rad, så man har tolkat om detta teckens betydelse. MS Windows använder däremot det traditionella [CR]+[LF] och det brukar även krävas vid kommunikation mellan datorer på nätet. 2 Dessutom är det vanligt i en del sammanhang att en sådan kod som ursprungligen används för att beteckna ny rad (oavsett vilken variant man använder) istället används för att indikera nytt stycke. Dessa skillnader gör att vanliga textfiler faktiskt kan skilja sig åt mellan olika system även om båda använder ASCII. Kontrolltecknet [HT] ovan kallas oftare för TAB och har en egen tangent på tangentbordet. Ett annat kontrolltecken som har en egen tangent är [ESC] (tecken 27) som används till många olika saker. I övrigt kan man skicka kontrolltecken från terminalen genom att använda Ctrl-tangenten. Med Ctrl-A skickar man tecken 1, Ctrl-B ger tecken 2, osv., och i en del sammanhang betecknas dessa tecken med ^A, ^B osv. Eftersom G är den sjunde bokstaven är alltså ^G tecken 7, dvs. [BEL] (tuttecknet). 2 I Mac-världen används förr istället endast [CR] för denna funktion, men eftersom Mac OS X är en Unix så använder moderna Mac-datorer också [LF]. 42

3 ISO = UCS Unicode 4.5 ISO 8859-* Eftersom ASCII har fått sådan genomslagskraft kan man vara rätt säker på att A är kodat som 65, B som 66 osv. som i figuren i nästan alla sammanhang, trots att detta egentligen är rätt godtyckligt och hade kunnat vara på något annat sätt. Men i ASCII finns bara ungefär de tecken som finns på en amerikansk skrivmaskin. När det gäller andra tecken kan man var inte vara lika säker, och det finns en mängd olika teckenkodningar att välja på med olika uppsättningar tecken i. Den internationella standardiseringsorganisationen ISO har definierat en serie standardiserade teckenkodningar ISO , ISO ,... ISO , och några av dessa, i synnerhet den första, används mycket. Hos IANA finns dessa registrerade som ISO , ISO osv. De är alla utökningar av ASCII, dvs. är ekvivalenta med ASCII för kod 0 till 127. Dessutom använder alla tecken till kontrolltecken 4 och tecken 160 till NBSP = non-breaking space, ett hårt mellanslag där det inte får bli radbrott. Det är alltså bara koderna som skiljer de olika teckenkodningarna åt. Första halvan av ISO är alltså identisk med US-ASCII och därefter följer en del kontrollkoder. I figur 4.2 visas det som återstår. Hela ISO 8859-serien ser ut så här: ISO (Latin1) västeuropeiska språk ISO (Latin2) central- och östeuropeiska språk med latinska alfabet (med t. ex. Ł, ś, ž) ISO (Latin3) sydeuropeiska språk ISO (Latin4) nordeuropeiska språk ISO kyrilliskt alfabet ISO arabiskt alfabet ISO grekiskt alfabet ISO hebreiskt alfabet ISO (Latin5) turkiska ISO (Latin6) nordiska språk ISO thai ISO (Latin7)»Baltic rim«3 Utom ISO som inte finns. 4 Strikt sett finns det en skillnad. ISO-standarderna ISO osv. definierar bara skrivbara tecken och inga kontrolltecken, men i det som IANA kallar ISO osv. är även ett antal kontrolltecken definierade. ISO (Latin8) keltiska språk ISO (Latin9) en revidering av Latin1 ISO (Latin10) sydösteuropeiska språk Observera att de som är till för latinskt alfabet även kallas Latin nummer, i synnerhet är Latin1 = ISO Observera även att eftersom alla dessa innehåller hela ASCII så finns sådant som de latinska bokstäverna A Z även i de teckenkodningar som framförallt är till för helt andra alfabeten. 4.6 ISO = UCS Unicode Om man vill använda t. ex. såväl hebreiska som ryska tecken i samma fil så duger inte någon av ovannämnda teckenkodningar. Det finns andra språk som ingen av dessa duger till, eftersom ISO-8859-serien bara är till för språk med alfabetiska skriftsystem. Där finns t. ex. inte stavelsetecken som hangul för koreanska eller hiragana och katakana för japanska, och framförallt finns där inte ideografiska tecken. Det finns tusentals ideografiska han-tecken för kinesiska, japanska och koreanska. Numer så används teckenkodningen Unicode allt mer, med vilken det är tänkt att man ska kunna beteckna alla naturliga språk (levande och döda), samt dessutom en stor mängd matematiska och andra symboler. Egentligen finns det två olika projekt: Det ena är en standard från standardiseringsorganisationen ISO: UCS = Universal Character Set, eller ISO Det andra är Unicode från ett konsortium av datorföretag. De båda standarderna har dock anpassat sig till varandra, så i de flesta bemärkelser är det numer samma sak och det är Unicode som det oftast talas om. Nuvarande versionen Unicode 5.0 har cirka koder (däribland över ideografiska tecken) Standarden utökas allteftersom med nya tecken. (I version 5.0 tillkom t. ex. balinesisk och fenicisk skrift.) Det finns plats för drygt en miljon tecken. Koderna är som för Latin1 (så är som för ASCII). Koderna upp till kallas för Basic Multilingual Plane (BMP), och där ligger det som används oftast. Högre koder används mest till lite ovanligare ideografiska tecken och.utdöda skriftsystem. 43

4 4. TECKENREPRESENTATION ª 171 « ± µ º 187» 188 ¼ 189 ½ 190 ¾ À 193 Á 194  195 à 196 Ä 197 Å 198 Æ 199 Ç 200 È 201 É 202 Ê 203 Ë 204 Ì 205 Í 206 Î 207 Ï 208 Ð 209 Ñ 210 Ò 211 Ó 212 Ô 213 Õ 214 Ö Ø 217 Ù 218 Ú 219 Û 220 Ü 221 Ý 222 Þ 223 ß 224 à 225 á 226 â 227 ã 228 ä 229 å 230 æ 231 ç 232 è 233 é 234 ê 235 ë 236 ì 237 í 238 î 239 ï 240 ð 241 ñ 242 ò 243 ó 244 ô 245 õ 246 ö ø 249 ù 250 ú 251 û 252 ü 253 ý 254 þ 255 ÿ Figur 4.2: Tecken i ISO Tecken 160 är nbsp = non-breaking space. Tecken 173 är shy = soft hyphen en möjlig avstavningspunkt där - ska visas om det blir avstavning där, men som annars inte syns. Förutom den numeriska koden innehåller Unicode även bland annat Ett namn för varje tecken (som LATIN CAPI- TAL LETTER A WITH RING ABOVE, ARABIC QUESTION MARK och ORIYA DIGIT SEVEN) Information om vad för slags tecken de olika tecknen är (alfabetiska, siffror, interpunktion,... ) Information om vilka tecken som skrivs från höger till vänster och vilka som skrivs från vänster till höger Information om vilka tecken som motsvarar varandra som små och stora bokstäver Kombinerande tecken I Unicode finns kombinerande tecken som kombineras med föregående tecken, genom att ge det en accent. Exempel: a +. = ạ a + ˇ = ǎ a + + ˇ = ˇá Dessutom finns det en del färdiga hopsatta tecken. För att lagra ä kan man använda tecken nummer 228 (LATIN SMALL LETTER A WITH DIAERE- SIS) eller två»tecken«efter varann: tecken 97 (LATIN SMALL LETTER A) tecken 776 (COMBINING DIAERESIS) Tecknen får kombineras hursomhelst, så det går att med Unicode skriva t. ex.. som tecken 8240 (PER MILLE SIGN) följt av tecken 803 (COMBINING DOT BELOW), trots att något sådant tecken troligen inte har använts tidigare i något språk Att lagra Unicode i filer Eftersom det finns långt fler än 256 tecken krävs det flera bytes per tecken. Detta är ett skäl till att Unicode är besvärligare att hantera än t. ex. ASCII och Latin1. För att spara utrymme så lagrar man ofta Unicode-text på ett sådant sätt så att olika tecken tar olika mycket plats att lagra. Några av sätten att lagra Unicode-text är följande: UTF-32 fyra bytes per tecken UTF-16 två bytes per tecken för BMP, fyra annars UTF-8 en byte per tecken för ASCII, två till fyra för övriga UTF-32 Med UTF-32 lagras alla tecken i fyra bytes var. Det är på sitt sätt enklast att hantera eftersom alla tecken behandlas lika, oavsett om det är ett A eller ett fornpersiskt tecken, men eftersom det oftast är ett stort slöseri med utrymme så används det inte så mycket. UTF-16 Med UTF-16 används oftast bara hälften så mycket utrymme som för UTF-32, dvs. två bytes per tecken. Det är bara om något ovanligare tecken är med (som inte finns i BMP) som det kräver fyra bytes. En extra komplikation är att det finns två möjligheter för i vilken ordning dessa två bytes ska lagras. Dessa kallas UTF-16BE och UTF-16LE. (BE = Big- Endian. LE = Little-Endian.) Så om man ska lagra t. ex. ett eurotecken (C) som har koden så delas den upp i 32 och 172 eftersom = Med UTF-16BE lagras detta som 172, 32 och med UTF-16LE som 32, 172. I filer som bara sägs vara UTF-16 ska det finnas en särskild markör som talar om vilken av de två varianterna som används. 44

5 Microsoft Windows UTF-8 Här har man tagit idén att koda de vanligare tecknen kortare ännu längre: Kod 0 127: 1 byte (ASCII) Kod : 2 bytes Kod : 3 bytes Kod : 4 bytes (utanför BMP) Om en fil bara innehåller ASCII-tecken (kod 0 127) så blir det alltså precis likadant med US-ASCII som med UTF-8. Endast koderna används i flerbyteskombinationerna, så varje förekomst av t. ex. kod 65 i ens fil är samma ASCII-tecken (A). Kommunikation över Internet använder allt oftare UTF-8. Om man ser text som ser ut»sã hã r«så är det på grund av trassel med teckenkodning. Så ser UTF-8-text ut om den tolkas som Latin1. Observera att bokstäverna a z ser likadana ut (de ingår ju i ASCII) medan åäö lagras i två bytes var med UTF-8 och dessa två bytes har här felaktigt tolkats som något helt annat. 4.7 Vad är olika tecken? Det är inte i första hand det grafiska utseendet som avgör vad som ska räknas som varianter av samma tecken eller som ska räknas som olika tecken. T. ex. är a och a samma tecken (I Unicode LATIN SMALL LETTER A, tecken 97) trots att de ser olika ut. Däremot är svenska A och grekiska A olika tecken (tecken 65: LATIN CAPITAL LETTER A respektive tecken 913: GREEK CAPITAL LETTER ALPHA) trots att de (beroende på typsnitt) kan se likadana ut. (Att de är olika märks om inte annat på motsvarande gemena bokstäver a och α.) Samma tecken kan också se olika ut i olika positioner i texten. Ett f följt av ett i blir t. ex. ofta en sammanhängande ligatur fi (se på nära håll!), men det räknas ändå som två olika tecken. Många arabiska tecken har olika former beroende på om de kommer i början, mitten eller slutet av ett ord. Termen glyf används ibland för ett specifikt grafiskt utseende, till skillnad från den mer abstrakta termen tecken. quote quote Figur 4.3: Hur tecknen för startcitat och slutcitat skiljer sig åt skiljer sig i olika typsnitt. De två exemplen här är Helvetica och Palatino Flera tecken räknas som samma Är $ och Š två olika tecken eller är det två olika grafiska utseenden av samma tecken»dollar«? Det beror på. Med Unicode finns det möjlighet att göra alla åtskillnader som görs när man sätter text i tryck, men med t. ex. ASCII är det mer som att skriva på en skrivmaskin och då finns inte alls så många olika tecken. Där finns t. ex. bara ett tecken - trots att man i tryck skiljer på olika långa sådana streck t. ex. i abc-bok (kortare bindestreck) och kl (längre intervalltecken). Ett exempel som förtjänar särskild uppmärksamhet är citattecken. På t. ex. engelska så används olika citattecken före och efter citat. Det kan se ut like this eller like this. Hur skillnaden ser ut skiljer sig åt i olika typsnitt. I figur 4.3 finns ett par rätt olika exempel. På skrivmaskiner nöjde man sig dock med raka neutrala citattecken som skulle gå lika bra att använda både före och efter, och så är det i ASCII och t. ex. Latin1 också: "like this" eller 'like this'. (Citattecknen är tecken 34 och 39 i figur 4.1.) I ASCII finns det dock även grav accent (tecken nummer 96 i figuren). Ibland kan man stöta på text som använder den som citatstart så det är skrivet `like this'. Detta ser rätt skevt ut, och är inte att rekommendera, men förr fanns det en hel del fonter där tecknet ' inte var rakt, utan vinklat, så då såg det helt OK ut. En apostrof, som i»don t«är samma tecken som ett slutcitattecken. I Unicode beskrivs tecknet som RIGHT SINGLE QUOTATION MARK, men det görs ändå klart att detta är att föredra även för apostrof. På svenska används för övrigt detta tecken både före och efter citat: så här. 4.8 Microsoft Windows Microsoft har använt en del egna utökningar av ISO-8859-familjen. Den viktigaste av dessa är 45

6 4. TECKENREPRESENTATION windows-1252 som bygger på Latin1. Den innehåller alla skrivtecken som Latin1 gör, men ersätter en del av kontrolltecknen med ytterligare skrivbara tecken, t. ex. C,,, ž och Ÿ. Den kallas ibland även för WinLatin1, men windows-1252 är det enda namn för denna teckenkodning som Microsoft har registrerat hos IANA. I MS Windows-världen kallas denna teckenkodning märkligt nog ibland för»ansi«(såsom den amerikanska standardiseringsorganisationen American National Standards Institute), trots att det inte är någon ANSI-standard! Eftersom den liknar Latin1 så mycket finns det risk för sammanblandning. Ibland sprids dokument från MS Windows-världen med felaktiga etiketter som påstår att texterna är skrivna med Latin1 fast det egentligen är windows-1252 vilket kan ställa till med problem. I senare versioner används (en delmängd av) Unicode istället. 4.9 Språkinställningar En fil med vanlig text har i allmänhet ingen information i sig om vilken teckenkodning den använder. En fil med två bytes, 241 och 214, kanske är en Latin1-fil med texten»ñö«, eller kanske en ISO fil med de grekiska bokstäverna»ρφ«eller kanske en ISO fil med de kyrilliska bokstäverna» ж«5 eller något helt annat! Program som gör något med textfiler måste ofta veta vilken teckenkodning de är lagrade med. Om sort ska kunna sortera en fil med en sådan rad så spelar det ju t. ex. roll om första tecknet där är ñ vilket antagligen ska sorteras likadant som n. Dessutom måste de ibland veta vad det är för språk för att rätt kunna behandla en text. Dessa inställningar kallas för ens locale och man har standardinställningar för detta som gäller om man inte säger till om annat. Dessa inställningar kan även ändra vilket språk program ska använda i sin output ifall programmet har översatts till flera olika språk. Programmet läser av användarens språkinställningar och ändrar beteende utifrån det. Ibland kan det vara så att ett program bara delvis är översatt så att vissa texter fortfarande kommer 5 Vilket betyder igelkott på ryska! att vara oöversatta. De som skriver programmet har kanske lagt till en ny meny som de andra personer som översätter alla dess texter till svenska inte har hunnit översätta än, och då får just den menyn en engelsk text även när övriga är på svenska. Tycker man att en sådan blandning är störande kan det vara trevligast att köra på engelska som det är från början. En annan fördel med engelska är att det är så vanligt. Om man råkar ut för ett konstigt felmeddelande som man inte begriper kan det ofta vara instruktivt att söka på nätet efter andra som har råkat ut för samma fel. Om man då söker på den engelska versionen av meddelandet är det oftast störst chans att man hittar sådant Språkinställning i Gnome Om du normalt vill att datorn ska prata svenska med dig (eller något annat språk) så kan du ställa om språk från inloggningsrutan innan du loggar in. (Du får en fråga om det bara är under just denna inloggning du vill använda detta språk eller om du vill ändra så att detta blir det normala för dig.) Hur en locale ser ut En angivelse av locale kan se ut i stil med pt_br.iso vilket betyder brasiliansk portugisiska kodat enligt Latin1. Både språk och land anges alltså. Några exempel: sv_se : Svenska i Sverige sv_fi : Finlandssvenska en_gb : Brittisk engelska en_za : Sydafrikansk engelska es_es : Spanska i Spanien es_ar : Spanska i Argentina fr_ca : Franska i Kanada zh_cn : Kinesiska i Kina zh_tw : Kinesiska i Taiwan Och så kan till detta tillkomma en punkt och en teckenkodning, t. ex..iso eller.utf-8. (Det finns även locales som har andra slags namn.) Dessa tvåbokstaviga förkortningar för språk och länder 6 kommer från standarder som används i många sammanhang. Landskoderna kan man t. ex. känna igen från toppdomänerna på Internet där 6 Och ibland även andra regioner än länder. 46

7 Språkinställningar Tabell 4.1: Koder enligt ISO för några av världens och Europas största länder, samt de nordiska länderna AT BD BE BR BY CN CZ DE DK EG ES ET FI FR GB GR HU ID IN IR Österrike Bangladesh Belgien Brasilien Vitryssland Kina Tjeckien Tyskland Danmark Egypten Spanien Etiopien Finland Frankrike Storbritannien Grekland Ungern Indonesien Indien Iran IS IT JP MX NG NL NO PH PK PL PT RO RS RU SE TH TU UA US VN Island Italien Japan Mexiko Nigeria Nederländerna Norge Filippinerna Pakistan Polen Portugal Rumänien Serbien Ryssland Sverige Thailand Turkiet Ukraina USA Vietnam Tabell 4.2: Koder enligt ISO för några språk med många talare i världen, Europa, Norden eller Sverige ar bn bs da de en es fa fi fr gr hi hu is it ja arabiska bengali bosniska danska tyska engelska spanska persiska finska franska grekiska hindi ungerska isländska italienska japanska ku nb nl nn no pl pt ru se so sr sv tr xy yi zh kurdiska bokmål nederländska nynorska norska polska portugisiska ryska nordsamiska somaliska serbiska svenska turkiska kroatiska jiddisch kinesiska.se är Sverige osv. 7 I tabell 4.1 återges en del av landskoderna och i 4.2 en del av språkkoderna. Dessa standarder är reglerade av den internationella standardiseringsorganisationen ISO. I många fall spelar det ingen roll vilket land man anger. Det är nog t. ex. knappast många program som beter sig olika om man har talat om att man vill ha rikssvenskt eller finlandssvenskt beteende. Det betyder inte att man kan sätta ihop lands- och språkbeteckningar hur som helst i en locale. Med kommandot locale -a listas alla giltiga locales Att sätta om locale temporärt Med LANG= locale kommando kan man utföra ett kommando med en annan locale än ens normala. Så t. ex. $ LANG=fr_FR.utf8 ls x ls: x: Aucun fichier ou répertoire de ce type $ LANG=es_ES.utf8 cal octubre 2007 do lu ma mi ju vi sá $ LANG=fi_FI.utf8 wc *.txt ivt2-svenska.txt rummet.txt wonderland.txt yhteensä Observera hur både vanlig output och felmeddelanden kommer på det angivna språket. (Kommandot cal ger en liten kalender.) Sortering Hur text ska sorteras är språkspecifikt. På svenska sorterar vi åäö i slutet av alfabetet, medan t. ex. tyskarna som också använder ä och ö sorterar dessa som a och o. I uppgift 3.5 sorterade du svenska ord men eftersom dina språkinställningar var engelska så fick 7 I det sammanhanget används dock inte förkortningen GB för Great Britain, utan.uk för United Kingdom, och.us används inte så mycket. 47

8 4. TECKENREPRESENTATION du en engelsk sortering där åäö sorteras som aao utan avseende på på prickarna och ringen ovanför, precis som vi sorterar tecken som éèêë likadant som vanligt e. Genom att sätta om LANG ändras även dock även hur sort sorterar. Här sorteras samma rader två gånger, först på svenska och sedan på engelska: $ LANG=sv_SE.utf8 sort /tmp/fil citron zebra åsna äpple $ LANG=en_US.utf8 sort /tmp/fil äpple åsna citron zebra Sorteringsreglerna kan vara rätt komplicerade. Vissa tecken ska behandlas likadant som andra. Vissa tecken ska ignoreras helt. Ibland ska vissa teckenkombinationer behandlas särskilt. Traditionellt har t. ex. ch sorterats som en särskild bokstav på spanska och inte som c+h. 8 När meningen med sortering bara är att föra samman likadana rader (t. ex. som ett förberedande steg före uniq) är det onödigt att använda så komplicerade sorteringsregler som naturliga språk ofta har. Då kan man använda en särskild locale»c«vilket ger enklast möjliga sortering. Raderna jämförs bara tecken för tecken enligt vilka numeriska koder dessa tecken har. (Det innebär t. ex. att stora och små bokstäver sorteras olika.) Om det är en stor fil kan man märka att en sådan sortering kan gå mycket snabbare När använda detta? I de flesta fall kommer du inte behöva bry dig om dessa språkinställningar. Du kommer knappast ha nån nytta av att köra wc på holländska en specifik gång så att det står»totaal«i summeringsraden istället för»total«, utan det räcker med att en gång för alla tala om vilket språk du ha. Ett viktigt undantag är sortering. Du bör tänka på hur sorteringar sker och veta hur du kan ställa 8 Detta ändrades dock vid en reform om LANG för att få olika sorteringar, inklusive den rent»datoriska«med LANG=C som inte tar hänsyn till något särskilt språks sorteringsregler. Det gäller förstås också att sätta teckenkodningen rätt! Om en fil är lagrad i Latin1 betyder det bl. a. att koden 224 där betyder à och att koden 227 betyder ã. (Se figur 4.2!) Om dessa tecken ska sorteras likadant så måste sort till att börja med veta teckenkodningen. Annars har den ingen anledning att behandla 224 och 227 likadant Hur ett skalkommando ser ut Med denna nya ingrediens i skalkommandona är vår nuvarande sanning om hur de ser ut så här: Ett helt kommandorör består av en mängd kommandon avskilda av lodstreck ( ). Det sista kommandot kan följas av > filnamn. Varje individuellt kommando i ett sådant kommandorör kan enligt tidigare se ut som kommandord väljare argument, men dessutom kan det alltså tillkomma LANG= nånting i början. Detta hör då bara till just det kommandot och inte till ett helt kommandorör. Om man i ett längre kommandorör vill ha en sortering med t. ex. locale C blir det alltså... LANG=C sort... och det är då bara sort som körs med annan locale än den normala Olika teckenkodningar i Emacs Emacs använder en egen teckenkodning internt och kan läsa och skriva filer med flera olika teckenkodningar. Ofta kan den gissa rätt på vilken teckenkodning en viss fil är skriven med. Alla buffertar i Emacs får innehålla vilka tecken som helst som Emacs kan hantera. Det är först när man försöker spara en fil som det krävs att alla tecken i bufferten finns med i den teckenkodning som man ska spara filen med. Om det inte är så talar Emacs om detta och låter en välja en annan teckenkodning. Man kan också tala om explicit vilken teckenkodning man vill använda innan man sparar genom att använda C-x RET f. Till vänster i informationsraden anger Emacs vilken teckenkodning som i första hand ska användas när en viss buffert sparas till fil (1 = ISO , u = Unicode,... ). 48

9 Hos oss Detta kommando finns även i en meny Options Mule (Multilingual environment) Set Coding Systems, där det även finns besläktade kommandon, t. ex. för att tala om uttryckligen vilken teckenkodning en fil har ifall Emacs gissar fel Att konvertera mellan teckenkodningar Ett program som konverterar mellan teckenkodningar är iconv. Det kan användas som iconv -f latin1 -t utf-8 foo.txt för att konvertera filen foo.txt från Latin1 till UTF8 och skriva ut resultatet till standard output. Om man utelämnar argumentet tas input istället från standard input. Man kan ange namn på teckenkodningarna på lite olika sätt. Istället för»latin1«kan man skriva»iso «eller»iso8859-1«. I en del andra program kan man kalla det för»latin-1«, men det går inte här, så helt standardiserat är detta inte. kombinationstangenten, x, x får man t. ex. multiplikationstecknet Hos oss På våra GNU/Linux-datorer har vi använt Latin1 som den normala teckenkodningen tills i somras då vi gick över till UTF-8. Har man inte ändrat så är ens standard-locale en_us.utf-8, dvs. amerikansk engelska kodad med UTF-8. Bara för att man har en viss locale som standard så hindrar det inte en från att även hantera filer med andra teckenkodningar, och ni kommer att märka att många textfiler hos oss fortfarande är lagrade med Latin Att skriva tecken På tangentborden i datorsalarna fungerar en del tangenter som döda tangenter (modifierartangenter) för diakritiska tecken som t. ex. é, è, ê, ë och ẽ. Man trycker först på den döda tangenten och sen på bokstaven. Det innebär att för att skriva ` ~ ^ som självständiga tecken får man lov att trycka på mellanslag efter en av dessa döda tangenter. (De övriga tecknen som man får med mellanrum efter en modifierartangent är lätta att skriva ändå.) AltGr (= Alternate Graphic kan kombineras med en mängd tangenter för att ge andra tecken. Många av dessa står till höger på den tangent det gäller, men det finns andra också, som t. ex. µ på AltGr + m. Tangenten med en menysymbol till vänster om den högra Ctrl-tangenten används hos oss som kombinationstangent. Den kallas Multi_key eller Compose. Genom att först trycka på den och sen på två andra tangenter efter varann kan man producera ytterligare tecken. Följd av»ae«ger den»æ«; följd av»c,«ger den»ç«; osv. Det går ofta att gissa vilka tecken man ska kombinera. I flera fall får man något som kan ses som en variant av ett visst tecken genom att kombinera det med sig självt. Med 49

10

11 Laboration 4: Teckenkodningar Redovisning Skapa en ny underkatalog till din IDS-katalog för denna labb. Du kan kalla den t. ex. labb4 eller tecken eller nåt sånt beroende på vad du tycker passar. Själva IDS-katalogen har ni tidigare varit ombedda låta ligga där den låg med det långa otympliga namn den hade, för rättningens skull, men vill du så får du byta namn på den eller flytta den nu. Kanske vill du ha det så att du har en underkatalog för kurser med olika underkataloger för varje kurs du går. Då skulle en katalog som du har ids-filer i kunna heta t. ex. ~/kurser/ids eller ~/Kurs/IDS eller nåt liknande. Eller så kanske du vill ha de olika kurskatalogerna direkt under din hemkatalog, som ~/IDS eller liknande. Det är upp till dig. Men denna labb ska utföras i den nyskapade underkatalog som nämndes ovan, vad nu dess namn än är. Följ följande tre regler: 1. Lägg alla nya filer som du skapar under denna labb i denna katalog 2. Använd den katalogen som aktuell katalog i alla kommandon du ger 3. Tala om vad katalogen heter i din labbrapport (hela namnet) Skicka svar till Per senast den fredagen den 12 oktober. Tecken och bytes, samt Info Hittills har du bara räknat ord och rader med wc, men det kommandot kan även räkna tecken. Väljaren -c har traditionellt använts till detta, men eftersom den funnits med sedan urminnes tider så räknar den helt enkelt antal bytes i en fil. Uppgift 4.1 Ge ett kommando för att räkna antal bytes i din fil saga.txt samt resultatet. (Missa nu inte vad som står om aktuell katalog i reglerna under Redovisning ovan! Du ska inte stå i den katalog där sagan ligger.) Med moderna kodningar som UTF-8 kan antalet bytes och tecken skilja, och i GNU har wc fått en ny väljare som förstår sig på sånt och verkligen räknar tecken. Slå upp dokumentationen om wc i Info för att se vad den väljaren heter. (Slå upp det i Info även om du kommer på nåt annat sätt att ta reda på detta. Denna uppgift handlar mer om Info än om wc.) Första menyn i Info är stor att skumma igenom. I en liten meny är det ofta behändigt att klicka på rätt menyval, men här är det lite bökigt att söka upp wc för att klicka på det, så använd istället ett kortkommando från tangentbordet för att på det sättet välja wc. Uppgift 4.2 Hur är det kortkommandot för att välja nåt ur menyn i Info nu igen? Du kommer in mitt i ett större dokument om»gnu Coreutils«som är ett samlingsnamn på ett paket med en mängd standardprogram för text- och filhantering. Här står det bl. a. vad wc har för väljare. Uppgift 4.3 Denna nod i dokumentationen heter»wc invocation«. Vad heter noden som ligger ett steg upp i Info härifrån? Gå uppåt till översta noden (den heter»top«) i denna dokumentation för GNU Coreutils. Välj därifrån det andra menyalternativet. Uppgift 4.4 Vad heter det? 51

12 LABORATION 4: TECKENKODNINGAR Läs vad det står om i denna nod. En del är antagligen inte begripligt, men annat bör vara det. Uppgift 4.5 Berätta om nånting du läste där som du inte visste förut (eller i alla fall som inte tagits upp i kursen förut) men som du tycker var intressant eller tror du kan ha nytta av. (I nödfall, om inget var intressant, så ta nåt som Per nog skulle vilja att du tyckte var intressant :-) Nog med utvikning. Tillbaks till Info-noden om wc som du först slog upp. Använd kortkommandot för att backa (l) eller några gånger tills du är där. Uppgift 4.6 Här står också vad wc gör om man inte ger några väljare till det. Vad räknar det då? Uppgift 4.7 Hur kan du få fram en kortfattad beskrivning av wc i skalet som också bl. a. talar om vilka väljare det har? Ge kommandot och dess resultat. Uppgift 4.8 Ge ett kommando som räknar antal tecken i din saga.txt och vilket svar det ger. Uppgift 4.9 Hur stor skillnad blev det i bytes och tecken? Vad tyder det på? Diverse Ge ett eller flera skalkommandon för att lösa uppgifterna i detta avsnitt, samt de resultat som kommandona ger. Uppgift 4.10 Hur många rader lång är hjälptexten för tail? Kopiera filen /local/texts/jabberwocky till din labbkatalog. Uppgift 4.11 Hur många rader finns i den filen? Uppgift 4.12 Hur många ord finns i första raden av samma fil? Vilse i Info?: Om du villar bort dig i Info och behöver börja om där för att följa instruktionerna från början, så tryck d där för att gå tillbaks till toppnivån. Det finns ett kommando fgrep med vilket man kan ta fram rader i en text som innehåller en viss text. (Vi återkommer till detta och besläktade kommandon senare.) Uppgift 4.13 Lista de rader i jabberwocky som innehåller texten vorpal. Uppgift 4.14 Hur många rader i jabberwocky innehåller bokstaven b? Uppgift 4.15 Hur lyder den sista raden i jabberwocky som innehåller bokstaven c? Uppgift 4.16 Med locale -a kan man lista alla giltiga locales. Hur många sådana finns det? Uppgift 4.17 Vilka giltiga locales finns det som innehåller texten»us«? Uppgift 4.18 Vilka är de första femton filerna och katalogerna i alfabetisk ordning i katalogen /local? Teckenkodningar i Emacs I din hemkatalog finns en fil regler.txt med regler som gäller för datoranvändningen här. Uppgift 4.19 Ge ett skalkommando för att kopiera den till din labbkatalog. Gör sedan cat regler.txt för att se filens innehåll. En del tecken blir fel. Tydligen är den inte kodad enligt din normalkodning UTF-8. Öppna filen i Emacs. (Kopian du har gjort alltså inte originalfilen.) Emacs känner igen vad det är för teckenkodning och visar därför alla bokstäver rätt. Uppgift 4.20 Vad är det för teckenkodning och hur kan du se i Emacs att det är det? Använd C-x RET f för att ange vilken teckenkodning du vill att denna fil ska ha och svara utf-8. Spara filen. Du har nu omvandlat den filen till UTF-8. Kolla för säkerhets skull med cat regler.txt i terminalen också. Öppna /local/kurs/ids/rysk.txt i Emacs. Som man kan gissa av namnet så innehåller den en text på ryska med kyrillisk skrift. Emacs gissar dock fel på vad det är för kodning av den filen så tecknen ser inte alls ryska ut. 52

13 Olika locale Uppgift 4.21 Vad har Emacs gissat och hur kan du se det? I ett sånt här läge finns det ett särskilt kommando för att genast öppna om samma fil men då tala om vad det är för teckenkodning i den. Sök upp det kommandot i Emacs-menyerna bland kommandon som har med kodningssystem att göra. Använd det kommandot för att öppna om denna fil. Ange den teckenkodning i ISO 8859-serien som är till för kyrillisk skrift. Uppgift 4.22 Vad heter den teckenkodningen och hur visas den i informationsraden i Emacs? Uppgift 4.23 Sök upp första ordet i den filen i Google. En tidig träff är i ryska Wikipedia. I vänsterspalten i Wikipedia finns länkar till motsvarande sidor i Wikipedia till andra språk. Vad heter denna figur på svenska? Öppna härnäst filen /local/kurs/ids/small. txt. Här är det flera tecken som inte visas som det var tänkt. De visas som bakstreck (\) följt av en numerisk kod. Att det verkligen bara är ett tecken och inte flera kan du se genom att förflytta dig ett tecken i taget framåt eller bakåt genom dem. Det står nånting om latin-1 i texten. Normalt så har du sett att Emacs känner igen sånt av sig självt, men kanske inte i detta fall? Öppna om filen som en latin-1-fil istället. Uppgift 4.24 Hur skrev du för att göra det? Det torde bli klart läsligare, men inte helt. Uppgift 4.25 Det är ett tecken som fortfarande inte är rätt. Hur visas det i Emacs-bufferten nu? Det saknade tecknet var tänkt att vara ett C, som inte finns i latin-1! Uppgift 4.26 Vad verkar det då troligt att det är för teckenkodning i filen? Varför? Prova din gissning genom att öppna om filen på det sättet. iconv I /local/kurs/ids/stp.txt finns en kort text om språkteknologiprogrammet skriven i Unicode med kodningen UTF-16. Uppgift 4.27 Ge ett iconv-kommando för att skriva ut den kodad med UTF-8 i terminalen. (Denna gång behöver du inte ange resultatet.) Filen /local/kurs/ids/nordic-authors.txt innehåller namnen på några nordiska författare, listade en per rad med efternamn först. Uppgift 4.28 Vilken teckenkodning använder den filen? Uppgift 4.29 Ge ett skalkommando som sparar en ny fil authors.txt som innehåller /local/kurs/ ids/nordic-authors.txt omvandlad till UTF-8. Det finns en väljare till iconv som listar alla namn på teckenkodningar den känner till. Hitta den med --help. Uppgift 4.30 Ge ett kommando som räknar hur många namn på teckenkodningar iconv känner till, samt kommandots resultat. Uppgift 4.31 Ge ett kommando som konverterar /local/kurs/ids/small.txt till UTF-8 och sparar resultatet i din katalog som small8.txt. Olika locale Se noga upp med att du skriver locale-namnen rätt i dessa uppgifter! Skriver man fel blir det inget felmeddelande, utan bara ett felaktigt resultat! Uppgift 4.32 Ta fram aktuell tid (med date) med isländsk locale. Vad gav du för kommando och vad blev det för resultat? Uppgift 4.33 Ge ett kommando för att sortera din nya fil authors.txt. Uppgift 4.34 Ge ett kommando för att sortera denna lista med svensk locale! På svenska har traditionellt v och w sorterats som samma bokstav, men numer vacklar bruket. Senaste upplagan av Svenska Akademiens ordlista förespråkar att w sorteras för sig, som en egen bokstav, medan bl. a. Svenska språknämnden rekommenderar att man fortsätter att sortera samman v och w. 53

14 LABORATION 4: TECKENKODNINGAR Uppgift 4.35 Hur beter sig svensk sortering här vad gäller v och w? Uppgift 4.36 Ge ett kommando för att sortera samma författarlista med dansk sortering! Nämn alla skillnader som det blir då jämfört med svensk sortering! Kopiera /local/kurs/ids/rummet.words till din labbkatalog. Uppgift 4.37 Ge ett kommando som ger en lista över de tio sista orden i en svensksorterad lista över raderna i rummet.words, samt resultatet. Några rader där är dubbletter. Uppgift 4.38 Ge ett kommando som ger en lista över de tio sista orden i en svensksorterad lista över raderna i rummet.words där dubbletter tagits bort, samt resultatet. I den listan ska inga dubbletter finnas. (Däremot kan samma ordform finnas som två olika ordklasser. Då är ju raderna inte dubbletter!) Uppror! Upprop! är en science fiction-roman av pseudonymen Ferdinand Fitzschkloff. 9 Den sprids med författarens godkännande på uppror/ på webben. Gå dit i en webbläsare och välj (download) (långt ner på sidan) och sen Alla OCR-filer för att ladda ner en textfil uppror.txt med bokens innehåll. Dessa filer är skapade med OCR (Optical Character Recognition) från inskannade boksidor, så det kan ha blivit fel ibland. Om du inte sagt till om nedladdningsplats uttryckligen så har du lagt den filen i din katalog Desktop. Flytta den till din aktuella labbkatalog istället. Öppna så filen uppror.txt i Emacs. Precis efter det u på informationsraden som anger Unicode står här (DOS). Det visar att denna fil har nyradstecken à la DOS och MS Windows, dvs. med CRLF = Gunnar Gällmo. 10 Om man tittar på samma fil i Emacs under MS Windows skulle det inte stå nåt särskilt, för då skulle det vara det normala. Däremot skulle Emacs skriva (Unix) där för filer som bara har [LF] för nyrad. Genom att klicka med musen på detta»dos«så byter du vilken nyradskonvention du vill ha i filen. Prova det! Uppgift 4.39 Vad står det då istället för»dos«? Vad betyder det? Uppgift 4.40 Klicka igen. Då ska den parentesen helt försvinna och ersättas med bara ett kolon. Då har du ställt in att du vill ha normala nyrader (à la Unix) i den filen. Eftersom filen på disk inte är sån så räknas den bufferten som osparad. Spara den. Uppgift 4.41 Ge ett kommando som talar om hur många bytes det är både i din nya uppror.txt och den backupfil som skapades (som har kvar de gamla nyraderna). Ange även kommandots resultat. Uppgift 4.42 Hur lyder den första raden i uppror.txt som innehåller texten»special«? Ge kommando som tar fram detta, samt kommandots resultat. Mera Uppgift 4.43 (Din uppgift) Hitta på en uppgift som kan lösas genom att kombinera minst två kommandon som vi har haft med hittills i ett rör. Lös din egen uppgift. Övriga uppgifter är [*] -markerade, så om du kör fast på några kan du skippa dem och om du svarar fel så konstaterar jag bara det, men begär inte komplettering. Uppgift 4.44 [*] Ge ett skalkommando som lägger texten»räksmörgås«i en ny fil shrimp.txt kodad enligt Latin1. Uppgift 4.45 [*] Om man bara tittar på de första hundra raderna i rummet.words, vilka är då de sista fem orden där i svensk bokstavsordning? Ge skalkommando och resultat. Uppgift 4.46 [*] Hur många tecken är det på den näst sista raden i /local/texts/jabberwocky? Ge skalkommando och dess resultat. Uppgift 4.47 [*] Räkna för hand också för att se att din lösning till förra uppgiften stämmer. Hm, det blev ett ifrån väl? Hur kommer det sig? 54