Funktionsbeskrivning

Funktionsbeskrivning RB03 Städning av otillåtna tecken 2014-06-16 Ändringshistorik Datum Av Kommentar Godkännare 2012-12-18 Erik Wallenberg Nytt dokument - 2014-06-16 Thom Jönsson Bilaga för otillåtna teckenkombinationer -

Erik Wallenberg 2013-01-16 2 (13) Innehållsförteckning 1 BESKRIVNING AV FUNKTIONEN... 3 2 UPPDELNING TILL DELFUNKTIONER... 3 3 BEHÖRIGHETSANALYS... 4 4 PREFERENSSTYRNING... 4 4.1 SYSTEM- OCH ANVÄNDARPREFERENSER... 4 4.2 PERSONLIGA PREFERENSER (PERSONLIGA INSTÄLLNINGAR)... 4 5 UTSKRIFTER... 4 6 BILAGA 1 - FORMULÄR OCH HJÄLPTEXTER... 5 6.1 GB01A00G STÄDNING AV OTILLÅTNA TECKEN... 5 6.2 FUNKTIONSHJÄLP - BATCHBESTÄLLNING... 5 6.3 RB03A01G VILLKORSFORMULÄR... 7 6.4 FUNKTIONSHJÄLP - VILLKORSFORMULÄR... 7 7 BILAGA 2 - TILLÅTNA TECKEN I LADOK... 9 8 BILAGA 3 - EXEMPEL PÅ OTILLÅTNA TECKEN I LADOK... 10 9 BILAGA 4 - UNDANTAGNA TABELLER... 11 10 BILAGA 5 OTILLÅTNA TECKENKOMBINATIONER... 12 11 BILAGA 6 - TEKNISK BAKGRUND... 13

Erik Wallenberg 2013-01-16 3 (13) 1 Beskrivning av funktionen RB03 är en batchfunktion vars syfte är att söka ut och ta bort otillåtna tecken i Ladoks databas. Uniface tillåter inmatning av tecken som sedan kan skapa problem i LPW och PING. Det som orsakar dessa problem handlar i huvudsak om att Nouveau (Uniface) har haft en annan teckenuppsättning än databasen. Det innebär att tecken kan lagras i databasen på ett felaktigt sätt vilket sedan skapar problem när LPW/PING ska hantera dem. En ytterligare felkälla som kan lägga in otillåtna tecken är olika kringsystem vid lärosätet som skriver data direkt in i Ladoks databas, exempelvis utbildningsdatabaser. Exempel på otillåtna tecken är till exempel (eurotecken), (promille) och (varumärkessymbol). Vilka tecken som är tillåtna respektive otillåtna listas i bilaga 2 och 3. Mer information om den tekniska bakgrunden och lösningen finns i bilaga 4 som grundas på dokumentet https://jira.its.umu.se/secure/attachment/18482/120221_p477_tecken_its.pdf. RB03 kan söka igenom samtliga tabeller i Ladoks databas. Vissa tabeller är dock undantagna. Tabellerna ARKURS, ARHST, ARHPR och ARAGG undantas av prestandaskäl. Vidare undantas tabeller av karaktären skrivarinställningar och lösenord. RB03 går att köra i ett inspektionsläge och i ett uppdateringsläge. I inspektionsläget produceras en lista där de tabellrader som innehåller otillåtna tecken skrivs ut med det otillåtna tecknet markerat. Användaren kan då välja att hantera dessa poster manuellt eller att köra batchen i uppdateringsläget. För att underlätta en manuell hantering produceras även en lista med SQLsatser som kan tjäna som underlag om man vill göra ändringar direkt i databasen. I uppdateringsläget tas samtliga otillåtna tecken bort. En lista produceras över vilka tecken som tagits bort i vilka tabeller. RB03 går både att köra enstaka gånger eller att lägga som en stående körning. I beställningsformuläret kan användaren välja om alla tabeller ska kontrolleras eller ett urval av tabeller. Det går även att köra funktionen på en enstaka tabell om så önskas. Funktionen producerar listor efter avslutad körning samt ett mejl med körningsinformation. Körningsinstruktioner Den första gången RB03 körs bör man undvika att köra samtliga tabeller utan istället dela upp körningen. Om det finns många otillåtna tecken kan körningen annars eventuellt ta mycket lång tid. 2 Uppdelning till delfunktioner Funktionen har inga delfunktioner.

Erik Wallenberg 2013-01-16 4 (13) 3 Behörighetsanalys Behörighet styrs via behörighet till funktionen enligt vanlig Ladokstandard. 4 Preferensstyrning 4.1 System- och användarpreferenser Vad vill man styra Nyckelord Värde: Resultat Lägg till/ta bort ändra andras beställningar SUPER J : Alla användares beställningar kan ses N eller blank: bara egna beställningar kan ses Möjliggöra stående beställning EJSTAENDE J: stående beställning kan ej skapas N eller blank: stående beställning kan skapas 4.2 Personliga preferenser (personliga inställningar) Personliga preferenser går inte att ange men det urval av tabeller som man senast uppdaterat sparas som en personlig inställning och nästa gång man går in i RB03 ligger dessa tabeller som förslag. 5 Utskrifter Det produceras en resultatfil som listar de otillåtna tecken som hittats. Vidare så produceras en lista med SQL-satser som kan tjäna som ett underlag om man själv vill gå in och åtgärda otillåtna tecken direkt i databasen.

Erik Wallenberg 2013-01-16 5 (13) 6 Bilaga 1 - Formulär och hjälptexter 6.1 GB01A00G Städning av otillåtna tecken 6.2 Funktionshjälp - Batchbeställning Senast uppdaterad: 2007-11-07 Allmänt Här kan du lägga upp batchbeställningar. Välj beställning Du börjar med att fylla i beteckningen på den beställning du vill göra. Du anger därefter vilket tidigaste kördatum och vilken tidigaste körtid du vill att batchen skall startas. Därefter anger du om du vill att det skall vara en stående beställning, dvs. en batch som körs regelbundet. Du anger vilka dagar i veckan du vill att batchen skall köras. Om du inte kryssar för någon veckodag körs batchen endast en gång. Du kan även i beställningen markera om du vill att den skall ligga kvar efter att batchen är körd. Om man vill se alla beställningar på funktionen finns ett menyalternativ för detta.

Erik Wallenberg 2013-01-16 6 (13) Vill man inte att en körning skall göras av någon anledning så kan man sätta status till VILANDE, då görs inga körningar på den beställningen. Du kan lägga till och ta bort beställningarna via knapparna "Ny" och "Stryk". För att spara ändringar aktiverar du "Uppdatera". För att ändra i en befintlig beställning markerar du aktuell beställning i listan och ändrar aktuella parametrar under 'Ange din beställning'. För att spara ändringar aktiverar du "Uppdatera". Villkor Man kan normalt för varje batchbeställning gå in och specificera vilka villkor som skall gälla för den specifika beställningen. Detta görs genom att gå in i villkorsformuläret via villkorsknappen. Observera att det inte är tillåtet att använda villkor för vissa funktioner. Inställning För varje beställning går det normalt också att specificera olika inställningar. Till specificerad epost-adress skickas information om hur körningen gick. Till specificerad skrivare skickas ev. utskrifter direkt till skrivaren. Dessa två inställningar görs genom att gå in i inställningsformuläret via inställningsknappen. Hämta fil När en beställning är KLAR och det har genererats en fil så ligger filen på den server där batchen kördes. För att få tillgång till filen aktiverar man knappen "Hämta filer...". Ny bild öppnas där funktionalitet finns för hämtande av filer från server.

Erik Wallenberg 2013-01-16 7 (13) 6.3 RB03A01G Villkorsformulär 6.4 Funktionshjälp - Villkorsformulär Senast uppdaterad 2013-01-17 I detta formulär är det möjligt att ställa in de villkor som ska gälla för en körning av batchen RB03. Batchen utför städning av otillåtna tecken i valda tabeller. Vad som är otillåtna respektive tillåtna tecken specificeras i funktionsbeskrivningen. Batchen kan köras enstaka gånger eller som stående körning. Det går att köra på samtliga tabeller eller på ett urval av tabeller. Av prestandaskäl utesluts ett antal av bokslutstabellerna (ARtabeller) och även tabeller för skrivarinställningar och lösenord. I funktionsbeskrivningen finns de tabeller som undantas.

Erik Wallenberg 2013-01-16 8 (13) Den första gången RB03 körs bör högskolan inte köra samtliga tabeller utan dela upp körningen. Om det finns många otillåtna tecken kan körningen annars eventuellt ta mycket lång tid. RB03 har ett inspektionsläge och ett uppdateringsläge. Körs RB03 i inspektionsläge blir resultatet en lista med tabellnamn och tabellrader där de otillåtna tecken är markerade. Det produceras även en lista med SQL-satser om man själv vill utföra rättningarna. I uppdateringsläget raderas de otillåtna tecknen ur databasen. Även i uppdateringsläget produceras en lista efter avslutad körning. Senast valda tabeller som uppdaterats sparas som personlig inställning och läses upp nästa gång RB03 används.

Erik Wallenberg 2013-01-16 9 (13) 7 Bilaga 2 - Tillåtna tecken i Ladok Dessa tecken som ingår i teckenuppsättningen ISO-Latin1 är de som är tillåtna att använda i Ladoks databas. Utöver dessa finns det i teckenuppsättningen även ett antal så kallade styrtecken. Mer information http://sv.wikipedia.org/wiki/iso/iec_8859-1. Det går även att se i kravspecifikationen vilka tecken som är tillåtna och otillåtna.! " # $ % & ' ( ) * +, -. / 0 1 2 3 4 5 6 7 8 9 : ; < = >? @ A B C D E F G H I J K L M N O P Q R S T U V W X Y Z [ \ ] ^ _ ` a b c d e f g h i j k l m n o p q r s t u v w x y z { } ~ ª «± ² ³ µ ¹ º» ¼ ½ ¾ À Á Â Ã Ä Å Æ Ç È É Ê Ë Ì Í Î Ï Ð Ñ Ò Ó Ô Õ Ö Ø Ù Ú Û Ü Ý Þ ß à á â ã ä å æ ç è é ê ë ì í î ï ð ñ ò ó ô õ ö ø ù ú û ü ý þ ÿ

Erik Wallenberg 2013-01-16 10 (13) 8 Bilaga 3 - Exempel på otillåtna tecken i Ladok Detta är ett urval av relativt vanliga tecken som inte går att använda i Ladok. Det går även att se i kravspecifikationen vilka tecken som är tillåtna och otillåtna. Euro sign Left single quotation mark Single low-9 quotation mark Right single quotation mark ƒ Latin small letter f with hook Left double quotation mark ˆ Modifier letter circumflex accent Right double quotation mark Double low-9 quotation mark Single left-pointing angle quotation mark Dagger Single right-pointing angle quotation mark Double dagger Bullet Horizontal ellipsis OE Latin capital ligature oe Per mille sign oe Latin small ligature oe Š Latin capital letter s with caron š Latin small letter s with caron En dash Trade mark sign Em dash Ÿ Latin capital letter y with diaeresis Small tilde Ž Latin capital letter z with caron Ž Latin small letter z with caron

Erik Wallenberg 2013-01-16 11 (13) 9 Bilaga 4 - Undantagna tabeller Följande tabeller i databasen läses inte vid körning av RB03: ARKURS Registrering och resultat på kurs ARHST Helårsstudent (HST) för kurs ARHPR Helårsprestation för kurs ARAGG Helårstudent och prestation på kurstillfälle ANVPASS2 Lösenord för systemanvändare ARBTAB Arbetstabell för Uniface-batch PRATT Uniface printer attributes TABDATA Data för uttag av databas (DB01) TRADATA Styrdata för Trafla TRANSTAB Transaktionsinformation VERSION Utskicks- och programversion USAGELOG Loggning för CSN UDICVER UNIFACE-tabell som används för att skapa tidsstämpel i Nouveau

Erik Wallenberg 2013-01-16 12 (13) 10 Bilaga 5 Otillåtna teckenkombinationer Vissa kombinationer av tecken är inte tillåtna och kommer vid en körning av batchen att bytas ut. Tabell över otillåtna teckenkombinationer och vilket tecken dessa kommer att ersättas med Teckenkombination Ersätts med $ú -

Erik Wallenberg 2013-01-16 13 (13) 11 Bilaga 6 - Teknisk bakgrund Detta är hämtat ur dokumentet https://jira.its.umu.se/secure/attachment/18482/120221_p477_tecken_its.pdf som är en bilaga till åtgärd https://jira.its.umu.se/browse/ladok-12295. Databasen Databasen har idag teckenuppsättning Latin 1 (översätts ofta med ISO 8859-1) vilket innebär att varje tecken representeras av 8 bitar. Nouveau Nouveau har idag teckenuppsättning Unicode. I Unicode representeras varje tecken av 16 bitar. När man via Nouveau sparar tecken till databasen som består av 16 bitar, delas det upp till två tecken på 8 bitar. De allra flesta tecken går bra, dvs. de tolkas korrekt. Vissa tecken tolkas konstigt och blir ofarliga tecken som ger konstiga utskrifter. Några tecken t.ex. långt bindestreck delas upp till två tecken där det ena tecknet blir ett styrtecken (i teckenuppsättningen 8859-1). Exempel på sådana styrtecken är end-of-medium, backspace eller form feed. Det är dessa styrtecken som orsakat krascherna. LPW LPW läser data från databasen, det går bra oavsett vilka tecken det är. LPW skickar sedan datan via ett SOAP-interface i form av ett XML-dokument. När det når den mottagande portalen kan det bli problem i parsningen av XML-dokumentet, om datan innehåller ett styrtecken för XML (t.ex. end-of-medium, backspace eller form feed ). De flesta styrtecken är helt enkelt inte tillåtna att skrivas ned i XML. Icke styrtecken medför naturligtvis inga problem. PING PING använde tidigare SOAP som bygger på XML, vilket innebar att det kraschade när ett styrtecken för XML hanterades. Nu har man i PING bytt från SOAP till RMI, vilket innebär att man inte hanterar XML, vilket innebär att inga krascher längre kan ske i PING. Det kan dock fortfarande bli konstig information.