Funktionsbeskrivning

Transkript

1 Funktionsbeskrivning [DB01 Uttagsprogram - remote] Version: Beteckning: Ändringshistorik Revision Datum Av Kommentar Granskare Godkännare

2 Jan Rundström/Torgny Fridlund (17) Innehållsförteckning INNEHÅLLSFÖRTECKNING... 2 FUNKTIONSBESKRIVNING... 3 DB01 - UTTAGSPROGRAM - REMOTE... 3 BESLUT... 3 ALLMÄNT OM FUNKTIONEN... 3 UPPDELNING TILL DELFUNKTIONER... 3 BEHÖRIGHETSANALYS... 3 PREFERENSSTYRNING... 4 UTSKRIFTER... 4 AVVIKELSER FRÅN S&G... 4 SCENARIO GÖR SÅ HÄR BRANDVÄGG VID REMOTE KÖRNING KONFIGURATION I FILEN START.SH OCH MINNE Redigera DB01Query Ett exempel Provkörning Redigera propertiesfilen EXPORT EXPORTERA DATA FRÅN EN DATABAS TILL EN XML FIL Zip filen på rätt ställe IMPORT IMPORTERA TILL EN (MYSQL) DATABAS FRÅN EN XML FIL

3 Jan Rundström/Torgny Fridlund (17) Funktionsbeskrivning DB01 - Uttagsprogram - remote Beslut Följande beslut finns som påverkar denna funktion. Nr Ärende Anmärkning Allmänt om funktionen Denna del beskriver endast hantering av utsökning/inläsning av data från en annan databas än Ladokdatabasen. Övriga delar beskrivs i ett särskilt dokument. Funktionen söker et data och /eller läser in data från en extern databas. Man använder sig av Query-baserad utsökning och inläsning via Alternativet Annan (databas). Uppdelning till delfunktioner Funktionen består av två delfunktioner: B = Utsökning av data C = Inläsning av data Behörighetsanalys Användaren ska vara etablerad i Ladok och ha behörighet till funktionen. Användaren eller någon behjälplig person måste ha tillgång till properties-filen och kunskap att göra ändringar i denna fil.

4 Jan Rundström/Torgny Fridlund (17) Preferensstyrning Funk Nr Vad vill man styra Nyckelord Värde: Resultat Default Typ 1 ) DB01 1 Lägg till/ta bort/ ändra andras SUPER J: Visar alla beställningar N A beställningar N: Endast användarens beställningar DB01 2 Bestämmer hur stående beställning ska hanteras i bilden EJSTAENDE J: Stående beställning visas ej N: Stående beställning visas J S 1) Typ betyder: S: SYSTPREF, A: ANVPREF, P: PERSPREF 2) Sätts inte DEFAULTTID till något sätts aktuell tid plus en timme som defaultvärde när beställning läggs upp Utskrifter Utskrifter av resultat av batch-körningarna sker genom e-post till angiven e-postadress. Avvikelser från S&G Inga avvikelser finns i funktionen från S&G Scenario DB01 kan användas för att läsa/skriva data från/till en annan databas är Ladokdatabasen. Vi kallar detta sätt att använda DB01 för remote. Det innebär att man kan peka ut databaser på nätverket som mål för export eller import. Denna funktion är främst avsedd för att flytta Trafladatabasen. Vårt tänkta scenario är att vi exporterar data från en (remote) MIMER instans till en lokal maskin. Resultatet blir en zipfil som innehåller tabeller i form av xml filer. Därefter importeras data (från zipfilen) från den lokala maskinen till en (remote) MYSQL instans. Man kan se det som ett väggspel där den lokala instansen är väggen. Se bilder nedan. Den lokala instansen ligger på en befintlig test eller produktions miljö där batchramverket finns installerat. Trafla databasen vi hämtar data från (remote export) ligger på en godtycklig maskin i nätverket. Den här databasen är en MIMER databas.

5 Jan Rundström/Torgny Fridlund (17) Den nya trafla databasen som vi skall fylla med data (remote import) ligger på godtycklig maskin i nätverket och är en MYSQL databas. Remote miljöer behöver inte ha något annat än själva databasen installerat. Exportera data från TRAFLA: Remote Export, m.h.a. DB01_B Lokal Miljö Här kör du batchen DB01 Uniface Batchramverk som kör DB01_B Data hämtas via JDBC: DB01Qurey Remote Miljö (traflahost.dc.se) trafladb (MIMER) STUDOK DB (MIMER) Ur ladok.batch.properties DB01Query=select all trafla tables as tabell (se instruktion) DB01RemoteUsername=user123 DB01RemotePassword=pwd123 DB01RemoteInstanceName=traflaDB DB01RemoteSchema=traflaschema DB01RemoteDriver=com.mimer.jdbc.Driver DB01RemoteUrl=jdbc:mimer://trflahost.dc.se:1366/${DB01RemoteInstanceName} DB01RemoteReadData=true DB01RemoteWriteData=false Observera att du måste ändra params i ladok.batch.properties mellan körningarna.

6 Jan Rundström/Torgny Fridlund (17) Importera data till ny TRAFLA: Remote import, m.h.a. DB01_C Lokal Miljö Här kör du batchen DB01 Uniface Batchramverk som kör DB01_C Data skjuts in via JDBC Remote Miljö (newtraflahost.dc.se) newtrafladb (MYSQL) STUDOK DB (MIMER) Exempel ur ladok.batch.properties # Felkod för duplicerad post, fås från dokumentationen av jdbc-driver # Mimer: MySQL: 1062 DuplicateKeyErrorCode=1062 DB01Query=spelar ingen roll DB01RemoteUsername=user123 DB01RemotePassword=pwd123 DB01RemoteInstanceName=newTraflaDB DB01RemoteSchema=traflaschema DB01RemoteDriver=com.mysql.jdbc.Driver DB01RemoteUrl=jdbc:mysql://newTrflahost.dc.se:3306/${DB01RemoteInstanceName} DB01RemoteReadData=false DB01RemoteWriteData=true

7 Jan Rundström/Torgny Fridlund (17) Förutsättningar: Remote miljö för export Den gamla (MIMER) Trafladatabasen. Lokal miljö med batchramverk, uniface, studok MIMER databas. Remote miljö för import Den nya (MYSQL) Trafladatabasen. Där är tabellstrukturen på plats. 1 Gör så här Säkra att brandväggen inte ställer till problem. (2.1) Säkra MYSQL JDBC driver filen och dess konfiguration i filen start.sh. (2.2) Säkra fysiskt minne, rekommendationen är 2 GB tillgängligt för batchar. Justera eventuellt minnesparametern i start.sh. (2.2) Säkra DB01Query i ladok.batch.properites. (2.3) Säkra övriga properies i ladok.batch.properties. (2.4) Skapa och kör exporten (DB01_B) via uniface GUI. (2.5) Verifiera innehållet i zipfilen. Du skall hitta en xml fil för varje tabell du avsett att exportera. Flytta zipfilen från outbound till incoming katalogen. (2.6) Ändra properties i ladok.batch.properties, du kör nu mot en annan remote db. Skapa och kör importen (DB01_C) via uniface GUI. (2.7) Verifiera körningen. Sätt params DB01RemoteReadData=false och DB01RemoteWriteData=false. För att undvika framtida misstag.

8 Jan Rundström/Torgny Fridlund (17) 2.1 Brandvägg vid remote körning Konfiguration av brandväggen måste medge kommunikationen. Det måste vara möjligt att nå databasen på remote maskinen på givna portar. Mysql har default port Konfiguration i filen start.sh och minne. Eventuellt måste minnestillgången på den lokala maskinen ses över. Under Ladokenhetens testkörningar har vi använt 2 GB som installning. Konfigurationen i filen start.sh nedan, parametern Xmx styr javas max tilldelning av minne. Exempel: java -server -Djava.awt.headless=true -DladokBatchProperties=${LADOK_BATCH_PROPERTIES} - Dfile.encoding=ISO Xmx2048M osv Om man skall köra mot en MYSQL db, måste JDBC stödet vara på plats. Filen mysql-connector-java bin.jar skall ligga katalogen lib i batchramverket. CLASS_PATH variabeln i filen start.sh måste innehålla sökvägen till MYSQL JDBC drivern. Exempel: CLASS_PATH=${LIB}/ladokbatch.jar:${LIB}/mysql-connector-java bin.jar osv 2.3 Redigera DB01Query.

9 Jan Rundström/Torgny Fridlund (17) Regler för frågor Frågan skall returnera ett antal tabellnamn i en kolumn som måste heta TABELL. Provkör din fråga innan du drar igång DB01_B. Frågan kan använda mjuka referenser till andra properties i filen, t ex ${LadokSchema} TABLE är ett reserverat ord i MIMER, därav citationstecken (dubbelfnuttar) runt ordet \ TABLE\. Citationstecken är reserverade i Java, därav backslash framför dem Ett exempel Querybaserad utsökning är lite krångligt, men ger oss stora möjligheter att styra vilka tabeller vi vill ha med i en export. Här har jag tagit default frågan från propertiesfilen och redigerat den för provkörning i ett sql-verktyg. Från propertiesfil: SELECT \"TABLE\" AS TABELL FROM MIMER.TABLES T WHERE CREATOR = 'LEV' AND \"TABLE\" NOT IN ('X', 'Y', 'Z') AND NOT EXISTS (SELECT 1 FROM MIMER.VIEWS V WHERE V.VIEW = T.\"TABLE\"); Redigerad: SELECT "TABLE" AS TABELL FROM MIMER.TABLES T WHERE CREATOR = 'LEV' AND "TABLE" NOT IN ('X', 'Y', 'Z') AND NOT EXISTS (SELECT 1 FROM MIMER.VIEWS V WHERE V.VIEW = T."TABLE"); Exempelfrågan ger oss alla tabeller i schemat LEV, utom X, Y och Z. Den exkluderar också vyer.

10 Jan Rundström/Torgny Fridlund (17) Provkörning Observera att jag tagit bort de mjuka referenserna & backslash vid provkörning i sql verktyget. Kom ihåg att lägga tillbaka eventuella mjuka referenser & backslash i frågan som skrivs in i propertiesfilen.

11 Jan Rundström/Torgny Fridlund (17) 2.4 Redigera propertiesfilen ########## LADOK ########## (Stycket handlar om den lokala miljön, dvs den befintliga databasen.) # Databas LadokUsername=user123 LadokPassword=pwd123 LadokSchema=mimerSchema LadokMulti=oldLocalMimerDB LadokDriver=com.mimer.jdbc.Driver LadokUrl=jdbc:mimer://oldhost.ladok.umu.se/${LadokMulti} (Propertyn handlar om inserts i importen, DB01_C.) # Felkod för duplicerad post, fås från dokumentationen av jdbc-driver # Mimer: MySQL: 1062 DuplicateKeyErrorCode=1062 (OBS! Välj MYSQL koden vid remote import.) (Stycket har inget med DB01 att göra.) # Lokala Jar-filer # Anges kolonseparerat enligt formen JAR1.jar:JAR2.jar:...:JARN.jar. # Angivna Jar-filer ska ligga i katalogen lib. #LadokLocalJars= (Stycket handlar om inserts i importen, DB01_C.) # DB01 DB01maxRows=-1 (-1 betyder ingen begränsning, låt stå!) DB01MaxRetries=500 (DB01_C ger upp en tabell efter 500 misslyckade rader.) DB01CommitRate=1000 (DB01_C gör commit efter 1000 bearbetade rader.) (Property:n handlar om datahämtningen i exporten, DB01_B.) DB01Query=SELECT \"TABLE\" AS TABELL FROM MIMER.TABLES T WHERE CREATOR = 'mytraflaschema' AND \"TABLE\" NOT IN ('X', 'Y', 'Z') AND NOT EXISTS (SELECT 1 FROM MIMER.VIEWS V WHERE V.VIEW = T.\"TABLE\")

12 Jan Rundström/Torgny Fridlund (17) (Stycket handlar om remote databaserna (trafla), för export eller import.) DB01RemoteUsername=ruser123 (User för remote db.) DB01RemotePassword=rpwd123 (Pwd för remote db.) DB01RemoteInstanceName=newLocalMysqlDB (Namn på remote db.) DB01RemoteSchema=tst (Schema på remote db.) DB01RemoteDriver=com.mysql.jdbc.Driver (Låt stå om du kör mot remote MYSQL.) DB01RemoteUrl=jdbc:mysql://remotehost.dc.se:3306/${DB01RemoteInstanceName} DB01RemoteReadData=false (Om exporten är från remote miljö skall det stå true.) DB01RemoteWriteData=true (Om importen är till remote miljö skall det stå true.)

13 Jan Rundström/Torgny Fridlund (17) 2.5. Export Exportera data från en databas till en xml fil. Querybaserd utsökning är ett sätt att exportera data (hela tabeller) där du själv kan välja vilka tabeller som skall komma med. Du styr vilka tabeller som kommer med genom en sqlfråga som returnerar en kolumn med tabellnamn. Detta gör man genom att välja DB01 via Nouveau och sedan Utsökning uttagsprogram. Gör en beställning samt välj Uppdatera för att spara grund beställningen. Välj sedan knappen Villkor för att komma till nästa formulär.

14 Jan Rundström/Torgny Fridlund (17) Välj Annan (Val av databas) och Querybaserad utsökning (Val av utsökning) i DB01_B.

15 Jan Rundström/Torgny Fridlund (17) 2.6 Zip filen på rätt ställe Zipfilen (SpecQuery.zip) skall flyttas från outbound till incoming katalogen på den lokala (befintliga) miljön.

16 Jan Rundström/Torgny Fridlund (17) 2.7 IMPORT Importera till en (MySql) databas från en xml fil. Querybeställning är ett sätt att importera data (hela tabeller) från en xml fil till en databas. Här väljer man Inläsning, uttagsprogram istället. Gör en beställning för importen och välj uppdatera. Välj sedan knappen Villkor för att komma till nästa formulär.

17 Jan Rundström/Torgny Fridlund (17) Där väljer man Annan (Val av databas) och Querybeställning (Val av beställning).