Trafla databasen vi hämtar data från (remote export) ligger på en godtycklig maskin i nätverket. Den här databasen är en MIMER databas.

Transkript

1 DB01 - Remote DB01 kan användas på ett nytt sätt. Vi kallar det för remote. Det innebär att man kan peka ut databaser på nätverket som mål för export eller import. Denna funktion är avsedd för att flytta Trafla databasen. Vårt tänkta scenario är att vi exporterar data från en (remote) MIMER instans till en lokal maskin. Resultatet blir en zipfil som innehåller tabeller i form av xml filer. Därefter importeras data (från zipfilen) från den lokala maskinen till en (remote) MYSQL instans. Man kan se det som ett väggspel där den lokala instansen är väggen. Se bilder nedan. Den lokala instansen ligger på en befintlig test eller produktions miljö där batchramverket finns installerat. Trafla databasen vi hämtar data från (remote export) ligger på en godtycklig maskin i nätverket. Den här databasen är en MIMER databas. Den nya trafla databasen som vi skall fylla med data (remote import) ligger på godtycklig maskin i nätverket och är en MYSQL databas. Remote miljöer behöver inte ha något annat än själva databasen installerat.

2 Exportera data från TRAFLA: Remote Export, m.h.a. DB01_B Lokal Miljö Här kör du batchen DB01 Uniface Batchramverk som kör DB01_B Data hämtas via JDBC: DB01Qurey Remote Miljö (traflahost.dc.se) trafladb (MIMER) STUDOK DB (MIMER) Ur ladok.batch.properties DB01Query=select all trafla tables as tabell (se instruktion) DB01RemoteUsername=user123 DB01RemotePassword=pwd123 DB01RemoteInstanceName=traflaDB DB01RemoteSchema=traflaschema DB01RemoteDriver=com.mimer.jdbc.Driver DB01RemoteUrl=jdbc:mimer://trflahost.dc.se:1366/${DB01RemoteInstanceName} DB01RemoteReadData=true DB01RemoteWriteData=false Observera att du måste ändra params i ladok.batch.properties mellan körningarna. Importera data till ny TRAFLA: Remote import, m.h.a. DB01_C Lokal Miljö Här kör du batchen DB01 Uniface Batchramverk som kör DB01_C Data skjuts in via JDBC Remote Miljö (newtraflahost.dc.se) newtrafladb (MYSQL) STUDOK DB (MIMER) Exempel ur ladok.batch.properties # Felkod för duplicerad post, fås från dokumentationen av jdbc-driver # Mimer: MySQL: 1062 DuplicateKeyErrorCode=1062 DB01Query=spelar ingen roll DB01RemoteUsername=user123 DB01RemotePassword=pwd123 DB01RemoteInstanceName=newTraflaDB DB01RemoteSchema=traflaschema DB01RemoteDriver=com.mysql.jdbc.Driver DB01RemoteUrl=jdbc:mysql://newTrflahost.dc.se:3306/${DB01RemoteInstanceName} DB01RemoteReadData=false DB01RemoteWriteData=true

3 Förutsättningar: Remote miljö för export Den gamla (MIMER) Trafladatabasen. Lokal miljö med batchramverk, uniface, studok MIMER databas. Remote miljö för import Den nya (MYSQL) Trafladatabasen. Där är tabellstrukturen på plats. 1 Gör så här Säkra att brandväggen inte ställer till problem. (2.1) Säkra MYSQL JDBC driver filen och dess konfiguration i filen start.sh. (2.2) Säkra fysiskt minne, rekommendationen är 2 GB tillgängligt för batchar. Justera eventuellt minnesparametern i start.sh. (2.2) Säkra DB01Query i ladok.batch.properites. (2.3) Säkra övriga properies i ladok.batch.properties. (2.4) Skapa och kör exporten (DB01_B) via uniface GUI. (2.5) Verifiera innehållet i zipfilen. Du skall hitta en xml fil för varje tabell du avsett att exportera. Flytta zipfilen från outbound till incoming katalogen. (2.6) Ändra properties i ladok.batch.properties, du kör nu mot en annan remote db. Skapa och kör importen (DB01_C) via uniface GUI. (2.7) Verifiera körningen. Sätt params DB01RemoteReadData=false och DB01RemoteWriteData=false. För att undvika framtida misstag.

4 2.1 Brandvägg vid remote körning Konfiguration av brandväggen måste medge kommunikationen. Det måste vara möjligt att nå databasen på remote maskinen på givna portar. Mysql har default port Konfiguration i filen start.sh och minne. Eventuellt måste minnestillgången på den lokala maskinen ses över. Under Ladokenhetens testkörningar har vi använt 2 GB som installning. Konfigurationen i filen start.sh nedan, parametern Xmx styr javas max tilldelning av minne. Exempel: java -server -Djava.awt.headless=true - DladokBatchProperties=${LADOK_BATCH_PROPERTIES} -Dfile.encoding=ISO Xmx2048M osv Om man skall köra mot en MYSQL db, måste JDBC stödet vara på plats. Filen mysql-connector-java bin.jar skall ligga katalogen lib i batchramverket. CLASS_PATH variabeln i filen start.sh måste innehålla sökvägen till MYSQL JDBC drivern. Exempel: CLASS_PATH=${LIB}/ladokbatch.jar:${LIB}/mysql-connector-java bin.jar osv

5 2.3 Redigera DB01Query. Regler för frågor Frågan skall returnera ett antal tabellnamn i en kolumn som måste heta TABELL. Provkör din fråga innan du drar igång DB01_B. Frågan kan använda mjuka referenser till andra properties i filen, t ex ${LadokSchema} TABLE är ett reserverat ord i MIMER, därav citationstecken (dubbelfnuttar) runt ordet \ TABLE\. Citationstecken är reserverade i Java, därav backslash framför dem Ett exempel Querybaserad utsökning är lite krångligt, men ger oss stora möjligheter att styra vilka tabeller vi vill ha med i en export. Här har jag tagit default frågan från propertiesfilen och redigerat den för provkörning i ett sql-verktyg. Från propertiesfil: SELECT \"TABLE\" AS TABELL FROM MIMER.TABLES T WHERE CREATOR = 'LEV' AND \"TABLE\" NOT IN ('X', 'Y', 'Z') AND NOT EXISTS (SELECT 1 FROM MIMER.VIEWS V WHERE V.VIEW = T.\"TABLE\"); Redigerad: SELECT "TABLE" AS TABELL FROM MIMER.TABLES T WHERE CREATOR = 'LEV' AND "TABLE" NOT IN ('X', 'Y', 'Z') AND NOT EXISTS (SELECT 1 FROM MIMER.VIEWS V WHERE V.VIEW = T."TABLE"); Exempelfrågan ger oss alla tabeller i schemat LEV, utom X, Y och Z. Den exkluderar också vyer.

6 Provkörning Observera att jag tagit bort de mjuka referenserna & backslash vid provkörning i sql verktyget. Kom ihåg att lägga tillbaka eventuella mjuka referenser & backslash i frågan som skrivs in i propertiesfilen.

7 2.4 Redigera propertiesfilen ########## LADOK ########## (Stycket handlar om den lokla miljön, dvs den befintliga databasen.) # Databas LadokUsername=user123 LadokPassword=pwd123 LadokSchema=mimerSchema LadokMulti=oldLocalMimerDB LadokDriver=com.mimer.jdbc.Driver LadokUrl=jdbc:mimer://oldhost.ladok.umu.se/${LadokMulti} (Propertyn handlar om inserts i importen, DB01_C.) # Felkod för duplicerad post, fås från dokumentationen av jdbc-driver # Mimer: MySQL: 1062 DuplicateKeyErrorCode=1062 (OBS! Välj MYSQL koden vid remote import.) (Stycket har inget med DB01 att göra.) # Lokala Jar-filer # Anges kolonseparerat enligt formen JAR1.jar:JAR2.jar:...:JARN.jar. # Angivna Jar-filer ska ligga i katalogen lib. #LadokLocalJars= (Stycket handlar om inserts i importen, DB01_C.) # DB01 DB01maxRows=-1 (-1 betyder ingen begränsning, låt stå!) DB01MaxRetries=500 (DB01_C ger upp en tabell efter 500 misslyckade rader.) DB01CommitRate=1000 (DB01_C gör commit efter 1000 bearbetade rader.) (Property:n handlar om datahämtningen i exporten, DB01_B.) DB01Query=SELECT \"TABLE\" AS TABELL FROM MIMER.TABLES T WHERE CREATOR = 'mytraflaschema' AND \"TABLE\" NOT IN ('X', 'Y', 'Z') AND NOT EXISTS (SELECT 1 FROM MIMER.VIEWS V WHERE V.VIEW = T.\"TABLE\") (Stycket handlar om remote databaserna (trafla), för export eller import.) DB01RemoteUsername=ruser123 (User för remote db.) DB01RemotePassword=rpwd123 (Pwd för remote db.) DB01RemoteInstanceName=newLocalMysqlDB (Namn på remote db.) DB01RemoteSchema=tst (Schema på remote db.) DB01RemoteDriver=com.mysql.jdbc.Driver (Låt stå om du kör mot remote MYSQL.) DB01RemoteUrl=jdbc:mysql://remotehost.dc.se:3306/${DB01RemoteInstanceName} DB01RemoteReadData=false (Om exporten är från remote miljö skall det stå true.) DB01RemoteWriteData=true (Om importen är till remote miljö skall det stå true.)

8 2.5. Export Exportera data från en databas till en xml fil. Querybaserd utsökning är ett sätt att exportera data (hela tabeller) där du själv kan välja vilka tabeller som skall komma med. Du styr vilka tabeller som kommer med genom en sqlfråga som returnerar en kolumn med tabellnamn. Detta gör man genom att välja DB01 via Nouveau och sedan Utsökning uttagsprogram. Gör en beställning samt välj Uppdatera för att spara grund beställningen. Välj sedan knappen Villkor för att komma till nästa formulär.

9 Välj Querybaserad utsökning i DB01_B. 2.6 Zip filen på rätt ställe Zipfilen (SpecQuery.zip) skall flyttas från outbound till incoming katalogen på den lokala (befintliga) miljön.

10 2.7 IMPORT Importera till en (MySql) databas från en xml fil. Querybeställning är ett sätt att importera data (hela tabeller) från en xml fil till en databas. Här väljer man Inläsning, uttagsprogram istället. Gör en beställning för importen och välj uppdatera. Välj sedan knappen Villkor för att komma till nästa formulär. Där väljer man Querybeställning.

11