SOA-plattformen. FileTransfer Systembeskrivning

Transkript

1 FileTransfer 205

2 Innehållsförteckning 1 INLEDNING 3 11 STOCKHOLMAUGUSTBIZTALKFILETRANSFER 3 2 ÖVERSIKT 3 21 BLOCKSCHEMA 3 22 DATABASDIAGRAM 4 23 PROJEKT 4 3 BIZTALK LÖSNING 5 31 GRUNDFLÖDE ReceiveLocation ReceivePort Mottagande orkestrering Dispatch orkestrering ReSend SendPort 5 32 PIPELINE KOMPONENTER FileSaverComponent SharepointFileSaverComponent WcfFileSaverComponent MetadataDisassemblerComponent FileLoaderComponent 8 33 BIZTALK PIPELINES FileSaverPipeline SharePointFileSaverPipeline WcfFileSaverPipeline FileLoaderPipeline 9 34 MAPPNINGAR UploadMetadata_to_InternalFileData UploadMetaData_to_LogFileReceived UploadMetaData_to_WcfResponse ORKESTRERINGAR FileTransfer_ReSend FileTransfer_File FileTransfer_WCF FileTransfer_Dispatcher SCHEMAN UploadMetadata InternalFileData ResendFile (15)

3 1 Inledning Detta dokument är en teknisk beskrivning av FileTransfer2 Det riktar sig till utvecklare och teknisk personal som skall underhålla och uppdatera applikationen Dokumentet förutsätter att läsaren har kunskap om integration, BizTalk 2010, SQL Server 2008 R2, web-servers (WCF), Visual Studio 2010 mm 11 StockholmAugustBizTalkFileTransfer FileTransfer2 är en generell integrationslösning för kontrollerad filöverföring i Stockholm Stads SOA lösning Denna beskrivning gäller för version 203, byggd Översikt 21 Blockschema Blockschema som visar FileTransfer fullt utbyggd med alla in- och ut-portar och admin-gränssnitt Bilden är lite missvisande då vissa ReceivePort s och SendPort s är kombinerade i den verkliga lösningen (15)

4 22 Databasdiagram Databasdiagram för FileTransfer Projekt Följande projekt, som finns i TFS, ingår i lösningen: StockholmAugustBizTalkFileTransfer Den centrala BizTalk lösningen StockholmAugustPipelineComponents Pipeline komponenter som används av BizTalk Pipelines, som i sin tur används i ReceiveLocations StockholmAugustBizTalkFileTransferService WCF service som implementerar tjänster för loggning och konfiguration Finns som Console-host (för test) och Win-service (test/preprod/prod) StockholmAugustBizTalkCommon BizTalk lösning med gemensamma scheman för Notifiering, konfiguration och loggning samt hjälp funktioner StockholmAugustWCFFileTransfer Test och exempel på mottagande WCF för FileTransfer Används för test och är tänkt att ingå i en kommande SDK (15)

5 3 BizTalk lösning 31 Grundflöde Grundflödet för en fil är alltid samma även om vissa detaljer skiljer mellan de olika in- och ut-gångarna 311 ReceiveLocation Varje fil tas emot av en Custom Pipeline (3 st) i kombination med en Receive Location Det används 2 versioner av Receive Location, dels One-way som är kodad för mottagande katalog (FILE, FTP, SFTP, share - FileSaverPipeline) eller katalog/vy (SharePoint - SharePointFileSaverPipeline), dels Request-Response som är kodad för WCF Endpoint (WCF - WcfFileSaverPipeline) Gemensamt är att pipelinen sparar mottagen fil på disk och bygger ett meddelande av typen UploadMetadata som skickas vidare till Receive Location, Receive Port och in i en orkestrering Varje pipeline konfigureras med konfigurations-id och arkiv-path 312 ReceivePort ReceivePort:n är kopplingen till orkestrering, för varje ReceivePort (FILE och WCF) finns en dedikerad orkestrering 313 Mottagande orkestrering Mottagande orkestrering (FILE och WCF), loggar status och metadata i databasen och får ett FileID tillbaka Ett interndata-meddelande skapas och läggs i MessageBoxen 314 Dispatch orkestrering Dispatch orkestrering, prenumererar på interndata-meddelanden som hämtas från MessageBoxen Flödet är sedan i princip samma oavsett vilken SendPort som skall användas: - Konfigurationsdata hämtas från databasen med hjälp av ConfigID - Ett dummy-meddelande skapas och context och dynamisk SendPort konfigureras - Meddelandet skickas - Status av sändningen (OK eller Error) loggas i databasen, vid fel skickas meddelande till ESB - Kontroll om det skall skickas ett notifierings-mail o Konfigurationsdata för notifiering hämtas från databasen o Mail skickas o Status av sändningen (OK eller Error) loggas i databasen, vid fel skickas meddelande till ESB - Till slut loggas en avslutning i databasen och bara om alla steg har gått bra så loggas ett OK 315 ReSend Vid en omsändning så används en speciell ReceiveLocation, ReceivePort och orkestrering för att skapa ett interndata-meddelande som sedan skickas till MessageBoxen Därefter så tar Dispatch-orkestreringen vid och hanterar sändningen som i grundflödet 316 SendPort Det finns två dynamiska sändportar, en för Solicit-Response och en för One-Way sändningar Det finns dessutom två WCF portar för dels koppling till databas (loggning och config) och dels för notifierings-tjänsten 32 Pipeline Komponenter Pipeline komponenterna utvecklas i ett separat projekt, StockholmAugustPipelineComponents (15)

6 321 FileSaverComponent Sparar inkommande fil till disk, beräknar ev checksumma och skapar ett UploadMetadata meddelande som skickas vidare i pipelinen Kan användas till följande adapters: FILE, FTP, SFTP Publika egenskaper (Properties): Egenskap Kommentar ArchivePath Default till C:\ ConfigID Stöd för kommaseparerad lista Promoted Properties: Element Namespace Kommentar ArchivePath Komplett sökväg till arkivfilen UploadMetadata: Element Skapas Kommentar ReceiveTime x Från DateTimeNow ArchivePath x Komplett sökväg till arkivfilen ConfigID x FileName x Fil-namn från ReceivedFileName file-properties FileType SSN ErrandID DocumentType DigitalSignKey SHA512 x Beräknas bara om filen in är sökbar (CanSeek) Created Modified FileSize x Från Length på inkommande ström (stream) ReceivePort x Från ReceivePortName system-properties ReceiveLocation x Från InboundTransportLocation system-properties ReceivePath x Från ReceivedFileName file-properties 322 SharepointFileSaverComponent Sparar inkommande fil till disk, beräknar ev checksumma och skapar ett UploadMetadata meddelande som skickas vidare i pipelinen Kan användas till följande adapters: Windows SharePoint Services Publika egenskaper (Properties): Egenskap Kommentar ArchivePath Default till C:\ ConfigID Stöd för kommaseparerad lista Promoted Properties: Element Namespace Kommentar ArchivePath Komplett sökväg till arkivfilen UploadMetadata: Element Skapas Kommentar ReceiveTime x Från DateTimeNow ArchivePath x Komplett sökväg till arkivfilen ConfigID x FileName x Filenamn från InPropertiesXml, WindowsSharePointServices-properties (15)

7 FileType x File_x0020_Type från InPropertiesXml, WindowsSharePointServices-properties SSN x Delen innan / i FileRef från InPropertiesXml, WindowsSharePointServicesproperties, dvs katalogen under FormDataAttachmentsTransfer ErrandID x AugustErrandID från InPropertiesXml, WindowsSharePointServices-properties DocumentType x AugustDocumentType från InPropertiesXml, WindowsSharePointServicesproperties DigitalSignKey x AugustDigitalSignKey från InPropertiesXml, WindowsSharePointServicesproperties SHA512 x AugustSha512 från InPropertiesXml, WindowsSharePointServices-properties om den finns annars beräknas den från filen in om den är sökbar (CanSeek) Created x Created från InPropertiesXml, WindowsSharePointServices-properties Modified x Modified från InPropertiesXml, WindowsSharePointServices-properties FileSize x InFileSize från InPropertiesXml, WindowsSharePointServices-properties ReceivePort x Från ReceivePortName system-properties ReceiveLocation x Från InboundTransportLocation system-properties ReceivePath x Från ReceivedFileName file-properties om den finns, annars tas FileName 323 WcfFileSaverComponent Sparar inkommande ström (stream) till disk, beräknar ev checksumma och skapar ett UploadMetadata meddelande från inkommande FileMetaData, som skickas vidare i pipelinen Kan användas till följande adapters: WCF-Custom Publika egenskaper (Properties): Egenskap Kommentar ArchivePath Default till C:\ ConfigID Stöd för kommaseparerad lista Promoted Properties: Element Namespace Kommentar ArchivePath Komplett sökväg till arkivfilen UploadMetadata: Element Skapas Kommentar ReceiveTime x Från DateTimeNow ArchivePath x Komplett sökväg till arkivfilen ConfigID x FileName x Från FileMetaDataFileName FileType x Från FileMetaDataMetaDataFileType om den finns med i anropet in SSN x Från FileMetaDataMetaDataSSN om den finns med i anropet in ErrandID x Från FileMetaDataMetaDataErrandID om den finns med i anropet in DocumentType x Från FileMetaDataMetaDataDocumentType om den finns med i anropet in DigitalSignKey x Från FileMetaDataMetaDataDigitalSignKey om den finns med i anropet in SHA512 x Beräknas om strömmen in är sökbar (CanSeek) och samma som FileMetaDataSHA512 annars tom Created x Från FileMetaDataMetaDataCreated om den finns med i anropet in Modified x Från FileMetaDataMetaDataModified om den finns med i anropet in FileSize x Om Length på inkommande ström (stream) är samma som FileMetaDataFileSize, annars tom ReceivePort x Från ReceivePortName system-properties ReceiveLocation x Från InboundTransportLocation system-properties ReceivePath x Från ReceivedFileName file-properties om den finns, annars tas FileMetaDataFileName (15)

8 324 MetadataDisassemblerComponent Kontrollerar inkommande xml-meddelande om det är fel root-namn eller fel namespace eller om antalet barn-noder är mindre än 2 I så fall skickas meddelandet bara rakt igenom Annars bryts inkommande meddelandet upp så att varje <metadata> del blir ett eget meddelande In <UploadMetadata> <metadata> </metadata> <metadata> </metadata> </UploadMetadata> Ut <UploadMetadata> <metadata> </metadata> </UploadMetadata> <UploadMetadata> <metadata> </metadata> </UploadMetadata> 325 FileLoaderComponent Läser upp en fil från arkivet, sökväg från ArchivePath och ersätter dummy-data i meddelandet Har inga publika egenskaper Promoted Properties (in): Element Namespace Kommentar ArchivePath Komplett sökväg till arkivfilen 33 BizTalk Pipelines 331 FileSaverPipeline Receive pipeline Steg Komponent Decode FileSaverComponent Disassemble MetadataDisassemblerComponent Validate - ResolveParty SharePointFileSaverPipeline Receive pipeline Steg Komponent Decode SharePointFileSaverComponent Disassemble MetadataDisassemblerComponent Validate - ResolveParty WcfFileSaverPipeline Receive pipeline Steg Komponent Decode WcfFileSaverComponent (15)

9 Disassemble MetadataDisassemblerComponent Validate - ResolveParty FileLoaderPipeline Send pipeline Steg Komponent Pre-Assemble - Assemble - Encode FileLoaderComponent 34 Mappningar 341 UploadMetadata_to_InternalFileData (15)

10 342 UploadMetaData_to_LogFileReceived 343 UploadMetaData_to_WcfResponse Övre scriptet: public string checksuccess(string sha512, string filesize) { if (sha512 == ""! (filesize!= "" && filesize!= "0")) return "false"; else return "true"; } Nedre scriptet: public string checkerrormsg(string sha512, string filesize) { string errormsg = ""; if (sha512 == "" ) errormsg = "Bad checksum"; if (filesize == "" filesize == "0") { (15)

11 if (errormsg!= "") errormsg = errormsg + " and "; } errormsg = errormsg + "Bad file size"; } return errormsg; 35 Orkestreringar 351 FileTransfer_ReSend FileTransfer_ReSend initieras då en xml-fil i formatet ResendFile hämtas via en FILE Receive Location - En post i event-loggen med FileID skaps - All sparad information hämtas från logg-databasen (tabeller FileLog och FileLogMetaData) - Om ingen information hittas, skapas en felpost i event-loggen och orkestreringen avslutas - Ett event skapas i logg-databasen (tabell FileLogEvent) - Ett meddelande av typen InternalFileData skapas och skickas till MessageBoxen 352 FileTransfer_File FileTransfer_File initieras då en fil hämtas från antingen en FILE Receive Location via FileSaverPipeline eller en Windows SharePoint Service Receive Location via SharePointFileSaversPipeline Filen sparas till en arkivkatalog (pipeline konfig parameter) och ett meddelande med formatet UploadMetadata returneras av pipelinen till initierande Receive-formen - En post skapas i event-loggen med ConfigID - En post skapas i logg-databasen (tabell FileLog) och ett FileID returneras - Om det kastas ett exception när man försöker skriva till logg-databasen skrivs en post i event-loggen och ett ESB-meddelande skickas till MessageBoxen Sedan avslutas orkestreringen - En post i event-loggen med FileID skapas - Ett internt meddelande av typen InternalFileData skapas och skickas till MessageBoxen 353 FileTransfer_WCF FileTransfer_WCF initieras då ett soap meddelande skickas till en WCF Receive Location via WcfFileSaverPipeline Filen sparas till en arkivkatalog (pipeline konfig parameter) och ett meddelande med formatet UploadMetadata returneras av pipelinen till initierande Receive-formen - En post i event-loggen med ConfigID skapas - En mappning där SHA512 och FileSize kontrolleras (får ej vara tom/0) görs och ett response meddelande skapas och skickas till anropande WCF klient - En post i logg-databasen skapas (tabell FileLog) och det skapade FileID returneras till orkestreringen - Om det kastas ett exception när man försöker skriva till logg-databasen skrivs en post i event-loggen och ett ESB-meddelande skickas till MessageBoxen Sedan avslutas orkestreringen - En post i event-loggen med FileID skapas - Ett internt meddelande av typen InternalFileData skapas och skickas till MessageBoxen 354 FileTransfer_Dispatcher FileTransfer_Dispatcher initieras då ett meddelande av type InternalFileData finns i MessageBoxen 1 Genom ett uppslag i konfig-databasen hämtas konfigurations-typ: WCF Ett tomt soap-meddelande skapas: <ns0:uploadfilemessage xmlns:ns0=" <FileByteStream></FileByteStream> </ns0:uploadfilemessage> (15)

12 Meddelande context Context property WCFAction WCFBindingType WCFBindingConfiguration WCFOutboundBodyLocation WCFOutboundXmlTemplate WCFOutboundCustomHeaders StockholmAugustPipelineComponentsArchivePath Config-parameter: WCFAction Config-parameter: WCFBindingType Config-parameter: WCFBindingConfiguration Config-parameter: WCFOutboundBodyLocation Config-parameter: WCFOutboundXmlTemplate Hjälp-funktion: WCF_OutboundCustomHeaders() InternalFileDataMessageFileDataArchivePath WCF_SendPort adapter variabler: Adapter variabel MicrosoftXLANGsBaseTypesAddress MicrosoftXLANGsBaseTypesTransportType Config-parameter: Address Config-parameter: TransportType Om sändningen inte gick bra (Exception kastas) så skapas ett ESB-meddelande som skickas till ESB (via MessageBoxen) Man fångar dels SystemException och dels SOAP-Fault FILE Ett dummy-meddelande skapas: <dummy></dummy> Meddelande context Context property FILEUsername FILEPassword FILECopyMode FILEReceivedFileName StockholmAugustPipelineComponentsArchivePath Config-parameter: Username Config-parameter: Password Konstant: 2 (overwrite) InternalFileDataMessageFileDataFilePath InternalFileDataMessageFileDataArchivePath FILE_SendPort adapter variabler: Adapter variabel MicrosoftXLANGsBaseTypesAddress MicrosoftXLANGsBaseTypesTransportType Config-parameter: Address Konstant: FILE Om sändningen inte gick bra (Exception kastas) så skapas ett ESB-meddelande som skickas till ESB (via MessageBoxen) Man fångar SystemException FTP Ett dummy-meddelande skapas: <dummy></dummy> Meddelande context Context property FTPUserName FTPPassword FILEReceivedFileName StockholmAugustPipelineComponentsArchivePath Config-parameter: Username Config-parameter: Password InternalFileDataMessageFileDataFilePath InternalFileDataMessageFileDataArchivePath FILE_SendPort adapter variabler: Adapter variabel (15)

13 MicrosoftXLANGsBaseTypesAddress MicrosoftXLANGsBaseTypesTransportType Config-parameter: Address Konstant: FTP Om sändningen inte gick bra (Exception kastas) så skapas ett ESB-meddelande som skickas till ESB (via MessageBoxen) Man fångar SystemException SFTP Ett dummy-meddelande skapas: <dummy></dummy> Meddelande context Context property BlogicalSharedAdaptersSftpSchemasuser Config-parameter: Username BlogicalSharedAdaptersSftpSchemashost Config-parameter: SftpSchemashost BlogicalSharedAdaptersSftpSchemasportno ConvertToInt32( Config-parameter: SftpSchemasportno ) BlogicalSharedAdaptersSftpSchemasidentityfile Config-parameter: SftpSchemasidentityfile BlogicalSharedAdaptersSftpSchemasremotefile Config-parameter: SftpSchemasremotefile BTSOutboundTransportType Konstant: SFTP FILEReceivedFileName InternalFileDataMessageFileDataFilePath StockholmAugustPipelineComponentsArchivePath InternalFileDataMessageFileDataArchivePath FILE_SendPort adapter variabler: Adapter variabel MicrosoftXLANGsBaseTypesAddress Config-parameter: Address Om sändningen inte gick bra (Exception kastas) så skapas ett ESB-meddelande som skickas till ESB (via MessageBoxen) Man fångar SystemException SharePoint (WSS) Ett dummy-meddelande skapas: <dummy></dummy> Meddelande context Context property WSSConfigOverwrite WSSConfigNamespaceAliases WSSFilename WSSConfigPropertiesXml FILEReceivedFileName StockholmAugustPipelineComponentsArchivePath Config-parameter: WSSConfigOverwrite Config-parameter: WSSConfigNamespaceAliases InternalFileDataMessageFileDataFileName Hjälp-funktion: WSS_ConfigPropertiesXml() InternalFileDataMessageFileDataFilePath InternalFileDataMessageFileDataArchivePath FILE_SendPort adapter variabler: Adapter variabel MicrosoftXLANGsBaseTypesAddress SystemIOPathCombine( Config-parameter: Address, InternalFileDataMessageSharePointSSN ) NOTE: SharePoint adaptern kastar fel om filen redan finns (även om ConfigOverwrite = yes?) eller om sökvägen till filen inte finns Om sändningen inte gick bra (Exception kastas) så skapas ett ESB-meddelande som skickas till ESB (via MessageBoxen) Man fångar SystemException 2 En post skapas i logg-databasen (tabell FileLogEvent) med status från sändningen (15)

14 3 Kontroll om notifierings-mail skall skickas, Config-parameter: SendNotification o En hjälp-fuktion anropas: CreateNotificationMessage() som skapar notifieringsmeddelandet Macron ersätts i Subject och MessageBody o Meddelandet skickas till Notification_WCF o Om sändningen inte gick bra (Exception kastas) så skapas ett ESB-meddelande som skickas till MessageBoxen o En post skapas i logg-databasen med status från sändningen 4 En slut-post skapas i logg-databasen med total status för överföringen SharePointNonmeta (WSS) Ett dummy-meddelande skapas: <dummy></dummy> Meddelande context Context property WSSConfigOverwrite WSSConfigNamespaceAliases WSSFilename WSSConfigPropertiesXml FILEReceivedFileName StockholmAugustPipelineComponentsArchivePath Config-parameter: WSSConfigOverwrite Config-parameter: WSSConfigNamespaceAliases InternalFileDataMessageFileDataFileName Hjälp-funktion: WSS_ConfigPropertiesXml() InternalFileDataMessageFileDataFilePath InternalFileDataMessageFileDataArchivePath FILE_SendPort adapter variabler: Adapter variabel MicrosoftXLANGsBaseTypesAddress SystemIOPathCombine( Config-parameter: Address, InternalFileDataMessageSharePointSSN ) NOTE: SharePoint adaptern kastar fel om filen redan finns (även om ConfigOverwrite = yes?) eller om sökvägen till filen inte finns Om sändningen inte gick bra (Exception kastas) så skapas ett ESB-meddelande som skickas till ESB (via MessageBoxen) Man fångar SystemException 1 En post skapas i logg-databasen (tabell FileLogEvent) med status från sändningen 2 Kontroll om notifierings-mail skall skickas, Config-parameter: SendNotification o En hjälp-fuktion anropas: CreateNotificationMessage() som skapar notifieringsmeddelandet Macron ersätts i Subject och MessageBody o Meddelandet skickas till Notification_WCF o Om sändningen inte gick bra (Exception kastas) så skapas ett ESB-meddelande som skickas till MessageBoxen o En post skapas i logg-databasen med status från sändningen 3 En slut-post skapas i logg-databasen med total status för överföringen 36 Scheman 361 UploadMetadata UploadMetadata skapas i SharePointFileSaverPipeline, FileSaverPipeline och WcfFileSaverPipeline och populeras med data från SharePoint, Receive Location, Receive Port mm Markerade element är Distinguished Properties <ns0:uploadmetadata xmlns:ns0=" <metadata> <ReceiveTime> T13:20: :00</ReceiveTime> (15)

15 <ArchivePath>ArchivePath_0</ArchivePath> <ConfigID>100</ConfigID> <FileName>FileName_0</FileName> <FileType>FileType_0</FileType> <SSN>SSN_0</SSN> <ErrandID>ErrandID_0</ErrandID> <DocumentType>DocumentType_0</DocumentType> <DigitalSignKey>DigitalSignKey_0</DigitalSignKey> <SHA512>SHA512_0</SHA512> <Created> T13:20: :00</Created> <Modified> T13:20: :00</Modified> <FileSize>10</FileSize> <ReceivePort>ReceivePort_0</ReceivePort> <ReceiveLocation>ReceiveLocation_0</ReceiveLocation> <ReceivePath>ReceivePath_0</ReceivePath> </metadata> </ns0:uploadmetadata> 362 InternalFileData InternalFileData används internt mellan de olika orkestreringarna Detta format skall aldrig användas utanför FileTransfer eftersom det kommer att ändras vid behov Markerade element är Distinguished Properties <ns0:root xmlns:ns0=" <FileData> <FileName>FileName_0</FileName> <FileSize>10</FileSize> <SHA512>SHA512_0</SHA512> <ArchivePath>ArchivePath_0</ArchivePath> <ConfigID>10</ConfigID> <FileID>10</FileID> <FilePath>FilePath_0</FilePath> <ReceiveTime> T13:20: :00</ReceiveTime> </FileData> <SharePoint> <ErrandID>ErrandID_0</ErrandID> <SSN>SSN_0</SSN> <FileType>FileType_0</FileType> <DocumentType>DocumentType_0</DocumentType> <DigitalSignKey>DigitalSignKey_0</DigitalSignKey> <Created> T13:20: :00</Created> <Modified> T13:20: :00</Modified> </SharePoint> </ns0:root> 363 ResendFile ResendFile är schemat för att trigga igång en omsändning av en fil Markerade element är Distinguished Properties <ns0:resendfiledata xmlns:ns0=" <FileLogID>10</FileLogID> </ns0:resendfiledata> (15)