DIGITAL KORTKATALOG MED FRITEXTSÖKNING OCH ANVÄNDARMEDVERKAN

Transkript

1 DIGITL KORTKTLOG MED FRITEXTSÖKNING OCH NVÄNDRMEDVERKN Beställare: Uppsala universitetsbibliotek i samarbete med Umeå Universitetsbibliotek (och Göteborgs universitetsbibliotek).

2 DEVO IT B KRISTIN JÖRG DTUM 2 1 OCR-TOLKNING NY SÖKMOTOR ELSTIC SERCH OPTIONELL FÄLT IPC KONFIGURTION NY FÄLT I IPC.PROPERTIES ELSTIC SERCH KONFIGURTION INSTLLTION KONFIGURTION FÖR INTEGRTION MED IPC ELSTIC SERCH MPPNING IMPORT FILFORMT FÖR INDTFIL EXEMPEL PÅ INDTFIL EXPORT SÖKNING I IPC TRÄFFLISTN KTLOGVISNING RÄTTNING V OCR TEXT (NVÄNDRMEDVERKN) CPTCH/DMINLOGIN RÄTTNINGSFORMULÄR RESULTT E-POSTMEDDELNDE TILL MODERTOR FÖR GODKÄNNDE MLL FÖR E-POSTMEDDELNDE MODERERINGSLIST MODERERINGS GODKÄNNDE/REFUSERING SLÄPP MODERTORLÅS FELRPPORT/MEDDELNDE FELRPPORTFORMULÄR MEDDELNDEKONFIRMERING EPOSTMEDDELNDE TILL DMINISTRTÖREN MLL FÖR E-POSTMEDDELNDET SYNKRONISERING MED IPCS INDEX KONVERTERING V UTF-8 TILL ISO SPRÅKTEXTER SITEMPS GENERERDE FILER SÖKMOTORPUBLICERING WEBDESIGN OCH W3C-VLIDERING STNDLONE-MODUL... 21

3 DEVO IT B KRISTIN JÖRG DTUM 3 1 OCR-tolkning Projektet bygger på att de skannade bilderna från katalogen OCR-tolkas för att på så vis ge underlag för fritextsökning på hela katalogen. OCR-tolkningen görs externt från applikationen och resultatet av tolkningen laddas in via en importfunktion i ett webbaserat formulär. 2 Ny sökmotor Elastic Search Sökmotorn baseras på en Open Source-baserad produkt, Elastic Search: Elastic Searach i sig bygger på Lucene, en javabaerad sökprogramvarar som har funnits och vidareutvecklats i drygt 10 år. Lucene har ett antal underprojekt knutna till sig där Elastic Search bara är ett. tt det här projektet dock valde Elastic Search beror på att den uppfyller ett antal punkter: Open Source. Enkelt att ta ner källkod, modifiera och vidareutveckla (vilket har skett) Förberedd för klustring. För framtida större indexeringar så står den här tekniken redo för att sättas i drift Förberedd för att kunna köra i molnet (cloud computing) Körs som en egen servertjänst och fungerar i Windows, Linux m.fl. Javabaserad Fungerar som en webservice (RESTful) med protokollet JSON. Mycket enkelt att anropa och sätta upp nya söktjänster runt. Stödjer flera PI-er: o JSON o Java o Groovy Har fler klienter för o Phyton o PHP o Perl o Ruby o Erlang o.net client Mycket enkel att konfigurera och administrera Stödjer dynamisk indexering. Indexera vad som helst och sök i det. Ett mycket aktivt community, och bra support. Mer bakgrundsinfo om Lucene och Elastic Search finns här. Elastic Search kommer härefter i dokumentet att refereras till som ES. 2.1 Optionella fält IPC har traditionellt stöd för ett fält i sitt index, huvuduppslag. Med introduktionen av ES så ges möjlighet att utöka antalet fält efter behov, exempelvis författare, titel och ISBN. För att utöka fältantalet så behöver detta konfigureras på tre ställen: 1. EsDynamicFields i ipac.properties 2. ES mappningsfil 3. Indatafilen för import (om data ska importeras. Det går att manuellt indexera varje post i redigeringsformuläret inifrån IPC och där fylla i alla värden manuellt). lla dessa gås genom i mer detalj nedan. lla optionella fält som tillkommer blir automatiskt sökbara.

4 DEVO IT B KRISTIN JÖRG DTUM 4

5 DEVO IT B KRISTIN JÖRG DTUM 5 3 IPC konfiguration 3.1 Nya fält i ipac.properties Värde Beskrivning Normalvärde EnableFullSearch Kopplar på/av den nya false funktionaliteten EsIndex Namn på indexet ipac EsType Namn på typen (t.ex card katalognamn) EsModeratingIndex Namn på kön med poster att moderera EsDynamicFields Kommaseparerad lista på extra fält EsSortOrder Sorteringsordning i indextext.sorted träfflista (för alfabetisk sortering) EsResultFields Vilka fält som ska visas i indextext träflistan SitemapPingUrls Vilka urlar som anropas för sitemappublicering. Nedanstående sitemapindexfil appendas till urlen. g?sitemap=, ping.aspx?sitemap=, m/siteexplorerservice/v1/ping?sitemap=, /submissions.ask.com/ping?sitemap= SitemapIndexFile Filnamn på den sitemapindex.xml genererade sitemapfilen dminFrom E-postadress för avsändaren för modereringsmeddelandet dminRecipient E-postadress för mottagaren för modereringsmeddelandet

6 DEVO IT B KRISTIN JÖRG DTUM 6 4 Elastic Search konfiguration 4.1 Installation ES laddas ner och installeras enligt instruktionerna här: Konfiguration för integration med IPC För att integreras med IPC så finns några inställningar som behöver göras i filen <ES_HOME>/config/elasticsearch.yml. Notera att denna fil måste redigeras i en editor som klarar UTF-8 (exempelvis EditPad Lite): # Cluster Settings cluster: name: escluster # Gateway Settings #gateway: # recover_after_nodes: 1 # recover_after_time: 5m # expected_nodes: 2 # index : analysis : analyzer : mycollation : type : custom tokenizer : keyword filter : [mycollator] entrynalyzer : type: custom tokenizer: standard filter: [standard, lowercase, asciifolding, replacechars] textnalyzer : type: custom tokenizer: standard filter: [standard, lowercase, mystop, snowball_stemming] filter : mycollator : type : icu_collation language : sv_se snowball_stemming: type: snowball language: Swedish asciifolding: type: se.devo.elasticsearch.filter.configurablesciifoldingtokenfilterfactory ignore_chars : åäöåäö replacechars: type: se.devo.elasticsearch.filter.replacechartokenfilterfactory

7 DEVO IT B KRISTIN JÖRG DTUM 7 char_pairs : [i,j, v,w] mystop: type: stop stopwords: [och,det,att,i,en,jag,hon,som,han,på,den,med,var,sig,för,så,till,är,men,ett,om,hade,de,av,icke,mig,du,henne,då,sin,nu,har,inte,hans,honom,skulle,hennes,där,min,man,ej,vid,ku nde,något,från,ut,när,efter,upp,vi,dem,vara,vad,över,än,dig,kan,sina,här,ha,mot,alla,un der,någon,allt,mycket,sedan,ju,denna,själv,detta,åt,utan,varit,hur,ingen,mitt,ni,bli,blev, oss,din,dessa,några,deras,blir,mina,samma,vilken,er,sådan,vår,blivit,dess,inom,mellan, sådant,varför,varje,vilka,ditt,vem,vilket,sitta,sådana,vart,dina,vars,vårt,våra,ert,era,vilk as] Förklaringar Cluster name: Det namn som instanser av samma kluster ska ges (för IPCs del räcker normalt en instans, dvs inget kluster. nalyzers är den del som normaliserar indexet (och sökfrågan). För IPC:s konfigureras följande analyzers: mycollation för sortering enligt svensk standard i träfflistan (alfabetisk sortering) entryanalyzer analyzer för huvuduppslaget som förutom standardhantering och lowercasing gör asciifolding vilket är speciell normalisering som tar bort alla diakriter och specialtecken förutom de i åäöåäö. Normaliseringen kör också replacechars vilket kan konfigureras för kataloger där vissa tecken ska hanteras likvärdigt i sökningen. T.ex w=w, i=j etc. textnalyzer analyzern för ocr-texten. Gör en standardfiltrering och lowercasing samt tar bort stoppord, ord som inte har betydelse för sökningen, ex och, att, eller osv. nalyzern gör också en filtrering på stemming, vilket betyder att orden analyseras enligt svensk grammatik och bryts ner till sin grundform. Ex. jobbar indexeras som jobb och matchar jobb, jobbar, jobbade, jobbat etc. Med denna teknik behöver man inte skriva sökordet exakt utan det ger träff ändå.

8 DEVO IT B KRISTIN JÖRG DTUM Elastic Search mappning För att ES ska hantera de olika fälten i indexet korrekt behöver den ha en mappningsfil för de fält som ingår. Mappningsfilen läggs i <ES_HOME>/config/mappings/<index>/<type>.json <index> motsvarar värdet EsIndex i ipac.properties (se ovan). <type> motsvarar värdet EsType i ipac.properties (se ovan). Om man har flera kataloger så delar man upp dessa i ES m.h.a. type-värdet. Exempel: <ES_HOME>/config/mappings/ipac/alfen.json: { "alfen" : { "properties" : { "imageid" : {"type" : "integer"}, "text" : {"type" : "string", "analyzer" : "textnalyzer"}, indextext" : { "type" : "multi_field", "fields" : { "indextext" : {"type" : "string", analyzer" : "entrynalyzer", "boost" : "2.0" }, "sorted" : {"type" : "string", "analyzer" : "mycollation"} } } } } } Fältens typ och analyzers definieras under properties imageid bildnummer text - ocr texten, speciell analyzer = textnalyzer indextext definieras som multi_field för att dels tolkas som indextext med analyzern entrynalyzer, dels kunna sorteras alfabetiskt med mycollation Genom att konfigurera boost så kan man ge olika fält olika ranking Extra mappningar för optionella fält Notera att ES har en default-mappning för fält som tillkommer i indexet baserat på en tolkning av dess innehåll. Dvs fält som ser ut som siffror tolkas som integer, datumfält som datum osv. Och om man definierar en default-analyzer i elasticsearch.yml kommer denna användas för dessa fält helt utan att mappning behövs. Om man dock vill ha lite kontroll på vad som händer och hur fälten ska hanteras i ES så rekommenderas att man skapar en explicit mappning för dom. Exempel för tillägg av några extrafält: { "alfen" : { "properties" : { (existerande fält) "author" : {"type" : "string", "no_analyze"}, "title" : {"type" : "string", "analyzer" : "textnalyzer"}, "isbn" : {"type" : "string, no_analyze } }

9 DEVO IT B KRISTIN JÖRG DTUM 9 } } 5 Import Laddning av OCR-tolkat data görs via importfunktionen. Om det finns en existerande indexering i databasen (MySQL) så kommer de indexpunkterna att injiceras i ES-indexet och skriva över de eventuella huvudupslag som anges i indatafilen. Detta p.g.a att det kan antas att den manuella indexering som tidigare gjorts håller en högre kvalitet än vad en automatisk ocr-tolkning kan ge. Finns dock inget index i databasen så används det som angivits i indatafilen. Mapp med ocr-textfiler. Rotmappen där alla filer ligger. Måste vara åtkomligt från servern. Indatafilnamn. Semikolonseparerad fil med indexeringsinformation. Kan lämnas tom om ocrfilerna följer ipacs standardkatalogstruktur för bilddatat. Skriv över. Raderar gamla indexet och skriver om från nytt. Uppdatera. Om indatafilen beskriver en delmängd av indexet så kan man uppdatera denna del. Kan användas i kombination med kryssrutorna för val av indatafält att läsa (se nedan). Läs indextext, Läs OCR-fil + optionella fält. Här listas alla indatafält som kryssrutor och man kan filtrera bort data som man ev. inte vill läsa in i indexet. Encoding. Vilken encoding indatafilen har. UTF-8 eller ISO stöds. Internt i ES hanteras dock fullt UTF Filformat för indatafil Indatafilen är semikolonseparerad och har följande format: <bildnr>;<ocrtext-filnamn>;[<huvuduppslag>][;<opt-1>;<opt-2> <opt-n>] Bildnr är bildens nummer och motsvarar imageid i IPC Ocrtext-filnamn är filnamnet för ocrtexten t.ex txt. Filnamnet tolkas relativt rotmappen som anges i formuläret. Huvuduppslag är den extraherade del av texten som utgör huvuduppslag. Den här texten, om den anges används i indexlistan i IPC (vid visningsläget) och har en högre ranking i sökningen än övrig text och träffar på texten hamnar högre i träfflistan. Huvuduppslaget kan utelämnas.

10 DEVO IT B KRISTIN JÖRG DTUM 10 Opt-1, opn-2...opt-n är optionella dynamiska fält för att utöka indexet med nya sökbara fält. Se mer ovan om optionella fält. 5.2 Exempel på indatafil ; txt;albeck Jensen, Erik ; txt;Jensen, Erik albaeck ; txt; ; txt; ; txt;anrud, Hans ; txt; ; txt; ; txt; ; txt; ; txt;arhus 6 Export Data exporteras till samma filstruktur som IPCs bilddata, dvs textfilerna namnges med 8-ställigt nollutfyllt nummer efter bildnummret. Varje bildfil läggs i en mapp med tre teckens nollutfyllt nummer. En mapp per tusental bilder. llt enligt IPCs konfiguration i ipac.properties. Utdatafil skapas i csv-format. llt läggs i en utpekad rotmapp. Encoding är alltid UTF-8. Ex: datafil.csv 000/ txt 000/ txt 001/ txt 001/ txt... Exporten kan användas för backup av katalogens indexering

11 DEVO IT B KRISTIN JÖRG DTUM 11 7 Sökning i IPC Sökformuläret ser exakt likadant oavsett om man konfigurerat för fritextsökningen med Elastic Search eller ej. Här kan man söka på allt innehåll i alla indexet via sökrutan. Sökspråket som går att använda i ES bygger på Lucene och den fulla dokumentationen om alla möjligheter hittas här: Några exempel: strindberg - hittar allt om olika Strindberg strindberg august - hittar träffar Strindberg och eller ugust ingår. Träffar där både Strindberg och ugust ingår får dock en högre ranking och listas tidigare i listan +strindberg +august - hittar bara träffar där Strindberg och ugust båda är med i samma dokument strindberg +august -pjäs - Hittar träffar som nämner ugust Strindberg, men sorterar bort träffar som hadlar om. Wildcards stöds. "* " matchar noll eller flera tecken, "?" matchar 0 eller 1 tecken.

12 DEVO IT B KRISTIN JÖRG DTUM 12 8 Träfflistan Träfflistan listar alla träffar som Elastic Search har hittat. Listan innehåller följande delar: Bildnr. Huvuduppslag. OCR text. Kataloglapp. Länk in i katalogvisningen på vald träff Huvuduppslaget för träffen Den highlightade delen av dokumentet som innehåller träffen Förhandsvisning av kataloglappen när man hovrar musen över länken. Optionella fält visas också i tabellen om fältet EsResultFields i ipac.properties inkluderar dessa. 9 Katalogvisning Då fritextsökningsfunktionaliteten aktiverats får IPC följande utseende. Det som tillkommer är ramen längst ner till vänster i fönstret. Där visas OCR-texten tillsammans med en länk till ett formulär för rättning. Vid bläddring mellan kataloglapparna uppdateras ocr-textfönstret löpande.

13 DEVO IT B KRISTIN JÖRG DTUM Rättning av OCR text (användarmedverkan) 10.1 Captcha/dminlogin Vid klick på länken för rättning tas man först till ett formulär som beskriver vad som kommer att göras och användaren får en Captcha-fråga att fylla i. Detta är för att förhindra automatiserade spam-botar o.dyl att komma vidare. Som alternativ kan de adminstratörer som har dminkonto klicka på den länken och logga in. nvändare som redan en gång under sessionen svarat på Captchan eller är inloggade som administratörer går direkt till redigeringsformuläret och skippar alltså över denna sida.

14 DEVO IT B KRISTIN JÖRG DTUM Rättningsformulär Här får användaren rätta texten och klicka Spara Resultat Denna sida visas för vanliga användare. Rättningen lagras i en speciell kö för godkännade (moderering) av administratör innan rättningen godkänns. För inloggade adminsitratörer så behövs ej godkännade utan ändringen aktiveras omedelbart E-postmeddelande till moderator för godkännade Ett e-postmeddelande skickas till dminRecipient (ipac.properties) med följande innehåll: OCR text för moderering

15 DEVO IT B KRISTIN JÖRG DTUM 15 Följande text har senast rättats av en användare Bild Nr: IndexText: micis, Edmondo de Nr 2645 Inkom micis, Edmondo de Il Homanzo d'un Maestro. Milano Det finns nu 1 träff som kräver moderators godkännade för publicering 10.5 Mall för e-postmeddelande Mallen för e-postmeddelandet bygger på Velocity och definieras under <tomcat>/<katalog>/ ipac/web-inf/classes Filerna heter (en för englelska och en för svenska): moderator_en.vm moderator_sv_se.vm 10.6 Modereringslista Moderatorn får hämta den första i kön (fler kan ha tillkommit). Klicka på Hämta nästa så hämtas nästa post och låses för redigering kopplat till sessionen.

16 DEVO IT B KRISTIN JÖRG DTUM Modererings godkännade/refusering dministratören kan här redigera och rätta vidare. När allt ser bra ut så klicka på ett av valen: Klicka godkänn (och hämta nästa i listan Refusera. Rättningen kastas bort. Så snart rättningen är godkänd aktiveras den i indexet och blir sökbar Släpp moderatorlås Om en adminsitratör har påbörjat men inte avslutat en moderering under en session så kommer det låset inte att släppas (förrän vid nästa IPC-omstart). För att omedelbart släppa alla lås och därmed göra kön tillgänglig igen så finn det en funktion under IPC s adminmeny. Klicka på länken Släpp moderatorlås. I nedanstående fall fanns inga lås:

17 DEVO IT B KRISTIN JÖRG DTUM Felrapport/meddelande Ett formulär för att skicka en felrapport eller meddelande till administratören finns tillgängligt från katalogvisningsläget i övre högra hörnet:

18 DEVO IT B KRISTIN JÖRG DTUM Felrapportformulär Meddelandetyp. En av: o Meddelande o Felrapport Epostadress. Valfri e-postadress om användaren vill bli kontaktad Meddelande. Texten som användaren skriver Meddelandekonfirmering

19 DEVO IT B KRISTIN JÖRG DTUM Epostmeddelande till administratören IPC meddelande vsändare: ocrtest@devo.se Meddelandetyp: message Jag vill testa meddelandefunktionen Om användaren angett en e-postadress så sätts denna automatiskt som reply-to i mailet och det är då bara att klicka på Svara-knappen i epostverktyget Mall för e-postmeddelandet Mallen för e-postmeddelandet bygger på Velocity och definieras under <tomcat>/<katalog>/ ipac/web-inf/classes Filerna heter (en för englelska och en för svenska): message_en.vm message_sv_se.vm 12 Synkronisering med IPCs index Då ES kommer att hålla ett index parallellt med det index som IPC (eventuellt) haft så hålls dessa synkroniserade m.a.p huvuduppslaget och indexlistan. Så snart ett huvuduppslag rättats så blir det också parallellt inlagt i IPC s databas Konvertering av UTF-8 till ISO Då ES index klarar fullt UTF-8 och IPC inte gör det (idag) så konverteras alla index från UTF-8 till ISO encoding via en SCII folding algorithm som försöker hitta motsvarigheter i ISOencodingen om möjligt. Om ingen match hittas kastas tecknet. 13 Språktexter lla texter i de nya gränsnitten i fritextsökningsfunktionen hämtas från två filer: fullsearch.properties fullsearch.sv_se.properties Den ena (sv_se) innehåller svenska tecken och den andra innehåller engelska. När man byter språkinställning i IPC så byts också aktuell localeinställning och därmed en av dessa två filer synkroniserat. 14 Sitemaps Funktionen skapar sitemapindex och sitemapfiler filer enligt Googles standard. Funktionen bygger tt värde från ipac.properties: SitemapIndexFile.

20 DEVO IT B KRISTIN JÖRG DTUM 20 SitemapIndexFile är filnamnet för den fil som skapas i rotmappen under webapplikationen. Default filnamn är sitemapindex.xml. OBS! Funktionen är inte beroende av fritextsökningsfunktionen utan fungerar även i gamla IPC. lla kort som har en indexering, oavsett om det är i databasen eller ocr-tolkat tas med i den genererade sitemapfilen. Det är lämpligt att köra funktionen om nya indexeringar skett. Har man dock OCR-texter inläst för samtliga kort är detta onödigt. ktivera funktionen genom att klicka på länken Generera sitemaps i adminsidan för IPC Genererade filer Då en sitemapfil max får innehålla länkar så skapas en sitemapindex fil som i sin tur pekar ut underliggande filer med max länkar per styck. Robots.txt med länk till den sitemapindexfil som genererats Sitemapindex.xml med hänvisning till sitemap-1.xml sitemap-n.xml Sitemap-1.xml Sökmotorpublicering En automatisk sökmotorpublicering till de i SiteMapPingUrls (se ipac.properties ovan) angivna listan med URL:ar görs. För varje http-anrop listas responsen. För de länkar som gett felmedelande kan man klicka på länken för att närmare undersöka vad som sker. För att göra anrop till fler sökmotorer som stödjer sitemaps är det bara att konfigurera detta i SiteMapPingUrls värdet i ipac.properties. Det är en kolonseparerad lista.

21 DEVO IT B KRISTIN JÖRG DTUM 21 Man kan nämna att Yahoos tjänst för sitemaps inom en snar framtid kommer att integreras med Bing (Yahoo är uppköpta av Microsoft). 15 Webdesign och W3C-validering lla nya webbsidor enligt det här projektet är skapade med XHTML 1.0 och CSS. Sidorna använder en s.k decoratorfunktion som klär sidorna efter en mall som definieras i WEB-INF/decorators.xml Den filen väljer ut en mall från /decorators-mappen att klä sidan i. M.a.o ligger all styling i den decoratorfilen och vill man ändra hur layouten ser ut behöver man då bara göra det där. lla sidor som skapats i projektet uppfyller W3C-standard till fullo. 16 Standalone-modul Fritextsökningsfunktionen med sökformulär, träfflista, visning av dokumentet, användarmedverkansfunktioner och sitemapgenerering finns tillgängligt som en fristående webapplikation utan koppling till IPC. Dock för att den ska vara användbar behöver den anpassas och integreras med det material som den ska indexera och söka i.