Metoder och redskap för framtagning av webbstatistik för BIBSAM Ulf Kronman, Karolinska Institutets Bibliotek

Transkript

1 Metoder och redskap för framtagning av webbstatistik för BIBSAM Ulf Kronman, Karolinska Institutets Bibliotek Denna handbok riktar sig främst till forskningsbibliotekens webbtekniker. Den föreslår några metoder för insamlingen av de olika statistikuppgifter som ingår i den nationella forskningsbiblioteksstatistiken och diskuterar i slutet några redskap som kan vara lämpliga för statistikbearbetningen. För att få ett underlag för att diskutera lämpliga metoder för statistikframtagning börjar vi med en kort genomgång av hur webben fungerar. Tekniken bakom World Wide Web Tekniken bakom webben är i grund och botten enkel: En transaktion börjar med att ett webbläsarprogram kontaktar en webbserver och sänder en förfrågan om ett dokument. Webbservern kontrollerar om dokumentet finns på webbplatsen, svarar på webbläsarens förfrågan och levererar sedan dokumentet till webbläsaren. Efter detta kopplas nätverksförbindelsen mellan webbläsare och webbserver ned. Efter att transaktionen är klar finns en kopia av webbsidan på den dator som webbläsaren befinner sig på. Det är alltså den lokalt lagrade sidan som besökaren på webbplatsen läser och har som utgångspunkt om han letar efter länkar för att sända en förfrågan om en ny sida till en webbserver. Bild 1 visar hur en sådan förfrågan och överföring går till. Bilden visar också att webbservern skriver en rad i en transaktionslogg för varje förfrågan och datafil som levereras till webbläsaren. Bild 1. Tekniken bakom World Wide Web HTTP hypertext transport protocol Webbläsarens förfrågningar och webbserverns svar och dokument sänds över nätet med hjälp av Internet-protokollet TCP/IP och webbens eget protokoll HTTP Hypertext 1 (1)

2 Transport Protocol. HTTP är vad man kallar ett tillståndslöst (stateless) protokoll. Det innebär att inga kopplingar mellan webbläsare och webbserver sessioner bevaras efter att en webbsida har levererats till webbläsaren. Tekniskt sett existerar det alltså inte något sådant som ett "besök" på webben. Det är denna brist på sessioner som är ett grundläggande problem för insamlingen av uppgifter om besök på en webbplats. Webbsidornas uppbyggnad En webbsida är en datafil som innehåller text i form av HTML-direktiv. Direktiven styr hur webbläsaren ska presentera sidan. Om man vill ha något annat än text på sidan måste man anropa en separat datafil för varje element som ska infogas på sidan. På så vis infogas till exempel bilder med HTML-direktivet <img src=" ">. Bild 2 visar exempel på HTML-kod med några direktiv för att infoga en stilmall, ett vascript och några bilder. Bild 2. En webbsidas uppbyggnad Webbserverns transaktionslogg För varje del av en webbsida som webbservern levererar till en webbläsare skriver den en rad i sin transaktionslogg. Det är vanligen denna transaktionslogg som ligger till grund för insamlingen av statistik från en webbplats. Oftast görs analysen med ett separat program som läser transaktionsloggen och översätter uppgifterna i den till meningsfull information. Resultatet presenteras sedan direkt i analysprogrammet, på en webbsida, i en textfil eller som ett ordbehandlings- eller kalkyldokument. Common Log File Format Det första gemensamma formatet för webbservrarnas transaktionsloggar som skapades kallas Common Log File Format (CLF). Bild 3 visar vilka uppgifter som lagras i denna enkla typ av transaktionslogg. 2 (2)

3 Bild 3. Transaktionslogg i Common Log File Format. W3C Extended Log File Format År 1996 utfärdade webbkonsortiet W3C en rekommendation för ett utbyggbart loggformat kallat W3C Extended Log File Format. I detta loggformat kan webbmastern bestämma vilka uppgifter som ska finnas i webbserverns transaktionslogg och i vilken ordning på raden de ska placeras. Det görs genom att transaktionsloggen inleds med en rad med formatdirektivet #Fields:, se bild 4. Bild 4. Transaktionslogg i W3C Extended Log File Format. Nytillkomna uppgifter i jämförelse med Common Log File Format är markerade med fetstil. I skrivande stund år 2002 verkar det endast vara Microsofts webbserver Internet Information Server (IIS) som kan generera transaktionsloggar i W3C Extended Log File Format. Apache, som är den vanligaste webbservern, använder sig tyvärr fortfarande av Common Log File Format, eller en egen utvidgad variant av detta. 3 (3)

4 Cookies används för att skapa sessioner För att försöka råda bot på bristen på besökarsessioner i HTTP har man infört en teknik som kallas cookies. En cookie är en liten textfil som levereras från webbservern till webbläsaren första gången den hämtar en sida från en webbplats. Vid varje efterkommande anrop till webbplatsen skickar webbläsaren sedan med denna cookie tillsammans med anropet. På så vis kan man åstadkomma en unik identifiering av en specifikt webbläsarprogram. En cookie gör alltså att man kan avläsa en slags "session" mellan en webbläsare och en webbserver genom att studera de datafiler som i följd har levererats till en specifik webbläsare. Cookies möjliggör också identifiering av webbläsare bakom brandmurar och proxyservrar, eftersom de är kopplade till webbläsaren snarare än datorns IP-adress som ju inte syns för datorer bakom en proxyserver. Mer om brandmurar och proxyservrar senare. För att kunna utnyttja cookies för identifiering av webbläsare på sin webbplats krävs någon form av programmering. Det vanligaste är att man använder sig av så kallade dynamiska webbsidor, programmerade med vascript, ASP, PHP, JSP, Perl eller Cold Fusion. Vissa leverantörer av analysprogram tillhandahåller insticksprogram som man kan installera på sin webbserver för att kunna generera cookies för att identifiera besökarnas webbläsare i samband med analysen av loggfilen. Komplikationer i webben Innan vi kan börja reda ut begreppen kring frågorna om besökare, besök och sidleveranser är det några fler komplicerande faktorer på webben som vi behöver belysa. Det handlar om mellanlagring av webbsidor i det som kallas fil-cache och proxy-servrar som gör att webbservern inte kan se IP-adresserna på besökarnas datorer. Fil-cache Alla webbläsarprogram har en fil-cache som gör att nedladdade webbsidor och sidelement lagras lokalt på hårddisken på den dator där webbläsaren arbetar. Om användaren väljer att titta på en sida som webbläsaren tidigare har laddat ned över nätet kommer den att läsa in sidan från datorns hårddisk istället för via nätet. Det gör att webbsidor kan laddas in mycket snabbare, speciellt om man använder Internet via ett modem. För att vara säker på att webbläsaren inte visar föråldrade sidor ska den sända ett så kallat villkorligt GET-kommando till webbservern och kontrollera om filen på servern är ändrad senare än filen i cachen. Om filen på servern är ändrad ska webbservern sända tillbaks denna. Webbläsarna verkar dock ofta slarva med denna kontroll, speciellt när man använder webbläsarens bakåt-knapp. Vi får alltså räkna med att besökarna kan läsa en hel del återanvända sidor som webbservern inte har kunnat registrera nedladdningen av. Proxyservrar och brandmurar En proxyserver är en slags mellanstation som fungerar som en webbläsande bulvan för besökare bakom brandmurar eller besökare som av någon orsak vill ha en annan IPadress än vad de har i sin egen dator. En brandmur är en dator som av säkerhetsskäl filtrerar TCP/IP-trafiken mellan två olika nätverk och stänger ute vissa tjänster. Många brandmurar har inbyggda proxyservrar. Proxyservrar genererar två olika problem för den som vill hämta statistik ur transaktionsloggen på sin webbserver: Dels går ursprungsdatorns IP-adress förlorad och dels har proxyservern en fil-cache som webbsidor kan hämtas ifrån utan att webbservern får någon möjlighet att registrera detta i sin transaktionslogg. Det finns undersökningar som indikerar att runt en femtedel av publika webbtjänsters sidor hämtas från cachen på besökarnas proxyservrar. 4 (4)

5 Möjliga mått webbplatsernas användning Denna del av handboken diskuterar felkällor, fördelar och nackdelar med olika mått för en webbplats användning, samt föreslår definitioner av begreppen. Bild 5 åskådliggör relationerna mellan begreppen besökare, besök, sidor och anrop: Bild 5. Relationer mellan besökare, besök, sidor och anrop. En besökare gör två besök och hämtar tre sidor vid varje besök. Sidorna består vardera av fem element som genererar varsitt anrop. Webbplatsbesökare När vi i vardagslag talar om en besökare på en webbplats menar vi som regel en person, men i webbserverns transaktionslogg registreras oftast bara IP-adresser. Mellan den läsande personen och den IP-adress som webbservern registrerar i sin transaktionslogg finns alltid en minst en webbläsare och en dator. Ofta finns det även en proxyserver som gör att många besökare får samma IP-adress. För att försöka komma förbi problemen med brandmurar och proxyservrar använder man sig vanligen av cookies för att identifiera en unik webbläsare. Tekniken med cookies ger en långt mindre osäkerhet än att använda IP-adresser som identifiering av en besökande person. Men relationen mellan personer och webbläsare är ändå inte helt entydig: En publik webbläsare kan användas av många personer och en person kan använda flera olika webbläsare - hemma, på arbetet och på publika datorer. Färska undersökningar visar att så många som hälften av de amerikanska Internetanvändarna når webben från mer än en plats. Att kräva inloggning med användarnamn och lösenord på sin webbplats är naturligtvis det säkraste sättet att identifiera personer. Men det är också ett av de säkraste sätten att tappa besökare på en publik webbplats. Det kan knappast rättfärdigas endast för statistikändamål. Om vi sorterar bort alternativet inloggade användare står vi inför frågan om vi ska definiera en besökare som en IP-adress eller en webbläsare. Några andra val ger webbserverns loggfil oss inte. Här är en sammanställning av fördelar och nackdelar med respektive val: Besökare = IP-adress (IP-besökare) Fördelar: 5 (5)

6 Enkelt, kräver oftast inga ändringar i webbservern Analysen går att göra med enkla statistikprogram Nackdelar: Alla personer bakom samma brandmur/proxyserver blir en enda besökare Flera personer som använder samma publika dator blir samma besökare Personer som använder flera datorer blir flera besökare Besökare = webbläsare (webbläsarbesökare) Fördelar: Statistiken över besökare blir mycket mer korrekt i förhållande till den allmänna uppfattningen att en besökare är en person Nackdelar: Flera personer som använder samma publika webbläsare blir samma besökare Personer som använder flera webbläsare blir flera besökare Alla webbservrar som ingår i webbtjänsten måste kunna hantera cookies och vara konfigurerade för utvidgad transaktionsloggning Statistikinsamlingen kräver ett analysprogram som kan hantera cookies Någon standardiserad definition av begreppet besökare på webben finns alltså inte, men det verkar som om de flesta kommersiella aktörer som räknar antal besökare på ett seriöst sätt använder sig av cookiehantering och räknar en webbläsare som en besökare. Söktjänster är inte besökare Söktjänsterna på Internet har speciella program så kallade robotar eller crawlers som automatiskt samlar in sidor och följer länkar på samma vis som en vanlig webbläsare gör. Dessa program blir en speciell typ av "besökare" som vi inte vill ha med i vår statistik för webbplatsen. Det är relativt enkelt att filtrera bort söktjänsternas program om man i förväg har sett till att uppgiften om webbläsarens identifierare (user agent) finns med i transaktionsloggen. Söktjänsternas program brukar identifiera sig som webbläsare med speciella namn som till exempel Googlebot (Google) och Scooter (Alta Vista). För att få in den uppgiften i loggfilen måste man använda sig av utvidgad transaktionsloggning enligt W3C:s specifikation eller det utvidgade CLF-formatet XLF/ELF som Apache-servern använder sig av. Identifierarna för de seriösa robotar som besökt ens webbplats hittar man genom extrahera fram alla rader i loggfilen med förfrågningar efter filen robots.txt. Det är denna fil som innehåller instruktioner om vilka delar av webbplatsen ett insamlingsprogram får besöka och varje korrekt programmerat insamlingsprogram ska därför inleda sitt besök på webbplatsen med att läsa den. Det finns också listor över de vanligaste robotidentifierarna att hämta på webben. I Bilaga A: Identifierare för söktjänsternas insamlingsprogram finns en lista över de program som bör uteslutas vid beräkningen av antal besök på webbplatsen vid beräkning av statistiken för BIBSAM. Är bibliotekets personal webbplatsbesökare? Oavsett om man bestämmer sig för att en besökare är lika med en webbläsare eller en IP-adress brukar man undvika att räkna organisationens eller företagets egen personal som en besökare. Det ordnar man relativt enkelt i analysprogrammen genom att filtrera bort besök från organisationens egna IP-adresser från statistiken. Man bör dock undvika att filtrera bort publika datorer i sina egna byggnader, eftersom besök från dessa ju måste betraktas som externa besök. För insamlingen av statistik från bibliotekens webbplatser har BIBSAM valt att inte kräva att man ska exkludera personalens besök från statistiken. Detta har gjorts för att hålla en konsekvent linje i statistikrapporteringen (i den nationella forskningsbiblioteksstatistiken exkluderas inte personalens användning av biblioteket, ex avseende personalens lån, inpasseringar, databassökningar osv) och för att i någon mån förenkla för biblioteken. Det kan vara komplicerat att skilja ut publika datorer i den egna 6 (6)

7 byggnaden och inkludera dem i statistiken, samtidigt som man exkluderar personalens datorer För den nationellla forkningsbiblioteksstatistiken gäller alltså följande: Bibliotekens personal räknas som webbplatsbesökare. Definition av begreppen unika webbläsarbesökare och unika IP-besökare Eftersom det råder en viss sammanblandning av begreppen besökare och besök har man i webbsammanhang valt att införa begreppet unika besökare (unique visitors) för att beteckna en enda besökare, oavsett hur många besök han har gjort på webbplatsen under mätperioden. För att ytterligare tydliggöra om vi baserar räkningen av unika besökare på webbläsare eller IP-adresser blir vi tvungna att införa de något klumpiga begreppen unika webbläsarbesökare och unika IP-besökare. Vi får då följande definitioner av begreppen: En unik webbläsarbesökare är en unikt identifierad webbläsare, använd minst en gång av en eller flera fysiska personer för att göra anrop om filer från webbplatsen under den mätta tidsperioden. En unik IP-besökare är en IP-adress, använd minst en gång av en eller flera fysiska personer för att göra anrop om filer från webbplatsen under den mätta tidsperioden. I den nationella forskningsbiblioteksstatistiken är det dock inte antalet unika webbläsarbesökare eller unika IP-besökare som ska rapporteras, utan antalet virtuella besök. Virtuella besök Den konventionella definitionen av ett besök på en webbplats brukar vara: "En sekvens av anrop efter datafiler från samma webbläsare eller IP-adress med ett uppehåll mindre än 30 minuter mellan två konsekutiva anrop." Ett uppehåll längre än 30 minuter initierar ett nytt besök. Om begreppet webbplatsbesökare är behäftat med otydlighet i relationen mellan person och webbläsare eller person och IP-adress, så är begreppet virtuellt besök belastat med ytterligare en komplikation; både webbläsare och proxyservrar har en fil-cache, där webbsidor kan hämtas utan att webbservern är inblandad. Det betyder att en besökare kan läsa webbsidor från vår webbplats utan att det syns i webbserverns transaktionslogg. Begreppet virtuellt besök är alltså behäftat med följande felkällor: Flera personer kan använda samma webbläsare En person kan använda flera webbläsare Sidor kan hämtas från webbläsarens cache utan att det syns i transaktionsloggen Sidor kan hämtas från en proxyservers cache utan att det syns i transaktionsloggen Många webbläsare kan besöka webbplatsen via proxyservrar och få samma IPadress och se ut som en och samma besökare, varvid sidorna som hämtas till de olika webbläsarna kommer att flätas ihop till ett enda långt besök Eftersom begreppet virtuellt besök är beroende av vilken definition man väljer på webbplatsbesökare kommer vi även här att få två möjliga definitioner. För tydlighetens skull väljer vi att införa begreppen webbläsarbesök och IP-besök. Om söktjänsternas insamlingsprogram inte ska räknas som besökare får vi följande förslag till definitioner av virtuella besök på en webbplats: Ett webbläsarbesök på en webbplats utgörs av en serie anrop efter datafiler från samma unika webbläsarbesökare, där tidsskillnaden mellan två konsekutiva anrop alltid är mindre än 30 minuter. Ett IP-besök på en webbplats utgörs av en serie anrop efter datafiler från samma unika IP-besökare, där tidsskillnaden mellan två konsekutiva anrop alltid är mindre än 30 minuter. 7 (7)

8 Sidleveranser Vår uppfattning av vad som är sidor och de uppgifter vi hittar webbserverns transaktionslogg skiljer sig åt. Det vi uppfattar som en helhet är i webbserverns loggfil representerat av en samling datafiler som levererats till webbläsaren och byggts ihop av den. När vi vill redovisa hur många sidor som levererats från vår webbtjänst måste vi alltså räkna bort de "icke-innehållande" dekorations- och navigationselement som används till att bygga upp sidan. Det rör sig i regel om stilmallar, vascript, bilder och andra mediafiler, men ibland också navigationsdelarna av ett ramset (frameset). När man beräknar antalet levererade sidor gäller det även här att se till att exkludera sidor som levererats till söktjänsternas insamlingsprogram från statistiken. Eftersom det i detta fall inte spelar någon roll om vi baserar statistiken på besökande webbläsare eller IP-adresser kan vi göra en gemensam definition av begreppet sidleverans: Sidleveranser är innehållsfiler från en webbtjänst levererade till unika webbläsarbesökare eller IP-besökare. Vi får inte glömma att även måttet sidleveranser är behäftat med fel. Många av sidorna som besökarna läser kan de ha fått ur cachen på sin webbläsare eller cachen på en proxyserver. Vi kan dock hoppas att felen är någorlunda jämt fördelade över tiden och mellan olika webbplatser. Anrop Begreppet anrop (hits, requests) används för att redovisa hur många förfrågningar efter datafiler som webbtjänsten totalt har bearbetat. Det är främst ett tekniskt mått på hur mycket webbservrarna arbetar och bör undvikas i vanliga statistiksammanhang. Anrop har alltför ofta sammanblandats med antalet levererade sidor, vilket leder till en mycket felaktig statistik. Antalet anrop är ofta fem gånger större än antalet levererade sidor, beroende på hur många dekorationselement varje sida innehåller. Om man väljer att mäta antalet anrop är det sannolikt inte relevant att utesluta anrop från personal och söktjänsternas insamlingsprogram, eftersom de ju belastar webbservern och datanätet lika mycket som externa förfrågningar. Förslag till definition av begreppet anrop: Anrop är en webbtjänsts besvarade förfrågningar efter datafiler. I den nationella forskningsbiblioteksstatistiken ska antalet virtuella besök rapporteras och inte antalet anrop. Metoder för beräkning av olika statistikmått Här följer en diskussion om vad som måste göras för att använda de olika metoderna för att beräkna statistik på en webbplats. Vi väljer att diskutera dem i ordning efter stigande svårighetsgrad i planering och programanpassning. Gemensamma åtgärder för alla statistikmått Oavsett vilket mått man avser att använda för att redovisa utnyttjandet av sin webbplats är det en del förberedande åtgärder man måste tillgripa för att kunna få fram uppgifterna. 1. Identifiera vilka webbservrar som ingår i webbtjänsten Först måste man besluta vilka webbservrar som ska räknas som en del av webbtjänsten. Den definition på ett biblioteks webbplats som den nationella forskningsbiblioteksstatistiken bygger på säger följande: "Som bibliotekets webbplats räknas alla webbservrar som besvarar externa förfrågningar i bibliotekets unika domän på Internet." Webbservrar som tillhandahåller tjänster vars statistik redovisas på annan plats ska exkluderas från webbplatsstatistiken. Om till exempel bibliotekets katalog har 8 (8)

9 webbgränssnitt bör besök till och leveranser av dessa sidor exkluderas från webbplatsstatistiken, om användningen av bibliotekskatalogen har redovisats på annan plats. Till webbplatsen räknas inte dokument som kan definieras som elektroniska resurser (till exempel licensierade databaser) eller externa Internetresurser som är länkade från bibliotekets webbplats. Till bibliotekets webbplats bör inte heller räknas eventuella webbtjänster i bibliotekets domän som drivs på uppdrag av andra organisationer och finansieras av dessa. Gränsdragningarna om vad som ska räknas till bibliotekets webbplats blir ibland en ren samvetsfråga; ibland tillhandahåller biblioteket tjänster till moderorganisationen som är mer eller mindre diffust förknippade med bibliotekets huvuduppdrag och därför otydligts finansierade. Ett sådant exempel är elektroniskt publicering av universitetets doktorsavhandlingar och forskningsprojekt. Är detta en reguljär bibliotekstjänst eller en externt finansierad tjänst? 2. Ställ in alla ingående webbservrar för utvidgad transaktionsloggning Efter att man har beslutat vilka webbservrar som ska betraktas som ingående i bibliotekets webbplats måste man preparera dem för utvidgad transaktionsloggning. Detta behöver göras för att uppgiften om vilken webbläsare besökaren använder user agent - måste finnas i transaktionsloggen för att man ska kunna exkludera söktjänsternas insamlingsprogram från statistiken. Om man avser att beräkna antalet webbläsarbesök på sin webbplats måste man också se till att uppgift om besökarens cookie hamnar i transaktionsloggen för att kunna identifiera unika webbläsare. När man ändå ställer in utvidgad transaktionsloggning kan det också vara bra att se till att man får med uppgiften om HTTP Referer det vill säga vilken sida som länkade till webbplatsen - i loggfilen. Med den uppgiften kan man få fram mycket intressant information om varifrån besökarna kommer och vilka söktjänster och sökord de använt för att hitta till webbplatsen. Metoderna för att ställa in utvidgad transaktionsloggning skiljer sig naturligtvis för olika webbservrar. Här ger vi exempel på hur denna inställning görs för de vanligaste webbservrarna: Microsoft Internet Information Server (IIS) version 5 och Apache version 2. Internet Information Server använder sig av W3C:s rekommenderade format för transaktionsloggar: W3C Extended, men har inte med uppgifter om user agent, cookie och referer i sin grundinställning. För att justera vilka uppgifter som ska loggas, gör följande: Välj Properties för den webbplats som ska konfigureras. Under fliken Web Site finns en inställning som heter Active Log Format. Där klickar man på knappen Properties och får upp en ny dialogruta. I denna dialogruta väljer man Extended Properties och kryssar för User Agent och i förekommande fall även Cookie och Referer. Apache använder som vi sett tyvärr fortfarande av det gamla Common Logfile Format (CLF) som standard. Om man vill få med uppgifter om user agent, cookie och referer i Apaches loggfil gör man på följande vis: Redigera direktivet LogFormat i konfigureringsfilen config/http.conf så att loggformatet inkluderar de uppgifter du vill ha med. Ett vanligt fördefinierat format som många statistikprogram kan läsa är det som kallas combined (kallas ibland ELF eller XLF) och ser ut enligt följande: LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined Efter att man definierat ett namn (combined) för sitt format kan man använda sig av det i direktivet CustomLog, som anger både placering och format enligt följande: CustomLog logs/access.log combined Den som vill gå ännu längre och även få in uppgiften om cookie i Apaches loggfil kan använda sig av ett eget format som efterliknar W3C Extended genom att definiera hela formatet själv enligt följande (på en rad): LogFormat "%{%Y-%m- %d}t\t%{%h:%m:%s}t\t%a\t%a\t%p\t%m\t%u\t%q\t%s\t%b\t%t\t%h\t%v\t%{useragent}i\t%{cookie}i\t%{referer}i" W3CExtended Och anropa det på samma sätt som förut: CustomLog logs/access.log W3CExtended 9 (9)

10 Nackdelen med att skapa sitt eget W3C Extended är att Apache ju inte skriver in några fältkoder med direktivet #Fields:, som ju egentligen krävs i rekommendationen för W3C Extended. Man är alltså tvungen att skriva in fältkoderna manuellt överst i loggfilen eller tala om för sitt statistikprogram exakt vilket format man använder och använda samma format genom hela loggfilen. 3. Planera för insamling och eventuell sammanslagning av loggfilerna Efter att man har identifierat sina webbservrar och ställt in dem för utvidgad transaktionsloggning måste man ordna så att statistikprogrammet kan läsa in loggfilerna för analys. Det kan antingen göras genom att man samlar ihop loggfilerna till den dator där statistikprogrammet exekveras eller genom att man ordnar så att statistikprogrammet kan nå loggfilerna på de datorer där webbservrarna finns. Om man arbetar i en ren Windows-miljö eller en ren UNIX-miljö kan man ordna så att statistikprogrammet har behörighet att nå loggfiler på andra servrar via fildelning. Om man arbetar i en blandad miljö måste man ibland förlita sig på FTP eller HTTP. En del kommersiella analysprogram har inbyggda funktioner för att hämta transaktionsloggar med FTP eller HTTP. Om miljön är för komplex kan det enklaste vara att manuellt kopiera transaktionsloggarna till analysservern. En del gratisprogram förutsätter att hela transaktionsloggen finns i en enda fil. Om man avser att använda ett sådant program måste man slå ihop sina transaktionsloggar för hela året till en enda lång fil. I Windows görs detta med kommandotolkens copy på följande vis: > copy jan.log + feb.log + mar.log year.log Alternativt: > copy *.log year.log I UNIX kan detta göras med kommandot cat: # cat jan.log feb.log mar.log > year.log 4. Exkludera söktjänsternas insamlingsprogram I bilaga A finns en förteckning över de identifierare (user agent) som de 340 vanligaste söktjänsternas insamlingsprogram använder sig av när de besöker webbplatser. De program som ingår i denna förteckning bör uteslutas när man räknar fram sin BIBSAMstatistik för att den ska bli så rättvisande som möjligt mellan de olika biblioteken. Metoden för att exkludera söktjänsternas program är beroende av vilket analysprogram man använder sig av. I de flesta program använder man sig av ett filter för user agent och säger att alla rader i transaktionsloggen med en viss user agent ska ignoreras. En del program kan också redovisa besöken av söktjänsternas program separat. Beräkning av antal levererade sidor (sidleveranser) För att kunna beräkna antal sidleveranser enligt ovanstående definition måste man kunna avgöra vad som är innehållsfiler på webbplatsen och se till att få bort leveranser av andra filer ur statistiken. Detta gör många av de bättre analysprogrammen helt automatiskt, men det är ändå viktigt att finjustera denna mekanism manuellt, speciellt om man använder ramar (frames) på sin webbplats. Definiera vad som är innehållssidor I del 1 av bilaga B finns en förteckning över suffix för de typer av filer som oftast betraktas som innehållsfiler på en webbplats. Om det analysprogram man använder har en möjlighet att ställa in att endast dessa filtyper ska räknas vid beräkning av antal sidleveranser är det enklast att göra det och låta programmet ignorera alla övriga filtyper. Observera dock att vissa filtyper kan representera både innehållsfiler och dekorationsfiler. HTML-filer och Flash-filer är exempel på filtyper som både kan representera innehåll och dekoration. I vissa fall kan bildfiler och ljudfiler också anses representera innehåll, men det vanliga är ju att dessa element ändå ligger inbäddade i 10 (10)

11 HTML-filer och att det blir mest rättvisande att räkna statistik på de inramande HTMLfilerna snarare än själva mediafilerna. Filtrera bort bilder, stilmallar, vascript och delar av ramset Som ett alternativ eller komplement till att definiera vad som är innehållsfiler på webbplatsen kan man välja att ange vilka filtyper som inte är det. Det finns en rad filtyper som i stort sett aldrig betraktas som innehåll. Vanliga exempel på sådana är bilder (gif, jpg, png), stilmallar (css), vascript (js) och delar av ramset (html, htm, asp, php, cmf). Del 2 av bilaga B innehåller en förteckning över filtyper man bör beakta när man väljer att filtrera bort icke-innehållande filer från statistiken. Om man använder ramar (frames) på sin webbplats kräver analysen extra eftertanke. Man bör kunna ange för sitt analysprogram i vilka kataloger navigationsdelarna av ramsetet finns eller vilka namn navigationsfilerna har för att programmet ska kunna exkludera dem från statistiken. En bra metod för att få bort sådana filer är att lägga dem alla i en katalog med ett signifikant namn, till exempel /_elements/ och utesluta alla filer och kataloger under denna ur statistiken. Ett annat alternativ är att ha en konsekvent namngivning (t.ex. index_nav.htm) eller suffix (.htm) på navigationsdelarna av ramsetet, så att man kan filtrera bort dem ur statistiken. Några redskap för att beräkna sidleveranser Antal sidleveranser är ett så grundläggande mått på en webbplats användning att i stort sett alla statistikprogram kan beräkna detta. Möjligen kan man få vissa problem med att utesluta filer från ramset och sidor levererade till söktjänsternas insamlingsprogram om man använder något gratisprogram. Några program som kan beräkna antal sidleveranser från loggfiler i ELF eller W3C-format för ett helt år är: Analog (freeware) Webalizer (freeware) Summary WebTrends NetTracker Mer om fördelar och nackdelar med de olika programmen i avsnittet "Några redskap för analys ". Beräkning av antal virtuella besök per IP-adress (IP-besök) Att beräkna antal besök per IP-adress kräver inte några ytterligare förberedelser utöver dem som redan gjorts för att beräkna antal sidleveranser. Det är dock viktigt att se till att beräkningen av besök baseras på en time-out om 30 minuter för att värdena mellan olika bibliotek ska bli jämförbara. I de flesta program som kan beräkna besök kan man ställa in vilken time-out man vill ha, men standardinställningen brukar vara 30 minuter. Man måste också se till att analysprogrammet exkluderar besökande insamlingsprogram från sin statistik över antal besök. Några redskap för att beräkna IP-besök Några program som kan beräkna antal IP-besök från loggfiler i ELF eller W3C-format för ett helt år är: Webalizer (freeware) Summary WebTrends NetTracker Mer om fördelar och nackdelar med de olika programmen i avsnittet "Några redskap för analys ". 11 (11)

12 Beräkning av antal virtuella besök per webbläsare (webbläsarbesök) Den mest rättvisande uppgiften om antal besök på sin webbplats beräknar man genom att basera uppgiften på antal besökande webbläsare istället för besökande IP-adresser. Denna mätning är dock också den mest komplicerade att genomföra eftersom man måste vidta åtgärder för att identifiera besökande webbläsare på samtliga webbservrar som ingår i webbtjänsten. Identifiering av webbläsare görs med så kallade cookies. Läs mer om cookies i avsnittet "Cookies används för att skapa sessioner". Cookies kan bara skapas med hjälp av någon form av programmering, antingen på med något programmeringsspråk på webbservern eller i webbläsaren med hjälp av vascript eller va. Som ett alternativ kan man också välja att installera ett cookie-hanterande insticksprogram på sin webbserver. Företaget NetIQ som säljer analysprodukten WebTrends erbjuder gratis nedladdning av cookiehanterande insticksprogram för Apache, IIS och Netscape servrar på sin webbplats ( Även med denna mätmetod gäller att man ska se till att time-outen för beräkning av ett besök är satt till 30 minuter. Man måste även här se till att analysprogrammet utesluter besökande insamlingsprogram från sin statistik. Några redskap för att beräkna webbläsarbesök Om man vill basera sin statistik på antal besökande webbläsare verkar det som om man är hänvisad till kommersiella program. Ett par sådana som kan beräkna antal webbläsarbesök från loggfiler i XLF/ELF eller W3C-format för ett helt år är: WebTrends NetTracker Mer om fördelar och nackdelar med de olika programmen i avsnittet "Några redskap för analys ". Några redskap för analys av webbloggar I denna del redogör jag för några av de redskap jag har testat för att ta fram de statistikmått som BIBSAM önskar att biblioteken levererar för sina webbplatser. g har testat ett 15-tal olika program i prisklasser från freeware upp till kr. Testerna av programmen har skett i relativt raskt tempo, och ibland har flera program testats parallellt. g vill därför reservera mig för eventuella felaktigheter i bedömningarna. Om det är någon som har bättre information eller känner till något bra program i prisklassen under kr som inte nämns här tar jag gärna emot kommentarer på e-postadress Ulf.Kronman@kib.ki.se. För den som vill utvärdera statistikprogram själv finns omfattande lista över analysredskap på adress: Gratisprogram Många av de enklare gratisprogrammen har fallit ifrån i utvärderingen då de inte kan hantera det W3C:s Extended Log Format som Internet Information Server använder. Några gratisprogram som testats, men fallit ifrån är: AWStats [ kan inte hantera W3C Extended med valfria fält Basic Traffic Reporter [ kan inte filtrera bort söktjänsternas insamlingsprogram wwwstat stödjer inte W3C Extended Här följer en mer detaljerad diskussion av de mest intressanta gratisprogrammen: 12 (12)

13 Webalizer Webbplats Pris Version Datum Plattformar Administrativt gränssnitt Loggfilsformat som stöds Hanterar flera loggfiler Antal samtidiga webbplatser 1 Rapporterar sidleveranser Beräknar IP-besök Beräknar webbläsarbesök (cookies) Kan exkludera robots Freeware September 2000, patch för W3C Extended juli 2002 UNIX, Windows Fördelar Snabbt Nackdelar Kommentarer Slutsats Sammanfattning: Kommandorad, konfigurationsfiler CLF, ELF/XLF, W3C via en patchad version för Windows Nej, men kan spara analyshistoria och sammanställa flera loggfiler från samma webbserver? Ej DNS-uppslagning för Windows Analyserar bara en webbserver i taget Relativt komplicerad konfigurering för att hantera flera loggfiler Det enda gratisprogrammet som kan räkna IP-besök baserat på W3C:s loggformat Kan användas för att beräkna IP-besök och sidleveranser från en webbserver för inrapportering till den nationella statistiken f. Webbplatser med flera webbservrar måste summera resultaten från dessa manuellt. Det bästa gratisprogrammet för beräkning av den webbstatistik som ingår den nationella forskningsbiblioteksstatistiken. Krånglig installation och anpassning för beräkning av data över ett helt år. W3C-loggar kräver specialvariant av programmet. Kan bara räkna statistik på en webbserver i taget. Webalizer är det enda gratisprogrammet jag hittat som kan beräkna både antal sidleveranser och antal IP-besök för loggfiler i W3C-format. Programmet är egentligen inte avsett för att beräkna statistik för ett helt år, utan snarare för en månad i taget. Det har dock en funktion som an mellanlagra statistik för varje månad och sedan summera statistiken för ett helt år. Några nackdelar med programmet är att det egentligen är skrivet för en UNIX-miljö och främst avsett för att analysera transaktionsloggar från webbservern Apache. För att kunna analysera W3C-loggar i Windows-miljö är man tvungen att hämta en modifierad version av programmet på en annan webbplats med adressen: (augusti 2002). Förhoppningsvis kommer denna modifikation att införas i det ordinarie programmet inom kort. En annan nackdel med programmet är att Windows-versionen inte kan göra DNS-uppslag för att omvandla IP-adresser till datornamn, men detta är ju inte viktigt för den nationella statistikinsamlingen. 13 (13)

14 Ytterligare en nackdel med Webalizer att den bara kan beräkna statistik på en webbserver i taget. Det betyder att webbplatser med flera webbservrar måste beräkna antal sidleveranser och IP-besök separat för varje server och sedan summera dessa manuellt. Trots alla dessa nackdelar är programmet alltså det bästa gratisprogrammet för att redovisa antal IP-besök på en webbplats. Programmet bearbetar runt 500 MB loggfil (4 miljoner rader) på cirka 6 minuter utan DNS-uppslag (Dator: 800 MHz Pentium III, 256 MB RAM). Analog Webbplats Pris Freeware (GPL) Version Datum Juni 2002 Plattformar Administrativt gränssnitt Loggfilsformat som stöds Hanterar flera loggfiler Antal samtidiga webbplatser Rapporterar sidleveranser Beräknar IP-besök Beräknar webbläsarbesök (cookies) Kan exkludera robots Fördelar UNIX, Windows NT/2000/XP, MacOS Kommandorad, konfigurationsfiler CLF, ELF/XLF, W3C Obegränsat Nej Nej Snabbt Stabilt Mycket konfigurerbart Nackdelar Beräknar inte besök Kommentarer Slutsats Sammanfattning: Kraftfullt och beprövat. Det mest använda webbanalysprogrammet. Går att använda för att beräkna sidleveranser för inrapportering till den nationella forskningsbiblioteksstatistiken, dock ej virtuella besök Det bästa gratisprogrammet för beräkning av antal sidleveranser Ett snabbt, stabilt och beprövat program för alla typer av system och loggfiler Beräknar inte besök Analog är det mest använda analysprogrammet för webbloggar. Programmet är populärt på grund av sin stabilitet och hastighet samt att det finns för så många olika plattformar och stödjer så många olika loggformat. Det kan också slå ihop statistik från många loggfiler i olika format. En allvarlig nackdel med programmet är dock att det inte kan räkna ut vare sig IP-besök eller webbläsarbesök, eftersom programmets utvecklare Stephen Turner anser att detta är ett missvisande mått på en webbplats användning och därför vägrar att ta fram den funktionen för programmet. (Turners förklaring finns på adress: För den som beslutar sig för att redovisa statistik i form av antal sidleveranser är dock Analog ett utmärkt redskap med ett utmärkt pris/prestanda-förhållande. Eftersom programmet är så populärt finns det också en rad tilläggsprogram för bearbetning av data att hämta från webbplatsen, dock ännu inget som kan beräkna antal IP-besök, tyvärr. 14 (14)

15 Programmet bearbetar runt 500 MB loggfil (4 miljoner rader) på cirka 2 minuter utan DNS-uppslag (Dator: 800 MHz Pentium III, 256 MB RAM). Logfile Analyse Webbplats Pris Version 6.0 Plattformar Administrativt gränssnitt Loggfilsformat som stöds Hanterar flera loggfiler Antal samtidiga webbplatser 1 Rapporterar sidleveranser Beräknar IP-besök Beräknar webbläsarbesök (cookies) Kan exkludera robots Freeware Windows Grafiskt CLF, W3C Nej Nej? Fördelar Grafiskt gränssnitt Nackdelar Kommentarer Slutsats Sammanfattning: Beräknar inte besök Knapphändig dokumentation Relativt långsamt Oklart om designelement utesluts från statistiken Räknar anrop snarare än sidleveranser Den knapphändiga dokumentationen gör det svårt att förstå om programmet utesluter robots från statistiken Kan kanske användas för att beräkna sidleveranser för inrapportering till den nationella forskningsbiblioteksstatistiken, dock inte antal besök. Ett enklare Windows-baserat program för beräkning av antal sidleveranser på mindre webbplatser Programmet har varit svårt att utvärdera på grund av den knapphändiga och dåligt översatta dokumentationen. Med sitt grafiska administratörsgränssnitt kan det möjligen vara ett alternativ till Analog och Webalizer för den som tycker att det är besvärligt att använda konfigureringsfiler och kommandoprompt för att exekvera statistikprogrammen. Den som väljer att använda programmet för att redovisa sidleveranser bör dock ta reda på huruvida det kan exkludera designelement och besökande robotar från statistiken. Programmet bearbetar runt 500 MB loggfil (4 miljoner rader) på cirka 40 minuter utan DNS-uppslag (Dator: 800 MHz Pentium III, 256 MB RAM). Kommersiella program Bland de kommersiella programmen finns naturligtvis en mycket större skara program som kan beräkna både sidleveranser, IP-besök och webbläsarbesök. Med de kommersiella programmen är dock prisbilden det största problemet om man har sin webbplats utspridd över en rad olika fysiska servrar måste man lösa flera licenser och kostnaderna springer lätt upp i kr. Här är en lista med pris och webbadresser för några kommersiella program med baskostnad under kr: WebTrends Log Analyzer ($499) (15)

16 Net Tracker ($495) - Summary ($59) - Funnel Web Analyzer (gratis i 70 dagar) Log Analyzer ($130) - SawMill ($400) - AccessWatch ($40) - Wusage ($75) - FastStats - WebSite Reporter - WebSuxess ($750) - Urchin ($695) - SurfStats ($95) - g har försökt testa och utvärdera några av de mest intressanta programmen. Här följer en mer detaljerad redogörelse för ett par av de mest intressanta programmen. g har främst valt att fokusera på programleverantörer med svensk representation. WebTrends Log Analyzer Webbplats Svensk representation Pris $499 Version 7.0 Testperiod Plattformar Administrativt gränssnitt Loggfilsformat som stöds Hanterar flera loggfiler Antal samtidiga webbplatser Rapporterar sidleveranser Beräknar IP-besök Beräknar webbläsarbesök (cookies) Kan exkludera robots Fördelar Nackdelar Kommentarer Slutsats Sammanfattning: Nocom Partner Networks Kontakt: Michael Karletorp, tel dagar Windows Grafiskt CLF, ELF/XLF, W3C 50 (på samma fysiska webbserver) Bra grafiskt gränssnitt Kan arbeta med cookie-hanterande insticksprogram Kan bara användas för en enda fysisk webbserver Log Analyzer finns bara för Windows WebTrends Reporting Center ( kr) kan användas för 500 webbplatser spridda över flera fysiska servrar Kan användas för den nationella forskningsbiblioteksstatistiken. Det mest använda kommersiella webbanalysprogrammet. 16 (16)

17 Rimlig kostnad om man har alla sina webbservrar på samma fysiska server. WebTrends är inte utan orsak det mest använda kommersiella analysprogrammet. Programmet har ett trevligt och relativt kraftfullt grafiskt gränssnitt för administration och har en rimlig prisbild för den som har sin webbtjänst lokaliserad till en och samma fysiska server. För den som har sin webbtjänst på flera fysiska webbservar rekommenderar företaget NetQI som producerar WebTrends att man köper WebTrends Reporting Center. Prestanda för WebTrends har inte kunnat beräknas då testperioden löpte ut innan jag hann utföra detta test. NetTracker Webbplats Svensk representation Cybernetics Solutions Nordic AB - Kontakt: Ted Lagerström, tel Pris $495 Version Testperiod Plattformar Loggfilsformat som stöds Antal samtidiga webbplatser 1 Hanterar flera loggfiler Rapporterar sidleveranser Beräknar IP-besök Beräknar webbläsarbesök (cookies) Kan exkludera robots Fördelar Nackdelar Kommentarer Slutsats Sammanfattning: NetTracker 5.5 Professional 15 dagar Windows, UNIX, MacOS CLF, XLF, W3C, använder en kombination av IP och user agent, om cookies finns används de i första hand Räknar besök baserat på IP-adresser och cookies Kan användas på distans via webbgränssnitt med lösenord Administreras via klumpigt webbgränssnitt Långsam import av data Endast en samtidig rapport per installation NetTracker 5.5 Enterprise; $995 för 5 webbplatser, $1495 för 10 webbplatser Kan användas för den nationella forskningsbiblioteksstatistiken på en webbserver Ett kraftfullt program med webbserver-baserat gränssnitt både för administration och rapportering. NetTracker är en webbaserad produkt som främst är avsedd att exekvera på själva webbservern. En stor fördel med programmet är därför att många olika personer kan ta fram den statistik de önskar. En nackdel är dock att webbgränssnittet är avsevärt klumpigare att använda för administration än ett lokalt grafiskt gränssnitt. Programmet beräknar i första hand besökstatistik baserad på inloggade användare, i andra hand cookies, om sådana finns, i sista hand använder programmet en kombination av IP-adress och user agent för att identifiera besökare. Definierade robotar utesluts automatiskt från statistiken. 17 (17)

18 En nackdel med programmet är att den billigaste versionen endast är avsedd att användas för en enda fysisk webbserver. Vill man analysera fler webbservrar får man köpa fler licenser och kostnaden åker raskt i höjden. Programmet bearbetar runt 500 MB loggfil (4 miljoner rader) på cirka 80 minuter utan DNS-uppslag (Dator: 800 MHz Pentium III, 256 MB RAM). Summary Webbplats Pris $59 Version - datum Testperiod Plattformar Administrativt gränssnitt Loggfilsformat som stöds Hanterar flera loggfiler Antal samtidiga webbplatser 3 Rapporterar sidleveranser Beräknar IP-besök Beräknar webbläsarbesök (cookies) Kan exkludera robots Fördelar Nackdelar 30 dagar Windows, UNIX Webb CLF, ELF/XLF, W3C? Rapporter kan skapas via webbgränssnitt Mycket snabbt Kan ladda ned loggfiler över nätet Svårnavigerat webbgränssnitt för administration Icke-intuitiv hantering av loggfilernas placering Kommentarer Verkar mycket bra för sitt pris. Summary Plus ($249) kan analysera 50 logiska webbservrar (domains). Slutsats Sammanfattning: Ett mycket prisvärt och snabbt program Kan användas för IP-besök och sidleveranser för den nationella forskningsbiblioteksstatistiken på en fysisk webbserver med maximalt tre logiska webbservrar. Om webbplatsen består av flera servrar måste statistik från servrarna adderas manuellt. Något klumpigt webbgränssnitt, som dock har fördelen att rapporter kan skapas på distans direkt över webben Summary är en webbaserad produkt som främst är avsedd att exekvera som en egen webbserver. En stor fördel med programmet är därför att många olika personer kan ta fram den statistik de önskar. En nackdel är dock att webbgränssnittet är avsevärt klumpigare att använda för administration än ett lokalt grafiskt gränssnitt. Programmet kräver att de loggfiler som ska analyseras ligger i en speciell, ickekonfigurerbar katalog på den dator där programmet exekveras. Det kan dock också ladda en loggfil från nätet, om den kan nås med HTTP eller FTP. Programmet framstår som ett gott alternativ för att ta fram BIBSAM-statistik för IPbesök och sidleveranser för den som inte har så stor budget. Programmet bearbetar runt 500 MB loggfil (4 miljoner rader) på cirka 2 minuter utan DNS-uppslag (Dator: 800 MHz Pentium III, 256 MB RAM). 18 (18)

19 Resurser för statistik från webbservrar Diskussionsforum vid IDG På webbplatsen eforums.idg.se finns två diskussionsforum för frågor kring analys av webbservrarnas loggfiler. Du når dem på adress Det är fritt för alla att läsa inläggen, men vill du göra egna inlägg måste du vara registrerad hos IDG. Webb-komplement till denna handbok På Karolinska Institutets Biblioteks webbplats finns mer material kring denna handbok för BIBSAM-statistik. Här finns konfigureringsfiler, vascript och uppdateringar av utvärderingarna av olika statistikprogram. Adress: Bilagor A. Identifierare för söktjänsternas insamlingsprogram Här följer en lista på insamlingsprogram som bör uteslutas ur BIBSAM-statistiken för antal besök eller antal sidleveranser för att denna ska bli rättvisande mellan olika bibliotek. Känner man till några egna lokala insamlingsprogram bör dessa naturligtvis också uteslutas ur statistiken. I följande lista finns identifierare (user agent) för 342 stycken av de vanligaste insamlingsprogrammen (med högertrunkering för att fånga upp olika versioner och varianter av programmen): AbachoBOT* Atomz* contype* abadoor.de* AvantGo* CoolBot* abador.de* AVSearch* CoolVVeb* Active Cache Request* BaiDuSpider* cosmos* ADP BOT* beholder* craftbot@yahoo* AIRF* bigfoot* Crawler V* Albatros Search* Bilbo* CrawlerBoy* AlkalineBOT* bjaaland* CyberSpyder* ALLSearch* Blitzsuche* DataDetective* almaden* BlogBot* davesengine* AltaVista* BNet* DaviesBot* Ankiro* bombensex* daypopbot* antibot* boris* DFusionBot* A-Online Search* Buibui* DiaGem* Aport* bumblebee* Digimarc WebReader* appie* Bun* DIIbot* Arachne* Cafi* Direct Hit Grabber* Arachnoidea* Cartographer* DoCoMo* ArchitextSpider* ChemieDE-NodeBot* EADS* arianna* cherchebot* earthlisten* Armadillo* Chimera* EchO* Ask Jeeves* CityReview* EcommBot* AskMax* CLIPS-index* eidetica* ASPSeek* ClueWeb* empyreum-monolithiccrawler* asterias* COMBINE* AtlantisSearch* CONNINC* enola* entireweb* EOE Spider* EricssonR* EroCrawler* e-sense* ESISmartSpider* etchels* Excalibur* EZResult* FastCrawler* fastrun* fastwebcrawler* FAST-WebCrawler* FDSE* fetch* Findmore* Fireball* Firefly* first-search* fix-suche* FlipDog* Fluffy* flunky* ForschungsPortal* FragGo* FreeFind* 19 (19)

20 FREESERVE* FruitAgent* funksuchmaschine-spider* fusionbot* FUX_Page_Loader* Gaisbot* galaxy* gazz* GemInEye* GentleSpider* GHKS_WebSearch* gigabaz* godado* Goggle* GolfFindIt* Googlebot* GoSearch* griffon* grub* Gulliver* Gulper* Harvest-NG* Het Net* htdig* http client* HTTrack* Hubater* Hubbard One* ia_archiver* ImageCollector* IMS Crawler* Indy Library* Inet library* Infoseek* Inktomi* InternetAmi* InternetArchive* internetseer* iquest* Iron* ck* va* Jellyfish* JennyBot* JPSnet* jscoot* JustView* Katriona* KIMO* KIT-Fireball* Kolibri* kototoi-crawl* kulturarw3* larbin* ocnie* Sidewinder* LEIA* OliverPerry* Site Server* Libro* onlinepilot.de* Slarp* libwww* Openfind* SliderSearch* linecker* OpenTextSiteCrawler* Slurp* Link Valet Online* openxxx* SlySearch* LinkAlarm* ORA_checksite* SmartSpider* Linkbot* PageDown* SnoopRob* LinkGuard* parallelcontextfocuscrawler* SoccerCrawler* Links2Go Similarity Engine* pavuk* somewhere* LinkWalker* PCBeaconBot* SpaceBison* LNSpiderguy* Peggy* Spinne* LotusDiscovery* PerMan Surfer* StackRambler* Lycos_Spider* PicoSearch* Streamguide* marvin* Pioneer* suchfuzzy* MATTER_BOT* Pita* suchnase* MaxBot* PlantyNet* SuperScout* m-crawler* Plumtree* sureseeker* MediaCrawler-* Poacher* surfer.ch* MegaSheep* polybot* SurferX* menshealth* Pompos* suzuran* Merc_resh* porncrawler* SyncBot* Mercator* princeton* Szukacz* MetaGer-LinkChecker* psbot* takoy* Microsoft URL Control* PUA* Tarantula* MIIxpc* rabaz* targetblaster* MitakeWebIndexer* Rainbot* targetblaster* moget* Rainspider* Tateji_Crawler* MOSES Spider* rambot* TECOMAC* MS Search* RC7.3 Release* Teleport* MSIECrawler* RealNamesBot* teoma_agent* MSpider* RepoMonkey Bait & Tackle* teomaagent* multimedia search* roach* T-H-U-N-D-E-R-S-T-O-N-E* MultiText* TITAN* mumpits* RockBot* tivraspider* MuscatFerret* Rondello* Tomorrow* MyFinances* Rotondo* Toutatis* nabot* RRZN* TridentSpider* NationalDirectory-WebSpider* ru-robot* Trovatore* Net_Vampire* Scooter* TSBOT* NetAnts* ScourCrawler* UdmSearch* NetMechanic* ScoutAbout* Ultraseek* NetSprint* scoutmaster* UltraSpider* NetZippy_Search* ScreenSurfer* unlostbot* NetzwegSpider* search.ch* URL Spider Pro* NewsBoardAgent* SearchNZ* user-1.ip3000.com* nkeeper* SearchTone* user-1.petersnews.com* nkeeper.com* seifertfamily* utobia* Nocilla* Septera* utopy* Nutscrape* SERcrawler* Vagabondo* nutspider* SerialData* VILL Spider* sexy-eyes* VillSpider* obot* sherlock* ViperNET* 20 (20)