hjälp av SAS Text Miner

Transkript

1 Enterprise Intelligence Customer Intelligence Supplier Intelligence Organizational Intelligence Intelligence Architecture Identifiera stora gömda värden i textbaserad information med hjälp av SAS Text Miner Med 27 års erfarenhet är SAS Institute idag en världsledande leverantör av mjukvaror och konsulttjänster inom affärsanalys och beslutsstöd. SAS hjälper stora verksamheter med kostnadsbesparingar och resultatförbättringar genom att strukturera och analysera stora mängder information som finns samlade i våra kunders databaser. Av världens 100 största företag är 92 kunder till SAS Institute. Till våra uppdragsgivare i Sverige hör hälften av Sveriges 200 mest betydande företag och organisationer. Varje dag hanterar olika organisationer en stor mängd textdokument: webbsidor, e-postmeddelanden, artiklar, promemorior, feedback från kunder, garantikrav, patientinformation, undersökningar, forskningsrapporter, meritförteckningar m m. Att läsa igenom sådana textdokument är ett mycket krävande arbete och det finns helt enkelt inte tid att läsa allt, än mindre sortera och klassificera den viktiga informationen i varje dokument. Stora värden i mängder av textbaserad information som genereras varje dag går därmed förlorad. Text är inte anpassat för analytiska processer på samma sätt som strukturerad data. Text kan ofta vara tvetydig och likartade koncept kan beskrivas på flera olika sätt. Detta gör att underförstådd information gömd i textbaserad data är svår att uppfatta, kvantifiera och utnyttja. Text mining är en teknik för att bearbeta och analysera textbaserad information. SAS Text Miner ger verksamheten helt nya möjligheter att utnyttja affärspotentialen i textbaserad information genom att: Identifiera underliggande teman i stora dokumentsamlingar och automatiskt gruppera dokumenten i ämneskategorier/ämneskluster. Klassificera dokument i fördefinierade kategorier. Integrera ostrukturerad textbaserad data med strukturerad data. SAS Text Miner är en utökning av Enterprise Miner, ett marknadsledande verktyg för data mining. Text mining kan därför kombineras med data mining för att ytterligare fördjupa analysen och ge en bättre förståelse för helhetsbilden samt identifiera stora gömda värden i textbaserad information som tidigare inte var möjligt. Integration av text mining och data mining skapar en komplett lösning för både ostrukturerad och strukturerad data Många organisationer idag är beroende av data mining för att bättre förstå sina kunder och sin affärsverksamhet. Genom att undersöka och modellera stora mängder strukturerad data kan företag hitta kopplingar och mönster i informationen. Beslutsfattares förmåga att göra korrekta prognoser förbättras avsevärt, vilket skapar tydliga konkurrensfördelar. Problemet är att en stor mängd data är ostrukturerad. För att kunna utnyttja värdet i ostrukturerad textbaserad data måste en organisation kunna analysera den automatiskt, precis som med strukturerad data.

2 SAS Text Miner tillhandahåller en stor rad verktyg för textbearbetning och analys som kan hitta underliggande teman och koncept i en stor dokumentsamling. Textdokument kan automatiskt klustras in i grupper, klassificeras i fördefinierade kategorier och användas tillsammans med strukturerad data för att bygga prediktiva modeller som ger avgörande information om framtiden. Text mining kan skapa stor nytta för företag som använder analytiska program för Customer Relationship Management (CRM). Dessa företag kan använda SAS Text Miner i hanteringen av stora volymer inkommande e-post från kunder, t ex för att kategorisera e-posten för snabbare hantering och uppföljning. Personalavdelningar kan använda SAS Text Miner för att sålla i tusentals meritförteckningar och ansökningar för att på ett bra sätt kunna matcha kompetenta sökanden med lediga jobb. I undersökningar kan fritextsvar kombineras med standardsvar för att identifiera trender och skapa resultat att agera utifrån. Sökningar i stora databaser kan förfinas och fokusera på intressanta artiklar. Läkemedelsföretag kan använda text mining vid utvärdering och analysering av textbaserade anteckningar om patienter. Det ger företagen möjlighet att förbättra processerna för kliniska tester, något som är mycket värdefullt. Alla som har behov av att sålla i stora volymer text för att utvinna information, idéer och trender kan med SAS Text Miner omvandla dessa data till insiktsfull kunskap. Detta är bara några exempel på affärspotentialen med text mining. Med denna nya revolutionerande teknik kan man utnyttja informationen i olika textdokument på ett sätt som tidigare inte varit möjlig. Text mining är en teknik som genom sina möjligheter att analysera textbaserad information kan skapa stor affärsnytta och potential för hög avkastning på investering. SAS Text Miner i praktiken SAS Text Miner har använts i samarbete med olika företag, bland dem Volvo Lastvagnar i Sverige och Hewlett-Packard i USA och inom sjukvården. Förenklad dokumenthantering för Volvo Lastvagnar med SAS Text Miner Volvokoncernen är en av de världsledande leverantörerna av transportlösningar för kommersiellt bruk. Volvo Lastvagnar, som är en del av Volvokoncernen, får varje år in en stor volym s k garantiärendedokument angående sina lastbilar. Dessa dokument produceras på verkstäder där lastbilarna kommer in för reparation. Dokumenten innehåller en viss mängd standardinformation så som chassityp, reparationsdatum, antal körda mil, samt fritext som beskriver problemet med lastbilen och hur problemet åtgärdats. Genom att studera texten i dessa dokument kan Volvo Lastvagnar hitta problemorsaker och eventuella samband mellan olika typer av fel på sina lastvagnar. Men antalet dokument är för stort för att på ett enkelt sätt kunna hanteras och klassificeras och viktig information kan gå till spillo. Att läsa igenom alla dokument och för hand hitta mönster och grupperingar i texten är inte en tillfredsställande lösning. Volvo Lastvagnar exporterar sina produkter till flera olika länder. Förutom svenska dokument ska de även hantera och klassificera dokument skrivna på andra språk. också hantera andra språk, däribland svenska, vilket gör det möjligt att analysera texter på olika språk. SAS Institute AB genomförde i samarbete med Volvo Lastvagnar en studie där det undersöktes om SAS Text Miner kunde hjälpa Volvo att klassificera sina garantiärendedokument och därigenom hitta ny och viktig information i dokumenten. Under text mining-processen delas dokumenten från Volvo Lastvagnar in i ett antal olika grupper, s k kluster, där varje kluster beskrivs av några nyckeltermer ur dokumenten. Med hjälp av denna indelning kan man lättare fokusera på en typ av problem och göra djupare analyser av felorsaker. Standardinformationen i Volvos garantiärendedokument ger en viss mängd information om ärendet. Fritexten i dokumenten ger ytterligare information om ärendet, information som inte går att utvinna enbart från standardinformationen. Text mining med SAS Text Miner kan ge Volvo Lastvagnar en djupare insikt i sina garantiärenden och underlätta hanteringen av och informationsutvinningen ur dokumenten. SAS Text Miner hanterar för närvarande texter skrivna på engelska, franska eller tyska. Kommande versioner ska Forts

3 Hewlett-Packards CRM förbättras med SAS Text Miner HP är en leverantör av teknik, lösningar, produkter och tjänster till konsumenter och företag över hela världen. Företaget levererar IT-infrastruktur, persondatorer, accessprodukter, globala tjänster och produkter för bildhantering och utskrifter. Varje dag får HP in mängder av textbaserad information från kunder genom e-post, dokumentation från call centers eller genom kommentarer på garantisedlar. HP:s databas med information från call centers innehåller flera hundra tusen dokument. I alla dessa olika typer av dokument finns beskrivet kundernas förväntningar och önskemål gällande HP:s produkter och service. Tidigare hade HP inte haft möjlighet att kombinera data om intäkter och produkter ur sitt data ware house med den textinformation de fick in genom sina call centers. Med hjälp av SAS Text Miner fick företaget möjlighet att kombinera dessa data och därmed förbättra sin business intelligence och data mining. SAS Text Miner har även ett användningsområde i HP:s hantering av garantikrav. Text mining hjälper HP:s ingenjörer att snabbare hitta mönster och kopplingar i kundernas garantikrav. Innan de använde text mining tog det lång tid att läsa igenom dokumenten, alldeles för lång tid för att de skulle hitta användbar information. Nu kan en liten grupp analytiker hitta kluster över specifika problem och ge feedback till produktionsavdelningen. När allt är korrekt kategoriserat vill de kunna skapa prediktiva modeller som kan förutse problem med framtida produkter. Om sjukhusen ska kunna höja sin rankning är det därför viktigt vilken information man rapporterar in och vilken kvalitet informationen har. I en satsning att standardisera rapporteringsförfarandet har sjukhus anslutna till universitetet i Louisville använt SAS Text Miner för att undersöka journaler från över öppna hjärtoperationer. Text mining lyfter fram viktiga variabler i journaltexterna och hittar mönster i behandlingen av patienter och hur patientinformation rapporteras in. Man har bl a upptäckt en underrapportering av riskfaktorer hos patienterna som i stor utsträckning påverkar sjukhusens rankning. Sjukhus som underrapporterar riksfaktorer har en lägre beräknad mortalitet bland patienterna. Även om antalet lyckade operationer är samma som för andra sjukhus rankas de lägre, eftersom de har en större differens mellan den beräknade och den faktiska mortaliteten. Genom att undersöka informationen om patienter som genomgått öppen hjärtkirurgi har man funnit att patienterna på sjukhusen varit mer sjuka än man tidigare trott. Med SAS Text Miner har man hittat andra problem och sjukdomar som ofta drabbar patienterna, t ex diabetes och allergier. Genom att på ett mer effektivt sätt identifiera och behålla kunder med hjälp av text mining kommer HP att öka sina vinster. Med SAS kan företaget analysera existerande och ny information bättre än sina konkurrenter. Enterprise Miner med SAS Text Miner ger HP möjligheten att samtidigt kunna utnyttja fördelarna med data mining och text mining. SAS Text Miner har nyckelroll inom sjukvården Sjukhus och andra vårdinrättningar i USA rapporterar in stora mängder sjukvårdsinformation till oberoende och utvärderande organisationer. Baserad på denna information gör organisationerna bedömningar av vårdkvaliteten och de olika sjukhusen rankas. Allmänheten har sedan möjlighet att ta del av organisationernas analyser och bedömningar. Med SAS Text Miner kan man jämföra information från journaler med information som används för rapportering. Därigenom kan man avgöra hur förbättrad diagnostisering och bedömning av riskfaktorer kan höja sjukhusets rankning. Framför allt leder användandet till bättre vård för patienterna.

4 Funktioner hos SAS Text Miner Dataåtkomst SAS Text Miner stöder flera olika filformat, bl a Adobe Portable Document Format (pdf), ASCII-text, HTML och Microsoft Word. Användare kan därför extrahera, transformera och exportera sitt data som SAS-data för text mining. Stöd för flera språk Avancerad textbearbetning finns för engelska, franska och tyska, eller för en kombination av dessa språk genom automatisk språkidentifiering. I kommande versioner av SAS Text Miner finns även textbearbetning för svenska. Flera olika metoder för textbearbetning SAS Text Miner har en omfattande mängd bearbetningsfunktioner för att hitta och destillera den viktigaste av den underliggande informationen inom dokumentsamlingen. Dessa funktioner innefattar: Anpassningsbara stopplistor innehållande termer med litet eller inget informationsvärde. Stopplistans termer som återfinns i texten kommer inte att analyseras under bearbetningsprocessen. Exempel på ord som kan förekomma på en stopplista är och, eller, men, skall, den och det. Ordstamsidentifikation för att hitta gemensamma ordstammar för t ex böjda verb såsom springa, sprang och sprungit och substantiv i singular och plural såsom apelsin och apelsiner. Ordklassidentifikation baserad på kontexten. Ordet jäst är i meningen Degen innehåller jäst identifierat som substantiv medan det i meningen Degen har jäst är identifierat som verb. Standardstopplista och användaranpassad synonymlista. Ord som lära och instruera kan anges vara synonymer till ordet undervisa. Interaktiv resultathanterare Resultathanteraren i SAS Text Miner tillhandahåller en summering av resultaten och innehåller en dokumenttabell, en tabell över termer och en tabell över kluster De interaktiva funktionerna gör det möjligt för användaren att: Sortera tabellen över termer i bokstavsordning, på antalet dokument termen förekommer i, termens viktning eller roll i texten. Filtrera en term för att visa i vilka dokument termen förekommer och i vilka kluster dessa dokument förekommer. Filtrera dokument för att visa alla termer i dokumentet och i vilket kluster dokumentet förekommer. Filtrera kluster för att visa alla dokument i det filtrerade klustret och alla termer i dessa dokument. Modifiera listan över vilka av sparade och borttagna termer som ska visas. Ange att valda termer ska behandlas som ekvivalenta. Välja hur många av de mest representativa termerna för varje kluster som ska visas. Göra om klustringen genom att använda en delmängd av dokumenten eller termerna. Figur 1: Den interaktiva resultat hanteraren i SAS Text Miner

5 Användarvänligt självdokumenterande gränssnitt Det grafiska användargränssnittet i Enterprise Miner (Figur 2), tar bort behovet av manuell kodning och reducerar text mining-tiden avsevärt för både affärsanalytiker och statistiker. Processflödet kan modifieras, sparas och delas med andra analytiker. Resultatet från ett processflödesdiagram kan publiceras i en koncis HTML-rapport. Tack vare integreringen av text mining i Enterprise Miner är SAS den första mjukvaruförsäljaren som erbjuder en komplett lösning för data mining där analys för både ostrukturerad och strukturerad data ingår. Figur 2: Processflödesdiagram i Enterprise Miner, där SAS Text Miner är integrerad. SAS Institute AB Stora Frösunda, SE Solna, SWEDEN Tel +46 (0) , fax +46 (0) info@swe.sas.com SAS Institute AB is a subsidiary of SAS Institute Inc., Cary, NC, USA. SAS and all other SAS Institute Inc. product or service names are registered trademarks or trademarks of SAS Institute Inc. in the USA and other countries. indicates USA registration. Other brand and product names are trademarks of their respective companies. Copyright 2000, SAS Institute Inc. All rights reserved.