Biologiska databanker. Hur lagras informationen? (hög nivå) Hur accessar man informationen? (användarnivå) Biologiska databanker

Transkript

1 Hur lagras informationen? (hög nivå) Hur accessar man informationen? (användarnivå) Biologiska databanker biologisk data i elektronisk format exempel: SWISS-PROT, EMBL, DDBJ, PDB, GENBANK, KEGG, ACEDB används dagligen i forskningen Databank Biologiska databanker Forskningsresultat Databankhanteringssystem Modell Fysiska databanken Frågor behandling av frågor/uppdateringar Access till lagrad data Svar 3 tgctacccgc gcccgggctt ctggggtgtt ccccaaccac ggcccagccc tgccacaccc 6 cccgcccccg gcctccgcag ctcggcatgg gcgcgggggt gctcgtcctg ggcgcctccg agcccggtaa cctgtcgtcg gccgcaccgc tccccgacgg cgcggccacc gcggcgcggc 8 tgctggtgcc cgcgtcgccg cccgcctcgt tgctgcctcc cgccagcgaa agccccgagc 4 cgctgtctca gcagtggaca gcgggcatgg gtctgctgat ggcgctcatc gtgctgctca 30 tcgtggcggg caatgtgctg gtgatcgtgg ccatcgccaa gacgccgcgg ctgcagacgc 36 tcaccaacct cttcatcatg tccctggcca gcgccgacct ggtcatgggg ctgctggtgg 4 tgccgttcgg ggccaccatc gtggtgtggg gccgctggga gtacggctcc ttcttctgcg 48 agctgtggac ctcagtggac gtgctgtgcg tgacggccag catcgagacc ctgtgtgtca 54 ttgccctgga ccgctacctc gccatcacct cgcccttccg ctaccagagc ctgctgacgc 60 gcgcgcgggc gcggggcctc gtgtgcaccg tgtgggccat ctcggccctg gtgtccttcc 66 tgcccatcct catgcactgg tggcgggcgg agagcgacga ggcgcgccgc tgctacaacg 7 accccaagtg ctgcgacttc gtcaccaacc gggcctacgc catcgcctcg tccgtagtct 78 ccttctacgt gcccctgtgc atcatggcct tcgtgtacct gcgggtgttc cgcgaggccc 84 agaagcaggt gaagaagatc gacagctgcg agcgccgttt cctcggcggc ccagcgcggc 90 cgccctcgcc ctcgccctcg cccgtccccg cgcccgcgcc gccgcccgga cccccgcgcc 96 ccgccgccgc cgccgccacc gccccgctgg ccaacgggcg tgcgggtaag cggcggccct 0 cgcgcctcgt ggccctacgc gagcagaagg cgctcaagac gctgggcatc atcatgggcg 08 tcttcacgct ctgctggctg cccttcttcc tggccaacgt ggtgaaggcc ttccaccgcg 4 agctggtgcc cgaccgcctc ttcgtcttct tcaactggct gggctacgcc aactcggcct 0 tcaaccccat catctactgc cgcagccccg acttccgcaa ggccttccag ggactgctct 6 gctgcgcgcg cagggctgcc cgccggcgcc acgcgaccca cggagaccgg ccgcgcgcct 3 cgggctgtct ggcccggccc ggacccccgc catcgcccgg ggccgcctcg gacgacgacg 38 acgacgatgt cgtcggggcc acgccgcccg cgcgcctgct ggagccctgg gccggctgca 44 acggcggggc ggcggcggac agcgactcga gcctggacga gccgtgccgc cccggcttcg 50 cctcggaatc caaggtgtag ggcccggcgc ggggcgcgga ctccgggcac ggcttcccag 56 gggaacgagg agatctgtgt ttacttaaga ccgatagcag gtgaactcga agcccacaat 6 cctcgtctga atcatccgag gcaaagagaa aagccacgga ccgttgcaca aaaaggaaag 68 tttgggaagg gatgggagag tggcttgctg atgttccttg ttg 4 Entity-relationship DEFINITION Homo sapiens adrenergic, beta--, receptor ORGANISM S, Collins, Daniel, Caron, Lefkowitz, Cloning of the cdna for the beta -adrenergic receptor S,, Lefkowitz, Caron Human beta - and beta -adrenergic receptors: structurally and functionally related receptors derived from distinct genes protein-id accession article-id PROTEIN m Reference n ARTICLE source definition title 5 author 6

2 Hur lagras informationen? (hög nivå) Hur accessar man informationen? (användarnivå) Text (IR) Semistrukturerad data Datamodeller (DB) Regler + Fakta (KB) struktur precision Innehåll Text: filmodell, formell modell, konceptuella modeller (boolesk, vektor, probabilistisk) Databaser: Relationsdatabaser, Objektorienterade databaser Semistrukturerad data Kunskapsbaser 7 8 Text - Information Retrieval (IR) sökning baseras på ord konceptuella modeller: boolesk, vektor, probabilistisk, filmodell: flat fil, inverterad fil,... inverterad fil anslagningsfil dokumentfil WORD HITS LINK DOC# LINK DOCUMENTS adrenergic 3 cloning 53 receptor IR - Filmodell: inverterad fil 5 5 Doc Doc 9 0 IR - Filmodell: inverterad fil IR - formell beskrivning kontollerad vokabulär (eng. controlled vocabulary) stoplista stamning (eng. stemming) IR modell: (D,Q,F,R) D är en mängd av dokumentrepresentationer Q är en mängd av frågor F är ett ramverk för dokumentrepresentationer, frågor och deras samband R tilldelar ett dokument-fråga-par ett reellt tal (rankning)

3 IR - konceptuella modeller Klassikt IR dokumentrepresentation Booleska modellen Boolesk Probabilistisk Doc Doc adrenergic cloning receptor ( 0) (0 0) 3 4 Booleska modellen frågor : boolesk (and, or, t) Q: cloning and (adrenergic or receptor) Booleska modellen Q: cloning and (adrenergic or receptor) (cloning and adrenergic) or (cloning and receptor) frågor översätts till disjunktiv rmalform (DNF) DNF: disjunktion av konjunktioner av ord med eller utan t Regler: t t A A t(a and B) t A or t B t(a or B) t A and t B (A or B) and C (A and C) or (B and C) A and (B or C) (A and B) or (A and C) (A and B) or C (A or C) and (B or C) DNF kompletteras + översätts till samma representation som dokumenten (cloning and adrenergic) or (cloning and receptor) (cloning and adrenergic and receptor) or (cloning and adrenergic and t receptor) or (cloning and receptor and adrenergic) or (cloning and receptor and t adrenergic) ( ) or ( 0) or ( ) or (0 ) A or (B and C) (A or B) and (A or C) 5 ( ) or ( 0) or (0 ) 6 Booleska modellen adrenergic cloning receptor Doc Doc ( 0) (0 0) Q: cloning and (adrenergic or receptor) ( ) or ( 0) or (0 ) Resultat: Doc Q: cloning and t adrenergic (0 0) or (0 ) Resultat: Doc 7 Booleska modellen Fördelar baserad på en intuitiv och enkel formell modell (mängdteori och boolesk algebra) Nackdelar binära beslut - ett ord är relevant eller inte - ett dokument är relevant eller inte, ingen partiell matchning 8

4 Booleska modellen (förenklad) Doc adrenergic cloning receptor ( 0) cloning Doc (,,0) Doc (0,,0) Doc (0 0) Q (,,) Q3: adrenergic and receptor ( 0 ) or ( ) Resultat: tom receptor adrenergic sim(d,q) = d. q d x q 9 0 Introducerar vikter i dokumentvektorerna (t.ex. Doc3 (0, 0.5, 0)) Vikterna representerar hur viktigt en term är för beskrivningen av ett dokuments innehåll Vikterna är positiva reella tal Om en term inte förekommer i dokumentet, då är vikten = 0 receptor cloning adrenergic sim(d,q) = d. q d x q Doc (,,0) Doc3 (0,0.5,0) Q4 (0.5,0.5,0.5) Hur definierar man vikterna? tf-idf Hur definierar man vikterna? tf-idf dj (w,j,, wt,j) wi,j = vikten för term ki i dokument dj = fi,j x idfi term frequency freqi,j: hur ofta förekommer term ki i dokument dj? rmaliserad term frequency: fi,j = freqi,j / maxl freql,j 3 4

5 Hur definierar man vikterna? tf-idf document frequency : i hur många dokument förekommer term ki? N = totala antalet dokument ni = antal dokument i vilka ki förekommer inverse document frequency idfi: log (N / ni) Hur definierar man vikterna för en fråga? rekommendation: q= (w,q,, wt,j) wi,q = vikt för term ki i fråga q = ( fi,q) x idfi 5 6 Fördelar - termviktning förbättrar sökprestanda - partiell matchning - rankning enligt likhet Nackdel? - antagande att termerna förekommer oberoende av varandra 7 Probabilistiska modellen vikterna är binära (wi,j = 0 eller wi,j = ) R: mängden av relevanta dokument för q Rc: mängden av dokument som är inte relevanta för q P(R dj): sanlikheten att dj är relevant för q P(Rc dj): sanlikheten att dj inte är relevant för q sim(dj,q) = P(R dj) / P(Rc dj) 8 Probabilistiska modellen sim(dj,q) = P(R dj) / P(Rc dj) (Ba, oberoende av termerna, logaritmer, P(ki R) + P(t ki R) = ) SIM(dj,q) == SUMMA t wi,q x wi,j x i= (log(p(ki R) / (- P(ki R))) + log(p(ki Rc) / (- P(ki Rc)))) 9 Probabilistiska modellen Hur beräknar man P(ki R) och P(ki Rc)? - initialt: P(ki R) = 0.5 och P(ki Rc) = ni/n - Upprepa: hämta dokument och ordna dem enligt rankningen V: delmängd av dokumenten (t.ex. de r högst rankade) Vi: delmängd av V, elementen som innehåller ki P(ki R) = Vi / V och P(ki Rc) = (ni- Vi ) /(N- V ) 30

6 Probabilistiska modellen Fördelar: - rankning av dokument enligt sanlikheten att vara relevant Nackdelar: - initial uppskattning angående relevansen - vikterna är binära - antagande om att termerna förekommer IR - effektivitetsmått Precision = antal hittade dokument som är relevanta antal hittade dokument Recall = antal hittade dokument som är relevanta antal relevanta dokument oberoende av varandra? 3 3 IR - mått PERL Precision = RA / A Recall = RA / R Relevanta dokument R Relevanta dokument i svarsmängden RA Svarsmängden A 33 Practical Extraction and Reporting Language while ($line=<inputfile>) { if ($line=~ /^DEFINITION/ ) { ($head, $rest) = split( DEFINITION,$line); print OUTPUTFILE $rest; print OUTPUTFILE \n ; } } 34 Relationsdatabaser Databaser Relationsdatabaser: - modell: tabeller + relationsalgebran - frågespråk (SQL) Objektorienterade databaser: - modell: fortlevande object, meddelande, inkapsling, ärvning - frågespråk (t.ex. OQL) System: GDB (R), ACEDB (OO) 35 PROTEIN PROTEIN-ID DEFINITION Homo sapiens adrenergic, beta--, receptor ARTICLE- ARTICLE-ID Collins Daniel Caron Lefkowitz Lefkowitz Caron ARTICLE- ARTICLE-ID PROTEIN-ID ARTICLE-ID Cloning of the cdna for the beta -adrenergic receptor Human beta - and beta - adrenergic receptors: structurally and functionally related receptors derived from distinct genes 36

7 SQL select source from protein where accession = ; PROTEIN PROTEIN-ID DEFINITION Homo sapiens adrenergic, beta--, receptor SQL select title from protein, article-title, reference where protein.accession = and protein.protein-id = reference.protein-id and reference.article-id = article-title.article-id; PROTEIN PROTEIN-ID DEFINITION Homo sapiens adrenergic, beta--, receptor PROTEIN-ID ARTICLE-ID ARTICLE- ARTICLE-ID Cloning of the Human beta Objekt-Orienterade Databaser (OODB) Världen modelleras m.h.a. objekt. Ett objekt har ett tillstånd (värde) och ett beteende (operationer). fortlevande (eng. persistent) objekt - permanent lagring (ibland tillåts även kortvariga (eng. transient) objekt) Objekt Ett objekt har en objektidentifierare (OID) som inte är synlig för användaren. OIDn kan inte ändras objekt versus värde (ett värde har ingen OID) objektstrukturen kan vara godtyckligt komplex (atom, tuple, set, list, bag, array) Exempel - objekttillstånd o(id, tuple, <accession:, source :, definition: Homo sapiens adrenergic, reference: o>) o(id, set, {o3,o4}) Exempel - objekttillstånd o3(id3, tuple, <title: `Cloning of, author: o5 >) o4(id4, tuple, <title: `Human beta-, author: o6 >) o5(id5, list, [, Collins, Daniel, Caron, Lefkowitz, ]) o6(id6, list, [,, Lefkowitz, Caron]) OBS: Dessa exempel använder inte någon standardsyntax4 4

8 list Cloning of set Collins Daniel Caron Lefkowitz Homo sapiens adrenergic, beta--, receptor list DEFINITION Lefkowitz Caron Human beta- 43 Klasser define class protein type tuple ( accession: string; source : string; definition: string; reference: set(article); ); operations create-protein(string,string,string,set(article)): protein; get-accession: string; get-source: string; get-definition: string; get-references: set(article); add-reference(article): void; end protein; 44 Klasser Exempel program define class article type tuple ( title: string; author: list(string); ); operations create-article(string, list(string)): article; get-title string; get-authors: list(string); print-article-info string; end article; program variables: article, article, protein; begin article := create-article( Cloning., list(, Collins, Daniel, Caron, Lefkowitz, )); protein := create-protein(,, Homo sapiens adrenergic, set(article)); article := create-article( Human beta-., list(,, Lefkowitz, Caron]); protein.add-reference(article); end; Operationer inkapsling: operation = gränssnitt + kropp - gränssnitt: hur anropar man operationen? vad ger operationen som resultat? > synlig för användaren, används i program - kropp: hur implementeras operationen? > osynlig för användaren program baseras på skickandet av meddelande (eng. message passing) 47 Ärvning journal-article subtype-of article: journal-name journal-volume page-numbers journal-article ärver alla attribut och operationer från article och har även journal-name, journal-volume och pagenumbers som attribut -protein subtype-of protein (source = ) 48

9 Operator overloading Man kan använda samma operatornamn för olika implementationer exempel: print-article-info för article skriver ut information om titel och författare. print-article-info för journal-article skriver ut information om titel och författare men även om tidskriftens namn, volym och sidonummer. Frågespråk OQL select from where select distinct from where iteratorvariabler väguttryck (eng. path expressions) struct Frågor select o.source from o in protein where o.accession = ; Frågor select struct (accession: o.accession, source: o.source) from o in protein where in (select a.author from a in o.reference); set 5 5 Frågespråk OQL OQL tillåter även: vyar aggregering speciella operationer för list och array (first, last, nth) order-by group-by Semistrukturerad data data som är ej enbart text, men som inte är så välstrukturerad som data i databaser förekommer ofta i webbdatabanker och när man vill integrera databanker system: Genbank, OMIM 53 54

10 Semistrukturerad data - egenskaper oregelbunden struktur strukturen är implicit strukturen är partiell data guide och schema stora schema Semistrukturerad data - egenskaper man ska kunna igrera schemat vid frågor schema utvecklas snabbt objekt kan ändra tillhörighet av typ/klass skillnaden mellan schema och data försvinner Semistrukturerad data - model nätverk av der objektmodell (oid) fråga: vägsökning i nätverket ( path search ) Cloning of Collins Daniel Caron Homo sapiens adrenergic, beta--, receptor DEFINITION Lefkowitz Human beta Frågor Frågor select source where accession = ; select source where accession = ; select reference.title where accession = ; select #p.title where accession = ; Cloning of Human beta- 59 Cloning of Human beta- 60

11 Kunskapsbaser ofta baserad på en logik svarsmekanism baserad på en inferensmekanism kunskapsbaser kan ofta lagras i primärminne användbar vid ontologier Kunskapsbaser (F) source(, Human) (R) source(p?,human) => source(p?,mammal) (R) source(p?,mammal) => source(p?,vertebrate) Q:?- source(, Vertebrate) A: Q:?- source(x?, Mammal) A: x? = 6 6 Litteratur Information Retrieval * Baeza-Yates, R., Ribeiro-Neto, B., Modern Information Retrieval, Addison-Wesley, 999. Schwartz, R., Wall, L., Learning Perl, O Reilly & Associates, 994. Databaser * Elmasri, R., Navathe, S., Fundamentals of database systems, 3rd edition, Addison Wesley, 000. (* = ingår helt eller delvis i kurslitteraturen, se kurshemsidan) Litteratur Semistrukturerad data * Abiteboul, S., Querying semi-structured data, Proceedings of the Sixth International Conference on Database Theory, LNCS 86, pp -8, 997. Lambrix, P., Shahmehri, N., Querying documents using content, structure and properties, Journal of Intelligent Information Systems, 5(3):87-307, 000. (* = ingår helt eller delvis i kurslitteraturen, se kurshemsidan) 63 64