Hur man kan tillämpa Data Science och AI i säkerhetsarbetet. Magnus Sahlgren

Transkript

1 Hur man kan tillämpa Data Science och AI i säkerhetsarbetet Magnus Sahlgren

2 FOI Totalförsvarets forskningsinstitut (ett av Europas ledande forskningsinstitut inom försvar och säkerhet) Mer än 900 forskare (många olika bakgrunder) Uppdragsfinansierade Data science-gruppen (enheten för beslutsstödssystem)

3 FOI Totalförsvarets forskningsinstitut (ett av Europas ledande forskningsinstitut inom försvar och säkerhet) Mer än 900 forskare (många olika bakgrunder) Uppdragsfinansierade Data science-gruppen (enheten för beslutsstödssystem)

4 FOI Totalförsvarets forskningsinstitut (ett av Europas ledande forskningsinstitut inom försvar och säkerhet) Mer än 900 forskare (många olika bakgrunder) Uppdragsfinansierade Data science-gruppen (enheten för beslutsstödssystem)

5 FOI Totalförsvarets forskningsinstitut (ett av Europas ledande forskningsinstitut inom försvar och säkerhet) Mer än 900 forskare (många olika bakgrunder) Uppdragsfinansierade Data science-gruppen (enheten för beslutsstödssystem)

6 FOI Totalförsvarets forskningsinstitut (ett av Europas ledande forskningsinstitut inom försvar och säkerhet) Mer än 900 forskare (många olika bakgrunder) Uppdragsfinansierade Data science-gruppen (enheten för beslutsstödssystem)

7 FOI Totalförsvarets forskningsinstitut (ett av Europas ledande forskningsinstitut inom försvar och säkerhet) Mer än 900 forskare (många olika bakgrunder) Uppdragsfinansierade Data science-gruppen (enheten för beslutsstödssystem)

8 Fokus Datorstöd för textanalys (öppna källor) - Mer information - Ny information (magneter för att lösa nålen-i-höstacken-problem) Teoridrivet vs. datadrivet Tvärvetenskapligt angreppssätt (kombinera det maskiner är bra på med det människor är bra på)

9 Fokus Datorstöd för textanalys (öppna källor) - Mer information - Ny information (magneter för att lösa nålen-i-höstacken-problem) Teoridrivet vs. datadrivet Tvärvetenskapligt angreppssätt (kombinera det maskiner är bra på med det människor är bra på)

10 Fokus Datorstöd för textanalys (öppna källor) - Mer information - Ny information (magneter för att lösa nålen-i-höstacken-problem) Teoridrivet vs. datadrivet Tvärvetenskapligt angreppssätt (kombinera det maskiner är bra på med det människor är bra på)

11 Fokus Datorstöd för textanalys (öppna källor) - Mer information - Ny information (magneter för att lösa nålen-i-höstacken-problem) Teoridrivet vs. datadrivet Tvärvetenskapligt angreppssätt (kombinera det maskiner är bra på med det människor är bra på)

12 Fokus Datorstöd för textanalys (öppna källor) - Mer information - Ny information (magneter för att lösa nålen-i-höstacken-problem) Teoridrivet vs. datadrivet Tvärvetenskapligt angreppssätt (kombinera det maskiner är bra på med det människor är bra på)

13 Fokus Datorstöd för textanalys (öppna källor) - Mer information - Ny information (magneter för att lösa nålen-i-höstacken-problem) Teoridrivet vs. datadrivet Tvärvetenskapligt angreppssätt (kombinera det maskiner är bra på med det människor är bra på)

14 Fokus Datorstöd för textanalys (öppna källor) - Mer information - Ny information (magneter för att lösa nålen-i-höstacken-problem) Teoridrivet vs. datadrivet Tvärvetenskapligt angreppssätt (kombinera det maskiner är bra på med det människor är bra på)

15 Fokus Datorstöd för textanalys (öppna källor) - Mer information - Ny information (magneter för att lösa nålen-i-höstacken-problem) Teoridrivet vs. datadrivet Tvärvetenskapligt angreppssätt (kombinera det maskiner är bra på med det människor är bra på)

16 Fokus Datorstöd för textanalys (öppna källor) - Mer information - Ny information (magneter för att lösa nålen-i-höstacken-problem) Teoridrivet vs. datadrivet Tvärvetenskapligt angreppssätt (kombinera det maskiner är bra på med det människor är bra på)

17 Tekniker Datorlingvistik (språkteknologi) (Natural Language Processing, NLP) Maskininlärning (Machine Learning, ML) (Deep Learning, DL) Data Science (Data Mining)

18 Tekniker Datorlingvistik (språkteknologi) (Natural Language Processing, NLP) Maskininlärning (Machine Learning, ML) (Deep Learning, DL) Data Science (Data Mining)

19 Tekniker Datorlingvistik (språkteknologi) (Natural Language Processing, NLP) Maskininlärning (Machine Learning, ML) (Deep Learning, DL) Data Science (Data Mining)

20 Tekniker Datorlingvistik (språkteknologi) (Natural Language Processing, NLP) Maskininlärning (Machine Learning, ML) (Deep Learning, DL) Data Science (Data Mining)

21 Tekniker Datorlingvistik (språkteknologi) (Natural Language Processing, NLP) Maskininlärning (Machine Learning, ML) (Deep Learning, DL) Data Science (Data Mining)

22 Tekniker Datorlingvistik (språkteknologi) (Natural Language Processing, NLP) Maskininlärning (Machine Learning, ML) (Deep Learning, DL) Data Science (Data Mining)

23 Tekniker Datorlingvistik (språkteknologi) (Natural Language Processing, NLP) Maskininlärning (Machine Learning, ML) (Deep Learning, DL) Data Science (Data Mining)

24 Tekniker Datorlingvistik (språkteknologi) (Natural Language Processing, NLP) Maskininlärning (Machine Learning, ML) (Deep Learning, DL) Data Science (Data Mining)

25 AI, NLP, ML, DS, DL...

26 AI, NLP, ML, DS, DL...

27 AI, NLP, ML, DS, DL...

28 AI, NLP, ML, DS, DL...

29 AI, NLP, ML, DS, DL...

30 AI, NLP, ML, DS, DL...

31 AI, NLP, ML, DS, DL...

32 AI, NLP, ML, DS, DL... AI = datorprogram som kan utföra intelligenta handlingar (vad är intelligent?) (använda maskininlärning och datorlingvistik för att förstå språk) (vad är förstå?) Data science = utvinna ny kunskap ur data (använda statistik, maskininlärning och datorlingvistik för att förstå data)

33 AI, NLP, ML, DS, DL... AI = datorprogram som kan utföra intelligenta handlingar (vad är intelligent?) (använda maskininlärning och datorlingvistik för att förstå språk) (vad är förstå?) Data science = utvinna ny kunskap ur data (använda statistik, maskininlärning och datorlingvistik för att förstå data)

34 AI, NLP, ML, DS, DL... AI = datorprogram som kan utföra intelligenta handlingar (vad är intelligent?) (använda maskininlärning och datorlingvistik för att förstå språk) (vad är förstå?) Data science = utvinna ny kunskap ur data (använda statistik, maskininlärning och datorlingvistik för att förstå data)

35 AI, NLP, ML, DS, DL... AI = datorprogram som kan utföra intelligenta handlingar (vad är intelligent?) (använda maskininlärning och datorlingvistik för att förstå språk) (vad är förstå?) Data science = utvinna ny kunskap ur data (använda statistik, maskininlärning och datorlingvistik för att förstå data)

36 AI, NLP, ML, DS, DL... AI = datorprogram som kan utföra intelligenta handlingar (vad är intelligent?) (använda maskininlärning och datorlingvistik för att förstå språk) (vad är förstå?) Data science = utvinna ny kunskap ur data (använda statistik, maskininlärning och datorlingvistik för att förstå data)

37 AI, NLP, ML, DS, DL... AI = datorprogram som kan utföra intelligenta handlingar (vad är intelligent?) (använda maskininlärning och datorlingvistik för att förstå språk) (vad är förstå?) Data science = utvinna ny kunskap ur data (använda statistik, maskininlärning och datorlingvistik för att förstå data)

38 AI, NLP, ML, DS, DL... AI = datorprogram som kan utföra intelligenta handlingar (vad är intelligent?) (använda maskininlärning och datorlingvistik för att förstå språk) (vad är förstå?) Data science = utvinna ny kunskap ur data (använda statistik, maskininlärning och datorlingvistik för att förstå data)

39 Exempel på tillämpningar Våldsbejakande extremism och radikalisering Ensamagerande våldsverkare Hot och hat Profilering Informationspåverkan

40 Exempel på tillämpningar Våldsbejakande extremism och radikalisering Ensamagerande våldsverkare Hot och hat Profilering Informationspåverkan

41 Exempel på tillämpningar Våldsbejakande extremism och radikalisering Ensamagerande våldsverkare Hot och hat Profilering Informationspåverkan

42 Exempel på tillämpningar Våldsbejakande extremism och radikalisering Ensamagerande våldsverkare Hot och hat Profilering Informationspåverkan

43 Exempel på tillämpningar Våldsbejakande extremism och radikalisering Ensamagerande våldsverkare Hot och hat Profilering Informationspåverkan

44 Exempel på tillämpningar Våldsbejakande extremism och radikalisering Ensamagerande våldsverkare Hot och hat Profilering Informationspåverkan

45 Tillvägagångssätt Varningsbeteenden och indikatorer (lingvistiska markörer och metadata) Inlärning från kända exempel

46 Tillvägagångssätt Varningsbeteenden och indikatorer (lingvistiska markörer och metadata) Inlärning från kända exempel

47 Tillvägagångssätt Varningsbeteenden och indikatorer (lingvistiska markörer och metadata) Inlärning från kända exempel

48 Tillvägagångssätt Varningsbeteenden och indikatorer (lingvistiska markörer och metadata) Inlärning från kända exempel

49 Varningsbeteenden Definierade av domänexperter - Ensamagerande våldsverkare (ex. fixering vid en person eller en sakfråga, läckage av avsikt till tredje part) - Extremism och radikalisering (ex. en tydlig utgrupp/fiendegrupp, en dikotom tankestil) - Informationspåverkan (ex. påståenden om lögner, olika narrativer) Språkliga markörer som manifesterar dessa beteenden

50 Varningsbeteenden Definierade av domänexperter - Ensamagerande våldsverkare (ex. fixering vid en person eller en sakfråga, läckage av avsikt till tredje part) - Extremism och radikalisering (ex. en tydlig utgrupp/fiendegrupp, en dikotom tankestil) - Informationspåverkan (ex. påståenden om lögner, olika narrativer) Språkliga markörer som manifesterar dessa beteenden

51 Varningsbeteenden Definierade av domänexperter - Ensamagerande våldsverkare (ex. fixering vid en person eller en sakfråga, läckage av avsikt till tredje part) - Extremism och radikalisering (ex. en tydlig utgrupp/fiendegrupp, en dikotom tankestil) - Informationspåverkan (ex. påståenden om lögner, olika narrativer) Språkliga markörer som manifesterar dessa beteenden

52 Varningsbeteenden Definierade av domänexperter - Ensamagerande våldsverkare (ex. fixering vid en person eller en sakfråga, läckage av avsikt till tredje part) - Extremism och radikalisering (ex. en tydlig utgrupp/fiendegrupp, en dikotom tankestil) - Informationspåverkan (ex. påståenden om lögner, olika narrativer) Språkliga markörer som manifesterar dessa beteenden

53 Varningsbeteenden Definierade av domänexperter - Ensamagerande våldsverkare (ex. fixering vid en person eller en sakfråga, läckage av avsikt till tredje part) - Extremism och radikalisering (ex. en tydlig utgrupp/fiendegrupp, en dikotom tankestil) - Informationspåverkan (ex. påståenden om lögner, olika narrativer) Språkliga markörer som manifesterar dessa beteenden

54 Varningsbeteenden Definierade av domänexperter - Ensamagerande våldsverkare (ex. fixering vid en person eller en sakfråga, läckage av avsikt till tredje part) - Extremism och radikalisering (ex. en tydlig utgrupp/fiendegrupp, en dikotom tankestil) - Informationspåverkan (ex. påståenden om lögner, olika narrativer) Språkliga markörer som manifesterar dessa beteenden

55 Språkliga markörer Ordlistor Vokabulärvariabilitet (synonymi) Semantiska minnen

56 Språkliga markörer Ordlistor Vokabulärvariabilitet (synonymi) Semantiska minnen

57 Språkliga markörer Ordlistor Vokabulärvariabilitet (synonymi) Semantiska minnen

58 Semantiska minnen

59 Ordlistor

60 Tematisk analys Definiera ordlistor [BRUTALITY: execute, punish, behead...] Räkna förekomster av ord i data Följ teman över källor och över tid

61 Tematisk analys Definiera ordlistor [BRUTALITY: execute, punish, behead...] Räkna förekomster av ord i data Följ teman över källor och över tid

62 Tematisk analys Definiera ordlistor [BRUTALITY: execute, punish, behead...] Räkna förekomster av ord i data Följ teman över källor och över tid

63 Tematisk analys Definiera ordlistor [BRUTALITY: execute, punish, behead...] Räkna förekomster av ord i data Följ teman över källor och över tid

64 Tematisk analys Definiera ordlistor [BRUTALITY: execute, punish, behead...] Räkna förekomster av ord i data Följ teman över källor och över tid

65 Tematisk analys

66 Tematisk analys Överskattning: polysemi ( execute )

67 Tematisk analys Överskattning: polysemi ( execute ) Underskattning: synonymi ( IS/ISIS/ISIL/Daesh )

68 Tematisk analys Överskattning: polysemi ( execute ) Disambiguering Underskattning: synonymi ( IS/ISIS/ISIL/Daesh )

69 Tematisk analys Överskattning: polysemi ( execute ) Underskattning: synonymi ( IS/ISIS/ISIL/Daesh ) Disambiguering Semantiska minnen

70 Tematisk analys av IS-propaganda Dabiq 1 15, Rumiyah Word frequency Category Death Explosive Family Knife Prohibition Slave Vehicles Magazine nr

71 Teman på Nordfront

72 Teman på Nordfront

73 Maskininlärning Lära en dator känna igen text baserat på exempeltexter Kräver tillräckligt många, och tillräckligt representativa, exempel Annotering = samla exempel

74 Maskininlärning Lära en dator känna igen text baserat på exempeltexter Kräver tillräckligt många, och tillräckligt representativa, exempel Annotering = samla exempel

75 Maskininlärning Lära en dator känna igen text baserat på exempeltexter Kräver tillräckligt många, och tillräckligt representativa, exempel Annotering = samla exempel

76 Maskininlärning Lära en dator känna igen text baserat på exempeltexter Kräver tillräckligt många, och tillräckligt representativa, exempel Annotering = samla exempel

77 Annoteringsverktyg

78 Hur svårt är annotering? Ordklasser Korrelation som mått på överrensstämmelse (>0.8 räknas som tillförlitligt) 0.92 (Gimpel et al., 2011) 0.90 (Plank et al., 2014)

79 Hur svårt är annotering? Ordklasser Korrelation som mått på överrensstämmelse (>0.8 räknas som tillförlitligt) 0.92 (Gimpel et al., 2011) 0.90 (Plank et al., 2014)

80 Hur svårt är annotering? Ordklasser Korrelation som mått på överrensstämmelse (>0.8 räknas som tillförlitligt) 0.92 (Gimpel et al., 2011) 0.90 (Plank et al., 2014)

81 Hur svårt är annotering? Ordklasser Korrelation som mått på överrensstämmelse (>0.8 räknas som tillförlitligt) 0.92 (Gimpel et al., 2011) 0.90 (Plank et al., 2014)

82 Hur svårt är annotering? Sentiment 0.91 (Kim and Hovy, 2004) (Gamon and Aue, 2005) 0.78 (Strappavara and Mihalcea, 2007) 0.42 (Bermingham and Smeaton, 2009) 0.65 (Diakopoulos and Shamma, 2010) (Momtazi, 2012) 0.76 (Saif et al., 2013) 0.44 (Maynard and Bontcheva, 2016)

83 Hur svårt är annotering? Sentiment 0.91 (Kim and Hovy, 2004) (Gamon and Aue, 2005) 0.78 (Strappavara and Mihalcea, 2007) 0.42 (Bermingham and Smeaton, 2009) 0.65 (Diakopoulos and Shamma, 2010) (Momtazi, 2012) 0.76 (Saif et al., 2013) 0.44 (Maynard and Bontcheva, 2016)

84 Hur svårt är annotering? Hate speech (Ross et al., 2016) (Waseem, 2016) (Nobata et al., 2016) 0.84 (Waseem and Hovy, 2016) 0.92 (Davidson et al., 2017)

85 Hur svårt är annotering? Hate speech (Ross et al., 2016) (Waseem, 2016) (Nobata et al., 2016) 0.84 (Waseem and Hovy, 2016) 0.92 (Davidson et al., 2017)

86 Hat och hot Annotering av svensk data Teoridrivet baserat på kategorier: - Svordomar - Ilska - Elakheter - Generella hot - Dödshot - Sexism

87 Hat och hot Annotering av svensk data Teoridrivet baserat på kategorier: - Svordomar - Ilska - Elakheter - Generella hot - Dödshot - Sexism

88 Hat och hot Annotering av svensk data Teoridrivet baserat på kategorier: - Svordomar - Ilska - Elakheter - Generella hot - Dödshot - Sexism

89 Hat och hot Annotering av svensk data Teoridrivet baserat på kategorier: - Svordomar - Ilska - Elakheter - Generella hot - Dödshot - Sexism

90 Hat och hot Annotering av svensk data Teoridrivet baserat på kategorier: - Svordomar - Ilska - Elakheter - Generella hot - Dödshot - Sexism

91 Hat och hot Annotering av svensk data Teoridrivet baserat på kategorier: - Svordomar - Ilska - Elakheter - Generella hot - Dödshot - Sexism

92 Hat och hot Annotering av svensk data Teoridrivet baserat på kategorier: - Svordomar - Ilska - Elakheter - Generella hot - Dödshot - Sexism

93 Hat och hot Annotering av svensk data Teoridrivet baserat på kategorier: - Svordomar - Ilska - Elakheter - Generella hot - Dödshot - Sexism

94 Hat och hot Annotering av svensk data Teoridrivet baserat på kategorier: - Svordomar - Ilska - Elakheter - Generella hot - Dödshot - Sexism

95 Hat och hot Person Swearw. Anger Naught. Gen. threat Death threat Sexism Ylva Johansson Stefan Löfven Morgan Johansson Margot Wallström Mikael Damberg

96 Hat och hot Person Swearw. Anger Naught. Gen. threat Death threat Sexism Ylva Johansson Stefan Löfven Morgan Johansson Margot Wallström Mikael Damberg

97 Hat och hot Person Swearw. Anger Naught. Gen. threat Death threat Sexism Ylva Johansson Stefan Löfven Morgan Johansson Margot Wallström Mikael Damberg

98 Hat och hot Person Swearw. Anger Naught. Gen. threat Death threat Sexism Ylva Johansson Stefan Löfven Morgan Johansson Margot Wallström Mikael Damberg

99 Våldsuttryck 0.04 Relativ termfrekvens sep 04 sep 11 sep 18 sep 25 okt 02

100 Profilering Avgöra särdrag hos författaren (författarbestämning, aliasmatchning) Demografiska: kön, ålder, härkomst Sociopolitiska: utbildningsnivå, politisk/ideologisk tillhörighet

101 Profilering Avgöra särdrag hos författaren (författarbestämning, aliasmatchning) Demografiska: kön, ålder, härkomst Sociopolitiska: utbildningsnivå, politisk/ideologisk tillhörighet

102 Profilering Avgöra särdrag hos författaren (författarbestämning, aliasmatchning) Demografiska: kön, ålder, härkomst Sociopolitiska: utbildningsnivå, politisk/ideologisk tillhörighet

103 Profilering Avgöra särdrag hos författaren (författarbestämning, aliasmatchning) Demografiska: kön, ålder, härkomst Sociopolitiska: utbildningsnivå, politisk/ideologisk tillhörighet

104 Profilering Avgöra särdrag hos författaren (författarbestämning, aliasmatchning) Demografiska: kön, ålder, härkomst Sociopolitiska: utbildningsnivå, politisk/ideologisk tillhörighet

105 Profilering

106 Profilering

107 Ramverk

108 Ramverk

109 Ramverk