Linjär algebra förel. 10 Minsta kvadratmetoden Niels Chr. Overgaard 015-09- c N. Chr. Overgaard Förel. 9 015-09- logoonly 1 / 17
Data från 1 vuxna män vikt (kg) längd (m) 58 1,69 83 1,77 80 1,79 77 1,80 99 1,8 75 1,8 83 1,83 83 1,86 88 1,86 87 1,9 9 1,9 115,00 c N. Chr. Overgaard Förel. 9 015-09- logoonly / 17
BMI BMI (Body Mass Index) beräknas enligt formeln: BMI = vikt längd längd [ kg m ] För personer med normal vikt gäller: 18, 5 BMI < 5 BMI är alltså relativt konstant. Vi vill undersöka om vi kan hitta en konstant k sådan att vikt = k (längd) Då kommer k vara en skattning av försökspopulationens BMI. c N. Chr. Overgaard Förel. 9 015-09- logoonly 3 / 17
BMI BMI (Body Mass Index) beräknas enligt formeln: BMI = vikt längd längd [ kg m ] För personer med normal vikt gäller: 18, 5 BMI < 5 BMI är alltså relativt konstant. Vi vill undersöka om vi kan hitta en konstant k sådan att vikt = k (längd) Då kommer k vara en skattning av försökspopulationens BMI. c N. Chr. Overgaard Förel. 9 015-09- logoonly 3 / 17
BMI BMI (Body Mass Index) beräknas enligt formeln: BMI = vikt längd längd [ kg m ] För personer med normal vikt gäller: 18, 5 BMI < 5 BMI är alltså relativt konstant. Vi vill undersöka om vi kan hitta en konstant k sådan att vikt = k (längd) Då kommer k vara en skattning av försökspopulationens BMI. c N. Chr. Overgaard Förel. 9 015-09- logoonly 3 / 17
Transformation av data y = vikt (kg) x = längd (m ) 58,86 83 3,13 80 3,0 77 3,4 99 3,31 75 3,31 83 3,35 83 3,46 88 3,46 87 3,69 9 3,69 115 4,00 c N. Chr. Overgaard Förel. 9 015-09- logoonly 4 / 17
Vilken är den bästa räta linjen (genom origo)? c N. Chr. Overgaard Förel. 9 015-09- logoonly 5 / 17
Problemformulering (principskiss) y y = kx y 5 y 4 y y 1 y 3 x 1 x x 3 x 4 x 5 x Hur väljar man lutningen k så att den räta linjen bäst beskriver mätdata? c N. Chr. Overgaard Förel. 9 015-09- logoonly 6 / 17
Problemformulering (principskiss) y y = kx y 5 y 4 y y 1 y 3 x 1 x x 3 x 4 x 5 x Hur väljar man lutningen k så att den räta linjen bäst beskriver mätdata? c N. Chr. Overgaard Förel. 9 015-09- logoonly 6 / 17
Modell och residualer För ett givet val av k kommer modellen att göra följande prediktioner: y y = kx y 1 ŷ 1 x 1 x x 3 x 4 x 5 x Fel = (y 1 ŷ 1 ) c N. Chr. Overgaard Förel. 9 015-09- logoonly 7 / 17
Modell och residualer För ett givet val av k kommer modellen att göra följande prediktioner: y y = kx y 1 ŷ 1 x 1 x x 3 x 4 x 5 x Fel = (y 1 ŷ 1 ) c N. Chr. Overgaard Förel. 9 015-09- logoonly 7 / 17
Modell och residualer För ett givet val av k kommer modellen att göra följande prediktioner: y y = kx y 1 ŷ 1 x 1 x x 3 x 4 x 5 x Fel = (y 1 ŷ 1 ) c N. Chr. Overgaard Förel. 9 015-09- logoonly 7 / 17
Modell och residualer För ett givet val av k kommer modellen att göra följande prediktioner: y y = kx y 1 ŷ 1 x 1 x x 3 x 4 x 5 x Fel = (y 1 ŷ 1 ) + (y ŷ ) c N. Chr. Overgaard Förel. 9 015-09- logoonly 8 / 17
Modell och residualer För ett givet val av k kommer modellen att göra följande prediktioner: y y = kx y 1 ŷ 1 x 1 x x 3 x 4 x 5 x Fel = (y 1 ŷ 1 ) + (y ŷ ) c N. Chr. Overgaard Förel. 9 015-09- logoonly 8 / 17
Modell och residualer För ett givet val av k kommer modellen att göra följande prediktioner: y y = kx y 1 ŷ 1 x 1 x x 3 x 4 x 5 x Fel = (y 1 ŷ 1 ) + (y ŷ ) + (y 3 ŷ 3 ) + (y 4 ŷ 4 ) + (y 5 ŷ 5 ) = (y 1 kx 1 ) + (y kx ) + (y 3 kx 3 ) + (y 4 kx 4 ) + (y 5 kx 5 ) c N. Chr. Overgaard Förel. 9 015-09- logoonly 9 / 17
Modell och residualer För ett givet val av k kommer modellen att göra följande prediktioner: y y = kx y 1 ŷ 1 x 1 x x 3 x 4 x 5 x Fel = (y 1 ŷ 1 ) + (y ŷ ) + (y 3 ŷ 3 ) + (y 4 ŷ 4 ) + (y 5 ŷ 5 ) = (y 1 kx 1 ) + (y kx ) + (y 3 kx 3 ) + (y 4 kx 4 ) + (y 5 kx 5 ) c N. Chr. Overgaard Förel. 9 015-09- logoonly 9 / 17
Modell och residualer För ett givet val av k kommer modellen att göra följande prediktioner: y y = kx y 1 ŷ 1 x 1 x x 3 x 4 x 5 x Fel = (y 1 ŷ 1 ) + (y ŷ ) + (y 3 ŷ 3 ) + (y 4 ŷ 4 ) + (y 5 ŷ 5 ) = (y 1 kx 1 ) + (y kx ) + (y 3 kx 3 ) + (y 4 kx 4 ) + (y 5 kx 5 ) c N. Chr. Overgaard Förel. 9 015-09- logoonly 9 / 17
Minsta kvadratmetoden: Problemformulring Problem: Bestäm det värde på lutningen k som gör att Fel = (y 1 kx 1 ) + (y kx ) + (y 3 kx 3 ) + (y 4 kx 4 ) + (y 5 kx 5 ) blir så liten som möjligt. Introducerar vektorerna x = (x 1, x, x 3, x 4, x 5 ) R 5 och y = (y 1, y, y 3, y 4, y 5 ) R 5 och observera att kx = (kx 1, kx, kx 3, kx 4, kx 5 ). Problemet ovan blir: Problem : Bestäm k R som löser y k x = min y kx k R c N. Chr. Overgaard Förel. 9 015-09- logoonly 10 / 17
Minsta kvadratmetoden: Problemformulring Problem: Bestäm det värde på lutningen k som gör att Fel = (y 1 kx 1 ) + (y kx ) + (y 3 kx 3 ) + (y 4 kx 4 ) + (y 5 kx 5 ) blir så liten som möjligt. Introducerar vektorerna x = (x 1, x, x 3, x 4, x 5 ) R 5 och y = (y 1, y, y 3, y 4, y 5 ) R 5 och observera att kx = (kx 1, kx, kx 3, kx 4, kx 5 ). Problemet ovan blir: Problem : Bestäm k R som löser y k x = min y kx k R c N. Chr. Overgaard Förel. 9 015-09- logoonly 10 / 17
Minsta kvadratmetoden: Problemformulring Problem: Bestäm det värde på lutningen k som gör att Fel = (y 1 kx 1 ) + (y kx ) + (y 3 kx 3 ) + (y 4 kx 4 ) + (y 5 kx 5 ) blir så liten som möjligt. Introducerar vektorerna x = (x 1, x, x 3, x 4, x 5 ) R 5 och y = (y 1, y, y 3, y 4, y 5 ) R 5 och observera att kx = (kx 1, kx, kx 3, kx 4, kx 5 ). Problemet ovan blir: Problem : Bestäm k R som löser y k x = min y kx k R c N. Chr. Overgaard Förel. 9 015-09- logoonly 10 / 17
Allmänna problemet och dess lösning Problem: Givet vektorer x och y i R n. Bestäm det tal k R som uppfyller y k x = min y kx, k R d.v.s. det tal k som minimerar funktionen k y kx. Kom ihåg att skalärprodukt och längd definieras för vektorer x = (x 1, x,..., x n ) och y = (y 1, y,..., y n ) i R n som x y = x 1 y 1 + x y + + x n y n och = x x = x 1 + x + + x n c N. Chr. Overgaard Förel. 9 015-09- logoonly 11 / 17
Det allmänna problemet och dess lösning II Lösningen beror på vårt hemliga vapen : kvadratkomplettering! kx y = (kx y) (kx y) = kx kx kx y + y y = k x kx y + y = k x k x x y + y ( = k x y ) ( x y ) + y c N. Chr. Overgaard Förel. 9 015-09- logoonly 1 / 17
Det allmänna problemet och dess lösning II Lösningen beror på vårt hemliga vapen : kvadratkomplettering! kx y = (kx y) (kx y) = kx kx kx y + y y = k x kx y + y = k x k x x y + y ( = k x y ) ( x y ) + y c N. Chr. Overgaard Förel. 9 015-09- logoonly 1 / 17
Det allmänna problemet och dess lösning II Lösningen beror på vårt hemliga vapen : kvadratkomplettering! kx y = (kx y) (kx y) = kx kx kx y + y y = k x kx y + y = k x k x x y + y ( = k x y ) ( x y ) + y c N. Chr. Overgaard Förel. 9 015-09- logoonly 1 / 17
Det allmänna problemet och dess lösning II Lösningen beror på vårt hemliga vapen : kvadratkomplettering! kx y = (kx y) (kx y) = kx kx kx y + y y = k x kx y + y = k x k x x y + y ( = k x y ) ( x y ) + y c N. Chr. Overgaard Förel. 9 015-09- logoonly 1 / 17
Det allmänna problemet och dess lösning II Lösningen beror på vårt hemliga vapen : kvadratkomplettering! kx y = (kx y) (kx y) = kx kx kx y + y y = k x kx y + y = k x k x x y + y ( = k x y ) ( x y ) + y c N. Chr. Overgaard Förel. 9 015-09- logoonly 1 / 17
Det allmänna problemet och dess lösning II Lösningen beror på vårt hemliga vapen : kvadratkomplettering! kx y = (kx y) (kx y) = kx kx kx y + y y = k x kx y + y = k x k x x y + y ( = k x y ) ( x y ) + y c N. Chr. Overgaard Förel. 9 015-09- logoonly 1 / 17
Det allmänna problemet och dess lösning II Lösningen beror på vårt hemliga vapen : kvadratkomplettering! kx y = (kx y) (kx y) = kx kx kx y + y y = k x kx y + y = k x k x x y + y ( = k x y ) ( x y ) + y c N. Chr. Overgaard Förel. 9 015-09- logoonly 1 / 17
Det allmänna problemet och dess lösning III Vi har alltså uttrycket: ( kx y = k x y ) ( x y ) + y Felet blir minst möjligt om vi väljer k = k = x y, ty då blir första (icke-negativa) parentesen noll. Tolkning: Den vektor på formen kx som ligger närmast y är: Vi känner igen projektionsformeln! y := k x = x y x c N. Chr. Overgaard Förel. 9 015-09- logoonly 13 / 17
Det allmänna problemet och dess lösning III Vi har alltså uttrycket: ( kx y = k x y ) ( x y ) + y Felet blir minst möjligt om vi väljer k = k = x y, ty då blir första (icke-negativa) parentesen noll. Tolkning: Den vektor på formen kx som ligger närmast y är: Vi känner igen projektionsformeln! y := k x = x y x c N. Chr. Overgaard Förel. 9 015-09- logoonly 13 / 17
Det allmänna problemet och dess lösning III Vi har alltså uttrycket: ( kx y = k x y ) ( x y ) + y Felet blir minst möjligt om vi väljer k = k = x y, ty då blir första (icke-negativa) parentesen noll. Tolkning: Den vektor på formen kx som ligger närmast y är: Vi känner igen projektionsformeln! y := k x = x y x c N. Chr. Overgaard Förel. 9 015-09- logoonly 13 / 17
Allmänna problemet och dess lösning IV Resultatet ovan ger oss följande bonus: 0 k x y = ( y x y ) alltså (x y) x y Cauchy-Schwarz olikhet För alla vektorer x och y i R n gäller olikheten x y x y. c N. Chr. Overgaard Förel. 9 015-09- logoonly 14 / 17
Allmänna problemet och dess lösning IV Resultatet ovan ger oss följande bonus: 0 k x y = ( y x y ) alltså (x y) x y Cauchy-Schwarz olikhet För alla vektorer x och y i R n gäller olikheten x y x y. c N. Chr. Overgaard Förel. 9 015-09- logoonly 14 / 17
Det allmänna problemet och dess lösning V Vi har redan definierat: där vi har y x. y = k x = x y x Sätter vi ser man att y = y k x = y y ( x y = x y x y ) x = x y x y = 0, så y x. Komposantuppdelning i R n : y = y + y där y x och y x. c N. Chr. Overgaard Förel. 9 015-09- logoonly 15 / 17
Det allmänna problemet och dess lösning V Vi har redan definierat: där vi har y x. y = k x = x y x Sätter vi ser man att y = y k x = y y ( x y = x y x y ) x = x y x y = 0, så y x. Komposantuppdelning i R n : y = y + y där y x och y x. c N. Chr. Overgaard Förel. 9 015-09- logoonly 15 / 17
Det allmänna problemet och dess lösning V Vi har redan definierat: där vi har y x. y = k x = x y x Sätter vi ser man att y = y k x = y y ( x y = x y x y ) x = x y x y = 0, så y x. Komposantuppdelning i R n : y = y + y där y x och y x. c N. Chr. Overgaard Förel. 9 015-09- logoonly 15 / 17
Resultat för populationen Beräkning av bästa räta linjen (genom origo) ger: k = x y = 5.16 Vilket resulterar grafen: c N. Chr. Overgaard Förel. 9 015-09- logoonly 16 / 17
En känd matematikprofessor (numerisk analytiker) har sagt: BMI divides the weight by too large a number for short people and too small a number for tall people. So short people are misled into thinking that they are thinner than they are, and tall people are misled into thinking they are fatter. Nick Trefethen Tack till de personer från KCE och Matematikinstitutionen (+ 3 till) som bidragit med real world data. c N. Chr. Overgaard Förel. 9 015-09- logoonly 17 / 17
En känd matematikprofessor (numerisk analytiker) har sagt: BMI divides the weight by too large a number for short people and too small a number for tall people. So short people are misled into thinking that they are thinner than they are, and tall people are misled into thinking they are fatter. Nick Trefethen Tack till de personer från KCE och Matematikinstitutionen (+ 3 till) som bidragit med real world data. c N. Chr. Overgaard Förel. 9 015-09- logoonly 17 / 17