Institutionen för matematik KTH Minstakvadratmetoden Komplettering till den linjära algebran i kursen 5B6 b A b o A o V Eike Petermann/HT
Man ville bestämma ett approimativt värde på tyngdaccelerationen g En sten slängdes från en hög byggnad och man noterade med hjälp av fotoceller placerade på höjderna 5,,, och 4 meter över marken när stenen passerade dessa nivåer. Mätresultaten blev y, nivå i meter 4 5 t, tid i sek.4.6..67.85 Man bedömde att luftmotståndet inte hade någon nämnvärd inverkan på stenens rörelse varför man enligt Newtons lagar har sambandet y y + v t gt / mellan stenens höjd över marken y [m] och falltiden t [s]. Konstanten y är då stenens starthöjd, v [m/s] dess initiala hastighet i lodled och g [m/s ] den sökta tyngdaccelerationen. Dessa tre okända storheter borde då enligt mätresultaten, om dessa varit matematiskt eakta, uppfylla sambanden y +.4 v.4 / g 4 y +.6 v.6 / g y +. v. / g y +.67 v.67 / g y +.85 v.85 / g 5 Nu är mätvärdena förstås inte eakta vilket gör det osannolikt att systemet, som ju har flera ekvationer än obekanta, har några lösningar. En kalkyl, som inte redovisas här, visar också att eempelvis de värden på y, v och g som satisfierar de första tre sambanden inte satisfierar de två sista. Rimligt är då att man istället letar efter värden på y, v och g som insatta i ekvationerna ger vänsterleden värden som så litet som möjligt avviker från motsvarande högerled. Vad som menas med så litet som möjligt måste då förstås först preciseras. Flera tänkbara alternativ finns, till eempel att man bestämmer y, v och g så att den största av skillnaderna mellan höger och vänster led till beloppet är så liten som möjligt, eller summan av dessa skillnaders belopp är så liten som möjligt,. Minstakvadratmetoden eller summan av skillnadernas kvadrater är så liten som möjligt... Ett eempel Man har i alla dessa fall att lösa ett etremproblem. Vilket fall man väljer påverkar förstås väsentligt det räknearbete som behöver göras för att bestämma de bästa värdena på y, v och g. Det visar sig att det sistnämnda av alternativen ger ett etremproblem som är förhållandevis lätt att lösa och vi granskar den metoden, den s.k. minstakvadtratmetoden, närmare här. Litet terminologi Man säger att man minstakvadratanpassar polynomet y y + v t gt / till de uppmätta värdena. Värdena y, v och g kallas en minstakvadratlösning till systemet [] (eller en lösning till [] i minstakvadratmening). Vi tillämpar först metoden på eemplet ovan, men för att de speciella koefficienterna inte skall skymma sikten för förfarandets allmängiltighet, formulerar vi om problemet i termer av lösning av linjära ekvationssystem med hjälp av matrisräkning. Normalekvationen På matrisform kan systemet [] skrivas A b.4.4 /.6.6 där A / y.. /, v g och b.67.67 /.85.85 / Vi vill minimera funktionen F() A b. Ett analogt geometriskt problem antyds i figuren här bredvid Det gäller att minimera avståndet från det plan, som utgör värdemängden V till avbildningen y A, till en punkt b som inte ligger i planet. [] För minimipunkten skulle i så fall vektorn mellan b och den närmaste punkten A på värdemängden, vara vinkelrät mot varje vektor i denna värdemängd. b A o A o b V Kolonnvektorer i matrisen A. De, liksom A, är vinkelräta mot A b. o o Minimalvärdet av F kvadraten på minsta avståndet d från b till värdemängden för avbildningen y A b d 4 5 y A. V Värdemängden till den linjära avbildningen y A Eftersom V spänns upp av kolonnvektorerna i matrisen A, så måste skalärprodukten av var och en av dem med A b vara. Men kolonnerna i A är identiska med raderna i transponatet A T, så det nyss sagda innebär att A T (A b), dvs A T A A T b Minimipunkten måste alltså satisfiera detta ekvationssystem problemets så kallade normalekvation. För de fall där A T A är en inverterbar matris så gäller (A T A) A T b.
Vi leds alltså till påståendet Sats (Om minstakvadratanpassning) Om är minipunkt till funktionen F() A b, där A är en avbildning R n R m, så satisfierar normalekvationen A T A A T b I eemplet i avsnitt. är A.4.4 /.6.6 /.. /.67.67 /.85.85 / och b Detta ger (räknehjälpmedel som räknedosa eller matematikprogram som MatLab, Maple, Matematica underlättar!) 5 9.78.49 5 A T A 9.78.986 8.74976 och A T b 5.75,.49 8.74976 7.9858 48.875 Dvs normalekvationen är 5 9.78.49 y 5 9.78.986 8.74976.49 8.74976 7.9858 v g 5.75, 48.875 med lösning y 5 9.78.49 5 4.5857 v g 9.78.986 8.74976 5.75.984948.49 8.74976 7.9858 48.875 9.96955 vilket ger närmevärdet g 9.96 m/s för tyngdaccelerationen. Samtidigt avläser man att stenens höjd över marken i starten var 4. m och dess uppåtriktade hastighet i startögonblicket.98 m/s. 4 5. *. Härledning av det allmänna fallet Resonemanget ovan, som ledde till normalekvationen och sats kan verka allmängiltigt, men man bör notera att det byggde på en figur där b är en punkt i R, medan b i räkneeemplet ligger i R 5, så påståendet är inte självklart riktigt. Generaliseringen till det helt allmänna fallet, då b ligger i R m och i R n är ännu mindre självklar. I detta avsnitt visas att sats är sann också i dessa fall. Eftersom det beviset inte kan bygga på någon figur, måste det göras med enbart algebraiska och/eller analytiska metoder.. Några hjälpsamma observationer Först en variant av kvadreringsregeln Hjälpsats Om u och v är kolonnvektorer (dvs n -matriser) u u u u m och v v v v m så är u + v u + v + u T v. Bevis Man har nämligen att u + v (u + v) T (u + v) (u T + v T )(u + v) u T u + u T v + v T u + v T v. Men alla dessa produkter är skalärer ( -matriser) varför v T u (v T u) T u T v och u T u u, v T v v, alltså u + v u + v + u T v. För stenens höjd som funktion av falltiden får man då sambandet Sedan en observation om nollställena till A T A y 4 +.98t 4.98t Följande diagram visar grafen för denna funktion tillsammans med mätpunkterna Hjälpsats A T A om och endast om A. Ett mått på anpassningens godhet är det så kallade kvadratiska medelfelet A b / m, där m är antalet ekvationer i systemet,vilket här kan Bevis Man har kedjan av implikationer beräknas till.6. Anmärkning Det kvadratiska medelfelet kan tolkas statistiskt. Om man antar Påståendet är självklart sant om A T (och därmed även A) är inverterbar, men poängen är att detta är riktigt för godtyckliga matriser A av godtyckligt format. A A T A A T A T A att de mätfel man gjort, har orsakats av många små, sinsemellan oberoende störningar, så är sannolikheten för att dvs A T A A. komponenterna i avviker från de korrekta med mindre än medelfelet ungefär 68%. Mätningarna ovan skulle alltså innebära att det korrekta värdet av tyngdaccelerationen g med ca 68%s sannolikhet ligger i intervallet 9.96 ±. [m/s ]
.. Härledningen Hjälpsats Vi visar följande precisering av satsen ovan Den kvadratiska matrisen A T A är inverterbar om och endast om kolonnvektorerna i A är linjärt oberoende. Sats (Minsta-kvadrat-metoden) Bevis Den kvadratiska matrisen A T A är inverterbar Ekvationssystemet A T A För varje matris A och kolonnvektor b med samma antal rader som A har har enbart den triviala lösningen Hjälpsats Ekvationssystemet A normalekvationen har enbart den triviala lösningen Kolonnvektorerna i A är linjärt oberoende. (minst) en lösning. A T A A T b För varje sådan lösning gäller att A b A b, dvs är minimipunkt till funktionen F() A b. Bevis. Att normalekvationen alltid har lösningar kan inses genom ett indirekt resonemang Anta att systemet inte har några lösningar. I så fall måste det finnas någon linjär kombination av raderna i matrisen A T A som är identiskt, dvs c T A T A för någon kolonnvektor c, För minstakvadratmetoden innebär detta Sats (Entydighet hos minimipunkten) medan samma linjära kombination av raderna i högerledet b är, dvs c T A T b. ( Sats 4 (Om polynomanpassning) Kolonnvektorerna i matrisen Men eftersom c T A T A (A T Ac) T, har vi enligt hjälpsatsen att Ac och därmed också c T A T. Detta ger motsägelsen c T A T b antagandet att systemet inte har några lösningar är alltså felaktigt.. Låt nu vara en godtycklig lösning till normalekvationen. Sätter vi + h, där h är en godtycklig vektor (av samma dimension som ) så är F() A( + h) b (A b) + Ah Sätt u A b och v Ah i hjälpsatsen. A b + Ah + h T A T (A b) Men A T (A b). A b + Ah A b F( )..4 När finns det bara en minimipunkt? I räkneeemplet ovan är matrisen A T A inverterbar varför normalekvationen har en enda lösning. Ett rätt enkelt ekvivalent villkor, som dessutom i praktiken ofta är uppfyllt ges av Funktionen F() A b, har en enda minimipunkt om och endast om kolonnvektorerna i A är linjärt oberoende. Minimipunkten ges av (A T A) A T b. En viktig typ av problem, där minimipunkten alltid är unik, är när man minstakvadratanpassar ett polynom av grad n y c + c t + c t + c n t n till mätdata (t, y ), (t, y ),, (t m, y m ) vid olika tidpunkter som är fler än gradtalet n, dvs t i t j om i j och m > n. Det inledande eemplet är av denna typ. A t t t n t t t n M M M M M M M M M M M M t m t m t n m där t i t j om i j och m > n är linjärt oberoende. Bevis Om Ac för någon vektor c c c M M c n så har polynomet p(t) c + c t + c t + c n t n de m > n olika nollställena t, t,, t m. Eftersom inget polynom förutom nollpolynomet kan ha fler nollställen än sitt gradtal, så måste p vara nollpolynomet, dvs c. Om man eempelvis löser systemet med hjälp av Gausselimination vilket inte är något annat än att man efter ett visst mönster linjärkombinerar ekvationerna i systemet till nya ekvationer så måste förfarandet generera en ekvation av typen k, annars skulle ekvationssystemet A T A b ha en lösning.
.5 Övningar.8 Bestäm ekvationen för den räta linje y k + l som i minstakvadratmening bäst anpassar till punkterna (,), (, ) och (, 8). Bestäm också medelfelet.. Skriv upp normalekvationerna till systemen a. c. e. g. 4 5 6 4 5 6 4 b. 4 5 6 d. (,, ) f. h. 4. För vilka av systemen i uppgift. finns det bara en enda minstakvadratlösning?. Ange en minstakvadratlösning för var och en av systemen i uppgift...4 a. Punkterna (, y, z) (,, 5)t + (, 4, 6)s, bildar ett plan genom origo. Vilken är den vinkelräta projektionen av punkten (,, ) på detta plan? b. Punkterna (, y, z) (,, )t, bildar en rät linje genom origo. Vilken är den vinkelräta projektionen av punkten (,, ) på denna linje?.5 Låt u och v vara två vektorer i R och låt L vara den mängd punkter vars ortsvektorer är linjära kombinationer av u och v. (L är ett plan om u och v inte är parallella och en linje om de är parallella och ej båda.) Låt vidare A vara matrisen som har u och v som kolonner. Verifiera dels att den på L belägna punkt y, som ligger närmast punkten b ges av y A, där är någon lösning till A T A A T b och dels att det minimala avståndet b y..6 a. Vilken av punkterna på planet i uppgift.4a ligger närmast punkten (,, ) och vilket är det minimala avståndet? b. Vilken av punkterna på den räta linjen i uppgift.4b ligger närmast punkten (,, ) och vilket är det minimala avståndet?.7 a. Visa att raderna i matrisen A är linjärt oberoende om och endast om matrisen AA T är inverterbar. b. Visa att om raderna i matrisen A är linjärt oberoende så har normalekvationen A T A A T b samma lösningar som det ursprungliga systemet A b..9 Bestäm ekvationen för den räta linje y k + l som i minstakvadratmening bäst anpassar till punkterna (, ), (, ), (, ) och (, 8). Bestäm också medelfelet.. Bestäm ekvationen för den parabel y a + b + c som i minstakvadratmening bäst anpassar till punkterna (, ), (, ), (, ) och (, 8). Bestäm också medelzfelet.. Bestäm ekvationen för det plan z a + by + c som i minstakvadratmening bäst anpassar till punkterna (,, ), (,, ), (,, ) och (,, 6). Bestäm också medelfelet.. Den verksamma substansen, theophyllin, hos ett läkemedel mot astma försvinner enligt en matematisk modell ur kroppen enligt sambandet c(t) Ae kt, där c(t) och A är koncentrationerna av theophyllinet i blodet vid tiderna t och och k är en konstant, som är relaterad till individens utsöndringsförmåga. I syfte att kunna planera doceringen hos läkemedlet koncentrationen av theophyllin måste hela tiden ligga i ett visst intervall för att läkemedlet skall ha avsedd effekt vill man för en viss person empiriskt bestämma konstanten k. Läkemedlet injicerades i pacienten och man mätte sedan theophyllinkoncentrationerna i blodet vid olika tidpunkter. Mätningarna sammanfattas i tabellen här bredvid Antal timmar Koncentration [ma/l]. 5 5. 9.5.5 5. 9.5 Relationen ovan kan efter logaritmering skrivas ln c ln A kt Minstakvadratanpassa konstanterna ln A och k till de givna mätvärdena. 4
Svar.8 y ( )/4. Kvadratiska medelfelet / 4.. (Normalekvationen är 5 5 k l 6 9. ) 5 44. a. 44 56 6 7 7 8 b. 9 6 7 6 45.9 y (4 )/. Kvadratiska medelfelet 6/.75. 7 7 (Normalekvationen är 4 6 c. 9 6 7 6 45 d. 4 6 6 9 6 4 k l 7. ). y / / + /5. Kvadratiska medelfelet / 5.89. 4 e. 4 4 f. 4 98 6 4 a 77 (Normalekvationen är 6 4 6 5 g. h. 4 6 4 b 7. ) c. z y /. Kvadratiska medelfelet /. 6 9 4 a 6 (Normalekvationen är 9 4 6 4 6 4 b 5. ). De där kolonnerna är linjärt oberoende, dvs. a, e f och h. c. a. / b. 5/ 5/ + t T.e. 4/, (allmän lösn. 4/ t ). t c. 5/ 5/ + t T.e. 4/, (allmän lösn. 4/ t ). t d. s t, (allmän lösn. s ). T.e. t e. /7. f. /, (Obs att matrisen för systemet i f är inverterbar, så normalekvationen har samma lösning som det givna systemet). g. T.e., (allmän lösn. /5 t t ). h..4 Ledning Lämpligt att använda resultaten från uppgifterna..a och e. a. (/, /, /). b. (/7, 4/7, 6/7)..6 Ledning Lämpligt att använda resultaten från uppgifterna..a och e. a. (/, /, /), minimalavståndet /. b. (/7, 4/7, 6/7), minimalavståndet 6/7..7 Ledningar a. Tillämpa hjälpsats. på A s transponat. b. Multiplicera relationen A T A A T b med A från vänster och tillämpa resultatet från a-uppgiften.. ln A.448 och k.67. (Normalekvationen är 6 6 6 86 ln A k 4.546.6976. ) 5