Es wird die Methode der kleinsten Quadrate verwendet. Kleinste Quadrate in Excel
Wir approximieren die Funktion durch ein Polynom 2. Grades. Dazu berechnen wir die Koeffizienten des normalen Gleichungssystems:
, 
, 
Lassen Sie uns ein normales System erstellen kleinsten Quadrate, was so aussieht:
Die Lösung des Systems ist leicht zu finden: , , .
Damit ist das Polynom 2. Grades gefunden: .
Theoretischer Hintergrund
Zurück zur Seite<Введение в вычислительную математику. Примеры>
Beispiel 2. Den optimalen Grad eines Polynoms finden.
Zurück zur Seite<Введение в вычислительную математику. Примеры>
Beispiel 3. Ableitung eines normalen Gleichungssystems zur Ermittlung der Parameter einer empirischen Abhängigkeit.
Lassen Sie uns ein Gleichungssystem zur Bestimmung der Koeffizienten und Funktionen herleiten 
, die die Root-Mean-Square-Approximation durchführt gegebene Funktion nach Punkten. Verfassen Sie eine Funktion 
und schreibe für sie notwendige Bedingung Extrem:
Dann nimmt das normale System die Form an:
Wir haben ein lineares Gleichungssystem für unbekannte Parameter und erhalten, das leicht zu lösen ist.
Theoretischer Hintergrund
Zurück zur Seite<Введение в вычислительную математику. Примеры>
Beispiel.
Experimentelle Daten zu den Werten von Variablen X und bei sind in der Tabelle angegeben. 
Durch ihre Ausrichtung wird die Funktion 
Verwenden Methode der kleinsten Quadrate, approximieren diese Daten mit einer linearen Abhängigkeit y=ax+b(Optionen finden a und b). Finden Sie heraus, welche der beiden Linien besser (im Sinne der Methode der kleinsten Quadrate) die experimentellen Daten ausrichtet. Fertige eine Zeichnung an.
Die Essenz der Methode der kleinsten Quadrate (LSM).
Das Problem besteht darin, die Koeffizienten zu finden lineare Abhängigkeit, für die die Funktion zweier Variablen a und b
nimmt den kleinsten Wert an. Das heißt, angesichts der Daten a und b die Summe der quadrierten Abweichungen der experimentellen Daten von der gefundenen geraden Linie wird am kleinsten sein. Das ist der springende Punkt bei der Methode der kleinsten Quadrate.
Somit reduziert sich die Lösung des Beispiels darauf, das Extremum einer Funktion zweier Variablen zu finden.
Herleitung von Formeln zum Finden von Koeffizienten.
Ein System aus zwei Gleichungen mit zwei Unbekannten wird erstellt und gelöst. Partielle Ableitungen von Funktionen finden durch Variablen a und b, setzen wir diese Ableitungen mit Null gleich. 
Wir lösen das resultierende Gleichungssystem mit einer beliebigen Methode (z Substitutionsmethode oder Cramer-Methode) und erhalten Sie Formeln zum Finden von Koeffizienten mit der Methode der kleinsten Quadrate (LSM). 
Mit Daten a und b Funktion nimmt den kleinsten Wert an. Der Beweis dieser Tatsache wird unten im Text am Ende der Seite gegeben.
Das ist die ganze Methode der kleinsten Quadrate. Formel zum Finden des Parameters a enthält die Summen , , , und den Parameter n ist die Menge an experimentellen Daten. Es wird empfohlen, die Werte dieser Summen separat zu berechnen.
Koeffizient b nach Berechnung gefunden a.
Es ist Zeit, sich an das ursprüngliche Beispiel zu erinnern.
Entscheidung.
In unserem Beispiel n=5. Wir füllen die Tabelle aus, um die Beträge zu berechnen, die in den Formeln der erforderlichen Koeffizienten enthalten sind. 
Die Werte in der vierten Zeile der Tabelle erhält man, indem man für jede Zahl die Werte der 2. Zeile mit den Werten der 3. Zeile multipliziert ich.
Die Werte in der fünften Zeile der Tabelle erhält man durch Quadrieren der Werte der 2. Zeile für jede Zahl ich.
Die Werte der letzten Spalte der Tabelle sind die Summen der Werte über die Zeilen hinweg.
Wir verwenden die Formeln der Methode der kleinsten Quadrate, um die Koeffizienten zu finden a und b. Wir ersetzen in ihnen die entsprechenden Werte aus der letzten Spalte der Tabelle: 
Folglich, y=0,165x+2,184 die gesuchte Näherungsgerade ist.
Es bleibt herauszufinden, welche der Linien y=0,165x+2,184 oder nähert sich den Originaldaten besser an, d.h. um eine Schätzung nach der Methode der kleinsten Quadrate vorzunehmen.
Abschätzung des Fehlers der Methode der kleinsten Quadrate.
Dazu müssen Sie die Summen der quadrierten Abweichungen der Originaldaten von diesen Linien berechnen 
und 
, entspricht ein kleinerer Wert einer Linie, die die ursprünglichen Daten im Sinne der Methode der kleinsten Quadrate besser annähert. 
Da , dann die Linie y=0,165x+2,184 nähert sich den Originaldaten besser an.
Grafische Darstellung der Methode der kleinsten Quadrate (LSM).
In den Charts sieht alles super aus. Die rote Linie ist die gefundene Linie y=0,165x+2,184, die blaue Linie ist , die rosa Punkte sind die Originaldaten.
Wozu dient es, wozu all diese Annäherungen?
Ich persönlich verwende, um Datenglättungsprobleme, Interpolations- und Extrapolationsprobleme zu lösen (im ursprünglichen Beispiel könnten Sie aufgefordert werden, den Wert des beobachteten Werts zu finden j bei x=3 oder wann x=6 nach der MNC-Methode). Aber wir werden später in einem anderen Abschnitt der Website mehr darüber sprechen.
Seitenanfang
Nachweisen.
Also wenn gefunden a und b Funktion den kleinsten Wert annimmt, ist es notwendig, dass an dieser Stelle die Matrix der quadratischen Form des Differentials zweiter Ordnung für die Funktion war positiv bestimmt. Zeigen wir es.
Das Differential zweiter Ordnung hat die Form: 
Also
Daher hat die Matrix der quadratischen Form die Form 
und die Werte der Elemente hängen nicht davon ab a und b.
Zeigen wir, dass die Matrix positiv definit ist. Dies erfordert, dass die Nebenwinkel positiv sind.
Eckiges Moll erster Ordnung 
. Die Ungleichung ist streng, da die Punkte nicht zusammenfallen. Dies wird im Folgenden impliziert.
Winkelminor zweiter Ordnung 
Lassen Sie uns das beweisen 
Methode der mathematischen Induktion.
Fazit: Gefundene Werte a und b entsprechen der kleinste Wert Funktionen sind daher die gewünschten Parameter für die Methode der kleinsten Quadrate.
Schon mal verstanden?
Bestellen Sie eine Lösung
Seitenanfang
Entwicklung einer Prognose nach der Methode der kleinsten Quadrate. Beispiel Problemlösung
Extrapolation ist eine Methode wissenschaftliche Forschung, die auf der Verteilung vergangener und gegenwärtiger Trends, Muster und Beziehungen zur zukünftigen Entwicklung des Prognoseobjekts basiert. Zu den Extrapolationsmethoden gehören Methode des gleitenden Durchschnitts, Methode exponentielle Glättung, Methode der kleinsten Quadrate.
Wesen Methode der kleinsten Quadrate besteht darin, die Summe der quadratischen Abweichungen zwischen den beobachteten und berechneten Werten zu minimieren. Die berechneten Werte werden gemäß der ausgewählten Gleichung gefunden - der Regressionsgleichung. Je geringer der Abstand zwischen den tatsächlichen Werten und den berechneten ist, desto genauer ist die Prognose anhand der Regressionsgleichung.
Als Grundlage für die Auswahl einer Kurve dient die theoretische Analyse des Wesens des untersuchten Phänomens, dessen Veränderung durch eine Zeitreihe dargestellt wird. Überlegungen zur Art des Wachstums der Ebenen der Reihe werden manchmal berücksichtigt. Wenn also das Produktionswachstum in einer arithmetischen Progression erwartet wird, wird die Glättung in einer geraden Linie durchgeführt. Wenn sich herausstellt, dass das Wachstum exponentiell ist, sollte die Glättung gemäß der Exponentialfunktion erfolgen.
Die Arbeitsformel der Methode der kleinsten Quadrate : Yt+1 = a*X + b, wobei t + 1 der Prognosezeitraum ist; Уt+1 – vorhergesagter Indikator; a und b sind Koeffizienten; X - Symbol Zeit.
Die Koeffizienten a und b werden nach folgenden Formeln berechnet:
 |
 |
wo, Uf - die tatsächlichen Werte der Dynamikreihe; n ist die Anzahl der Ebenen in der Zeitreihe;
Die Glättung von Zeitreihen nach der Methode der kleinsten Quadrate dient dazu, die Muster der Entwicklung des untersuchten Phänomens widerzuspiegeln. Beim analytischen Ausdruck eines Trends wird die Zeit als unabhängige Variable betrachtet, und die Niveaus der Zeitreihe agieren als Funktion dieser unabhängigen Variablen.
Die Entwicklung eines Phänomens hängt nicht davon ab, wie viele Jahre seit dem Ausgangspunkt vergangen sind, sondern davon, welche Faktoren seine Entwicklung in welche Richtung und mit welcher Intensität beeinflusst haben. Daraus wird deutlich, dass die zeitliche Entwicklung eines Phänomens das Ergebnis der Wirkung dieser Faktoren ist.
Die Art der Kurve, die Art der analytischen Zeitabhängigkeit richtig einzustellen, ist eine der schwierigsten Aufgaben der präprädiktiven Analyse. .
Die Auswahl des den Trend beschreibenden Funktionstyps, dessen Parameter nach der Methode der kleinsten Quadrate bestimmt werden, erfolgt in den meisten Fällen empirisch, indem mehrere Funktionen konstruiert und über den Wert des Wurzelmittelwerts miteinander verglichen werden -Quadratfehler berechnet nach der Formel:
 |
wo Uf - die tatsächlichen Werte der Dynamikreihe; Ur – berechnete (geglättete) Werte der Zeitreihe; n ist die Anzahl der Ebenen in der Zeitreihe; p ist die Anzahl der Parameter, die in den Formeln definiert sind, die den Trend (Entwicklungstrend) beschreiben.
Nachteile der Methode der kleinsten Quadrate :
- wenn versucht wird, das untersuchte wirtschaftliche Phänomen mit einer mathematischen Gleichung zu beschreiben, wird die Prognose für einen kurzen Zeitraum genau sein und die Regressionsgleichung sollte neu berechnet werden, sobald neue Informationen verfügbar sind;
- die Komplexität der Auswahl der Regressionsgleichung, die mit Standard-Computerprogrammen lösbar ist.
Ein Beispiel für die Verwendung der Methode der kleinsten Quadrate zur Entwicklung einer Prognose
Eine Aufgabe . Es gibt Daten, die das Niveau der Arbeitslosigkeit in der Region charakterisieren, %
- Erstellen Sie eine Prognose der Arbeitslosenquote in der Region für die Monate November, Dezember, Januar mit den Methoden: gleitender Durchschnitt, exponentielle Glättung, kleinste Quadrate.
- Berechnen Sie die Fehler in den resultierenden Prognosen mit jeder Methode.
- Vergleichen Sie die erzielten Ergebnisse, ziehen Sie Schlussfolgerungen.
Lösung der kleinsten Quadrate
Für die Lösung stellen wir eine Tabelle zusammen, in der wir die notwendigen Berechnungen durchführen:
ε = 28,63/10 = 2,86 % Prognosegenauigkeit hoch.
Fazit : Vergleich der in den Berechnungen erhaltenen Ergebnisse Methode des gleitenden Durchschnitts , exponentielle Glättung und der Methode der kleinsten Quadrate können wir sagen, dass der Durchschnitt relativer Fehler bei Berechnung nach der exponentiellen Glättungsmethode liegt sie zwischen 20 und 50 %. Dies bedeutet, dass die Vorhersagegenauigkeit in diesem Fall nur zufriedenstellend ist.
Im ersten und dritten Fall ist die Prognosegenauigkeit hoch, da der durchschnittliche relative Fehler weniger als 10 % beträgt. Die Methode des gleitenden Durchschnitts ermöglichte es jedoch, zuverlässigere Ergebnisse zu erhalten (Prognose für November - 1,52 %, Prognose für Dezember - 1,53 %, Prognose für Januar - 1,49 %), da der durchschnittliche relative Fehler bei Verwendung dieser Methode am kleinsten ist - 1 ,13%.
Methode der kleinsten Quadrate
Weitere verwandte Artikel:
Liste der verwendeten Quellen
- Wissenschaftliche und methodische Empfehlungen zu den Fragen der Diagnose sozialer Risiken und der Prognose von Herausforderungen, Bedrohungen und sozialen Folgen. Russische Staatliche Sozialuniversität. Moskau. 2010;
- Vladimirova L.P. Prognose und Planung unter Marktbedingungen: Proc. Zuschuss. M.: Verlag"Dashkov und Co", 2001;
- Novikova N.V., Pozdeeva O.G. Prognose nationale Wirtschaft: Lehrhilfe. Jekaterinburg: Verlag Ural. Zustand Wirtschaft Universität, 2007;
- Slutskin L.N. MBA-Kurs in Business Forecasting. Moskau: Alpina Business Books, 2006.
MNE-Programm
Daten eingeben
Daten und Annäherung y = a + bx
ich- Nummer des Versuchspunktes;
x ich- der Wert des festen Parameters an diesem Punkt ich;
y ich- der Wert des gemessenen Parameters an diesem Punkt ich;
ω ich- Messgewicht am Punkt ich;
y i, ber.- die Differenz zwischen dem gemessenen Wert und dem aus der Regression berechneten Wert j am Punkt ich;
S x ich (x ich)- Fehlerschätzung x ich beim Messen j am Punkt ich.
Daten und Annäherung y = kx
| ich | x ich | y ich | ω ich | y i, ber. | Δy i | S x ich (x ich) |
|---|
Klicken Sie auf das Diagramm
Benutzerhandbuch für das MNC-Online-Programm.
Geben Sie im Datenfeld in jeder einzelnen Zeile die Werte von „x“ und „y“ an einem Versuchspunkt ein. Werte müssen durch Whitespace (Leerzeichen oder Tabulator) getrennt werden.
Der dritte Wert kann das Punktgewicht von "w" sein. Wenn das Punktgewicht nicht angegeben ist, ist es gleich eins. In den allermeisten Fällen sind die Gewichte der Versuchspunkte unbekannt oder nicht berechnet; alle experimentellen Daten gelten als gleichwertig. Manchmal sind die Gewichte im untersuchten Wertebereich definitiv nicht gleichwertig und können sogar theoretisch berechnet werden. In der Spektrophotometrie beispielsweise lassen sich Gewichte mit einfachen Formeln berechnen, obwohl dies im Grunde jeder vernachlässigt, um die Arbeitskosten zu senken.
Daten können über die Zwischenablage aus einer Tabellenkalkulation der Office-Suite eingefügt werden, z. B. Excel von Microsoft Office oder Calc von Open Office. Wählen Sie dazu in der Tabelle den zu kopierenden Datenbereich aus, kopieren Sie ihn in die Zwischenablage und fügen Sie die Daten in das Datenfeld auf dieser Seite ein.
Zur Berechnung nach der Methode der kleinsten Quadrate sind mindestens zwei Punkte erforderlich, um zwei Koeffizienten „b“ – den Tangens des Neigungswinkels der Geraden und „a“ – den von der Geraden auf „y“ abgeschnittenen Wert zu bestimmen ` Achse.
Um den Fehler der berechneten Regressionskoeffizienten abzuschätzen, ist es notwendig, die Anzahl der experimentellen Punkte auf mehr als zwei einzustellen.
Methode der kleinsten Quadrate (LSM).
Je größer die Anzahl der Versuchspunkte, desto genauer statistische Auswertung Koeffizienten (aufgrund der Abnahme des Student-Koeffizienten) und je näher die Schätzung an der Schätzung der allgemeinen Stichprobe liegt.
Das Erhalten von Werten an jedem Versuchspunkt ist oft mit erheblichen Arbeitskosten verbunden, daher wird oft eine Kompromisszahl von Experimenten durchgeführt, die eine verdauliche Schätzung ergibt und nicht zu übermäßigen Arbeitskosten führt. In der Regel wird die Zahl der Versuchspunkte für eine lineare Kleinste-Quadrate-Abhängigkeit mit zwei Koeffizienten im Bereich von 5-7 Punkten gewählt.
Eine kurze Theorie der kleinsten Quadrate für lineare Abhängigkeit
Angenommen, wir haben einen Satz experimenteller Daten in Form von Wertepaaren [`y_i`, `x_i`], wobei `i` die Nummer einer experimentellen Messung von 1 bis `n` ist; `y_i` - der Wert des gemessenen Wertes am Punkt `i`; `x_i` - der Wert des Parameters, den wir am Punkt `i` setzen.
Ein Beispiel ist die Wirkungsweise des Ohmschen Gesetzes. Durch Ändern der Spannung (Potenzialdifferenz) zwischen den Abschnitten elektrische Schaltung messen wir die Strommenge, die durch diesen Abschnitt fließt. Die Physik gibt uns die experimentell gefundene Abhängigkeit:
`I=U/R`,
wo "I" - Stromstärke; "R" - Widerstand; `U` - Spannung.
Dabei ist „y_i“ der gemessene Stromwert und „x_i“ der Spannungswert.
Betrachten Sie als weiteres Beispiel die Absorption von Licht durch eine Lösung einer Substanz in Lösung. Die Chemie gibt uns die Formel:
`A = εl C`,
wobei "A" die optische Dichte der Lösung ist; "ε" - Durchlässigkeit für gelöste Stoffe; `l` - Weglänge, wenn Licht durch eine Küvette mit einer Lösung geht; "C" ist die Konzentration des gelösten Stoffes.
In diesem Fall ist „y_i“ die gemessene optische Dichte „A“ und „x_i“ ist die von uns eingestellte Konzentration der Substanz.
Wir betrachten den Fall, wenn der relative Fehler beim Setzen von `x_i` viel kleiner ist, relativer Fehler Messungen `y_i`. Wir gehen außerdem davon aus, dass alle Messwerte von `y_i` zufällig und normalverteilt sind, d.h. dem Normalverteilungsgesetz gehorchen.
Im Falle einer linearen Abhängigkeit von `y` von `x` können wir die theoretische Abhängigkeit schreiben:
`y = a + bx`.
Aus geometrischer Sicht bezeichnet der Koeffizient „b“ die Tangente des Neigungswinkels der Linie an die „x“-Achse und der Koeffizient „a“ den Wert von „y“ am Schnittpunkt der Linie mit der 'y'-Achse (für 'x = 0').
Ermitteln der Parameter der Regressionsgerade.
Im Versuch können die Messwerte von `y_i` aufgrund von Messfehlern, die immer inhärent sind, nicht exakt auf der theoretischen Geraden liegen wahres Leben. Daher muss eine lineare Gleichung durch ein Gleichungssystem dargestellt werden:
`y_i = a + b x_i + ε_i` (1),
wobei „ε_i“ der unbekannte Messfehler von „y“ im „i“-ten Experiment ist.
Abhängigkeit (1) wird auch genannt Rückschritt, d.h. die Abhängigkeit der beiden Größen voneinander mit statistischer Signifikanz.
Die Aufgabe der Wiederherstellung der Abhängigkeit besteht darin, die Koeffizienten 'a' und 'b' aus den experimentellen Punkten ['y_i', 'x_i'] zu finden.
Um die Koeffizienten zu finden, werden normalerweise "a" und "b" verwendet Methode der kleinsten Quadrate(MNK). Es handelt sich um einen Sonderfall des Maximum-Likelihood-Prinzips.
Schreiben wir (1) um als `ε_i = y_i - a - b x_i`.
Dann wird die Summe der quadrierten Fehler sein
`Φ = sum_(i=1)^(n) ε_i^2 = sum_(i=1)^(n) (y_i - a - b x_i)^2`. (2)
Das Prinzip der Methode der kleinsten Quadrate besteht darin, die Summe (2) bezüglich der Parameter "a" und "b" zu minimieren.
Das Minimum ist erreicht, wenn die partiellen Ableitungen der Summe (2) nach den Koeffizienten "a" und "b" gleich Null sind:
`frac(partial Φ)(partial a) = frac(partial sum_(i=1)^(n) (y_i - a - b x_i)^2)(partial a) = 0`
`frac(partial Φ)(partial b) = frac(partial sum_(i=1)^(n) (y_i - a - b x_i)^2)(partial b) = 0`
Durch Erweiterung der Ableitungen erhalten wir ein System aus zwei Gleichungen mit zwei Unbekannten:
`sum_(i=1)^(n) (2a + 2bx_i - 2y_i) = sum_(i=1)^(n) (a + bx_i - y_i) = 0`
`sum_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = sum_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0'
Wir öffnen die Klammern und übertragen die Summen unabhängig von den gewünschten Koeffizienten auf die andere Hälfte, wir erhalten ein lineares Gleichungssystem:
`sum_(i=1)^(n) y_i = a n + b sum_(i=1)^(n) bx_i`
`sum_(i=1)^(n) x_iy_i = a sum_(i=1)^(n) x_i + b sum_(i=1)^(n) x_i^2`
Beim Lösen des resultierenden Systems finden wir Formeln für die Koeffizienten `a` und `b`:
`a = frac(sum_(i=1)^(n) y_i sum_(i=1)^(n) x_i^2 - sum_(i=1)^(n) x_i sum_(i=1)^(n ) x_iy_i) (n summe_(i=1)^(n) x_i^2 — (summe_(i=1)^(n) x_i)^2)` (3.1)
`b = frac(n sum_(i=1)^(n) x_iy_i - sum_(i=1)^(n) x_i sum_(i=1)^(n) y_i) (n sum_(i=1)^ (n) x_i^2 - (sum_(i=1)^(n) x_i)^2)` (3.2)
Diese Formeln haben Lösungen, wenn `n > 1` (die Linie kann mit mindestens 2 Punkten gezogen werden) und wenn die Determinante `D = n sum_(i=1)^(n) x_i^2 — (sum_(i= 1 )^(n) x_i)^2 != 0`, d.h. wenn die "x_i"-Punkte im Experiment unterschiedlich sind (d. h. wenn die Linie nicht vertikal ist).
Schätzung von Fehlern in den Koeffizienten der Regressionslinie
Für eine genauere Schätzung des Fehlers bei der Berechnung der Koeffizienten "a" und "b" ist eine große Anzahl experimenteller Punkte wünschenswert. Wenn "n = 2" ist, ist es unmöglich, den Fehler der Koeffizienten abzuschätzen, weil die Annäherungslinie wird eindeutig durch zwei Punkte verlaufen.
Fehler zufällige Variable"V" ist definiert Fehlerakkumulationsgesetz
`S_V^2 = sum_(i=1)^p (frac(partial f)(partial z_i))^2 S_(z_i)^2`,
wobei „p“ die Anzahl der „z_i“-Parameter mit dem „S_(z_i)“-Fehler ist, die den „S_V“-Fehler beeinflussen;
„f“ ist eine Abhängigkeitsfunktion von „V“ auf „z_i“.
Lassen Sie uns das Fehlerakkumulationsgesetz für den Fehler der Koeffizienten "a" und "b" schreiben
`S_a^2 = sum_(i=1)^(n)(frac(partial a)(partial y_i))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(partial a )(Teil x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(Teil a)(Teil y_i))^2 `,
`S_b^2 = sum_(i=1)^(n)(frac(partial b)(partial y_i))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(partial b )(partial x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(partial b)(partial y_i))^2 `,
da `S_(x_i)^2 = 0` (wir haben vorher reserviert, dass der Fehler von `x` vernachlässigbar ist).
`S_y^2 = S_(y_i)^2` - Fehler (Varianz, quadriert Standardabweichung) in der "y"-Dimension, unter der Annahme, dass der Fehler für alle "y"-Werte einheitlich ist.
Durch Einsetzen von Formeln zur Berechnung von „a“ und „b“ in die resultierenden Ausdrücke erhalten wir
`S_a^2 = S_y^2 frac(sum_(i=1)^(n) (sum_(i=1)^(n) x_i^2 - x_i sum_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n sum_(i=1)^(n) x_i^2 - (sum_(i=1)^(n) x_i)^2) sum_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(sum_(i=1)^(n) x_i^2) (D)` (4.1)
`S_b^2 = S_y^2 frac(sum_(i=1)^(n) (n x_i - sum_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n Summe_(i=1)^(n) x_i^2 - (Summe_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 Frac(n) (D) ` (4.2)
In den meisten realen Experimenten wird der Wert von "Sy" nicht gemessen. Dazu ist es notwendig, mehrere parallele Messungen (Experimente) an einem oder mehreren Punkten des Plans durchzuführen, was die Zeit (und möglicherweise Kosten) des Experiments erhöht. Daher wird üblicherweise angenommen, dass die Abweichung von "y" von der Regressionsgeraden als zufällig angesehen werden kann. Die Varianzschätzung "y" wird in diesem Fall durch die Formel berechnet.
`S_y^2 = S_(y, rest)^2 = frac(sum_(i=1)^n (y_i - a - b x_i)^2) (n-2)`.
Der Divisor „n-2“ erscheint, weil wir die Anzahl der Freiheitsgrade aufgrund der Berechnung von zwei Koeffizienten für dieselbe Probe von experimentellen Daten reduziert haben.
Diese Schätzung wird auch als Restvarianz relativ zur Regressionslinie „S_(y, rest)^2“ bezeichnet.
Die Bewertung der Signifikanz der Koeffizienten erfolgt nach dem Student-Kriterium
`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`
Wenn die berechneten Kriterien „t_a“, „t_b“ kleiner als die Tabellenkriterien „t(P, n – 2)“ sind, wird davon ausgegangen, dass der entsprechende Koeffizient mit einer gegebenen Wahrscheinlichkeit „P“ nicht signifikant von Null abweicht.
Um die Qualität der Beschreibung einer linearen Beziehung zu beurteilen, können Sie `S_(y, rest)^2` und `S_(bar y)` mit dem Fisher-Kriterium relativ zum Mittelwert vergleichen.
`S_(bar y) = frac(sum_(i=1)^n (y_i - bar y)^2) (n-1) = frac(sum_(i=1)^n (y_i - (sum_(i= 1)^n y_i) /n)^2) (n-1)` - Stichprobenschätzung der Varianz von `y` relativ zum Mittelwert.
Um die Wirksamkeit der Regressionsgleichung zur Beschreibung der Abhängigkeit zu bewerten, wird der Fisher-Koeffizient berechnet
`F = S_(bar y) / S_(y, rest)^2`,
der mit dem tabellarischen Fisher-Koeffizienten "F(p, n-1, n-2)" verglichen wird.
Wenn „F > F(P, n-1, n-2)“ ist, wird die Differenz zwischen der Beschreibung der Abhängigkeit „y = f(x)“ unter Verwendung der Regressionsgleichung und der Beschreibung unter Verwendung des Mittelwerts mit Wahrscheinlichkeit als statistisch signifikant angesehen "P". Jene. die Regression beschreibt die Abhängigkeit besser als die Streuung von 'y' um den Mittelwert.
Klicken Sie auf das Diagramm
Werte zur Tabelle hinzufügen
Methode der kleinsten Quadrate. Die Methode der kleinsten Quadrate bedeutet die Bestimmung unbekannter Parameter a, b, c, die akzeptierte funktionale Abhängigkeit
Die Methode der kleinsten Quadrate bedeutet die Bestimmung unbekannter Parameter a, b, c, … akzeptierte funktionelle Abhängigkeit
y = f(x,a,b,c,…),
was ein Minimum des mittleren Quadrats (Varianz) des Fehlers liefern würde
, (24)
wobei x i , y i - Satz von Zahlenpaaren, die aus dem Experiment erhalten wurden.
Da die Bedingung für das Extremum einer Funktion mehrerer Variablen die Bedingung ist, dass ihre partiellen Ableitungen gleich Null sind, dann die Parameter a, b, c, … werden aus dem Gleichungssystem bestimmt:
; ; ; … (25)
Es muss daran erinnert werden, dass die Methode der kleinsten Quadrate verwendet wird, um Parameter nach der Form der Funktion auszuwählen y = f(x) definiert.
Wenn aus theoretischen Überlegungen keine Rückschlüsse auf die empirische Formel gezogen werden können, muss man sich an visuellen Darstellungen orientieren, in erster Linie an einer grafischen Darstellung der beobachteten Daten.
In der Praxis meist auf folgende Arten von Funktionen beschränkt:
1) linear 
;
2) quadratisch a .
- Lernprogramm
Einführung
Ich bin ein Computer-Programmierer. Den größten Sprung in meiner Karriere machte ich, als ich zu sagen lernte: "Ich verstehe nichts!" Jetzt schäme ich mich nicht, der Koryphäe der Wissenschaft zu sagen, dass er mir einen Vortrag hält, dass ich nicht verstehe, wovon sie, die Koryphäe, mit mir spricht. Und es ist sehr schwierig. Ja, es ist schwer und peinlich zuzugeben, dass man es nicht weiß. Wer gibt schon gerne zu, dass er die Grundlagen von etwas nicht kennt – da. Aufgrund meines Berufs muss ich teilnehmen in großen Zahlen Präsentationen und Vorlesungen, wo ich, gestehe ich, in den allermeisten Fällen schlafen möchte, weil ich nichts verstehe. Und das verstehe ich nicht, denn das große Problem der aktuellen Situation in der Wissenschaft liegt in der Mathematik. Es wird davon ausgegangen, dass alle Schüler mit absolut allen Bereichen der Mathematik vertraut sind (was absurd ist). Zuzugeben, dass Sie nicht wissen, was ein Derivat ist (dass dies etwas später kommt), ist eine Schande.
Aber ich habe gelernt zu sagen, dass ich nicht weiß, was Multiplikation ist. Ja, ich weiß nicht, was eine Subalgebra über einer Lie-Algebra ist. Ja, ich weiß nicht, warum Sie im Leben brauchen quadratische Gleichungen. Übrigens, wenn Sie sicher sind, dass Sie es wissen, dann haben wir etwas zu besprechen! Mathematik ist eine Reihe von Tricks. Mathematiker versuchen, die Öffentlichkeit zu verwirren und einzuschüchtern; wo es keine Verwirrung, keinen Ruf, keine Autorität gibt. Ja, es ist prestigeträchtig, in einer möglichst abstrakten Sprache zu sprechen, was an sich schon völliger Unsinn ist.
Wissen Sie, was ein Derivat ist? Höchstwahrscheinlich werden Sie mir etwas über die Grenze der Differenzrelation sagen. Im ersten Jahr der Mathematik an der St. Petersburg State University, Viktor Petrovich Khavin mich definiert Ableitung als Koeffizient des ersten Terms der Taylor-Reihe der Funktion an dem Punkt (es war eine separate Gymnastik, um die Taylor-Reihe ohne Ableitungen zu bestimmen). Ich habe lange über diese Definition gelacht, bis ich endlich verstanden habe, worum es geht. Die Ableitung ist nichts weiter als ein Maß dafür, wie sehr die Funktion, die wir differenzieren, der Funktion y=x, y=x^2, y=x^3 ähnlich ist.
Ich habe jetzt die Ehre, Studenten zu unterrichten, die besorgt Mathematik. Wenn Sie Angst vor Mathematik haben - wir sind auf dem Weg. Sobald Sie versuchen, einen Text zu lesen, der Ihnen zu kompliziert vorkommt, wissen Sie, dass er schlecht geschrieben ist. Ich behaupte, dass es keinen einzigen Bereich der Mathematik gibt, über den man nicht "an den Fingern" sprechen kann, ohne an Genauigkeit zu verlieren.
Die Herausforderung für die nahe Zukunft: Ich habe meinen Studenten beigebracht zu verstehen, was ein linear-quadratischer Regler ist. Seien Sie nicht schüchtern, verschwenden Sie drei Minuten Ihres Lebens, folgen Sie dem Link. Wenn Sie nichts verstehen, dann sind wir unterwegs. Ich (ein professioneller Mathematiker-Programmierer) habe auch nichts verstanden. Und ich versichere Ihnen, das kann "an den Fingern" geklärt werden. Auf dieser Moment Ich weiß nicht, was es ist, aber ich versichere Ihnen, dass wir es herausfinden werden.
Also, der erste Vortrag, den ich meinen Studenten halten werde, nachdem sie entsetzt zu mir gerannt kommen und sagen, dass der linear-quadratische Controller ein schrecklicher Fehler ist, den Sie in Ihrem Leben nie meistern werden Methoden der kleinsten Quadrate. Kannst du dich entscheiden lineare Gleichungen? Wenn Sie diesen Text lesen, dann höchstwahrscheinlich nicht.
Wenn also zwei Punkte (x0, y0), (x1, y1) gegeben sind, zum Beispiel (1,1) und (3,2), besteht die Aufgabe darin, die Gleichung einer geraden Linie zu finden, die durch diese beiden Punkte verläuft:
Illustration
Diese gerade Linie sollte eine Gleichung wie die folgende haben:
Hier sind uns Alpha und Beta unbekannt, aber zwei Punkte dieser Linie sind bekannt:
Sie können diese Gleichung in Matrixform schreiben:
Hier sollten wir einen lyrischen Exkurs machen: Was ist eine Matrix? Eine Matrix ist nichts anderes als ein zweidimensionales Array. Dies ist eine Art Daten zu speichern, es sollten keine Werte mehr angegeben werden. Es liegt an uns, wie genau wir eine bestimmte Matrix interpretieren. In regelmäßigen Abständen werde ich es als lineare Abbildung interpretieren, in regelmäßigen Abständen als quadratische Form und manchmal einfach als eine Menge von Vektoren. Dies alles wird im Zusammenhang geklärt.
Lassen Sie uns bestimmte Matrizen durch ihre symbolische Darstellung ersetzen:
Dann kann (Alpha, Beta) leicht gefunden werden:
Genauer gesagt für unsere vorherigen Daten:
Was zu folgender Gleichung einer Geraden durch die Punkte (1,1) und (3,2) führt:
Okay, hier ist alles klar. Und lassen Sie uns die Gleichung einer geraden Linie finden, die durchgeht drei Punkte: (x0,y0), (x1,y1) und (x2,y2):
Oh-oh-oh, aber wir haben drei Gleichungen für zwei Unbekannte! Der Standardmathematiker wird sagen, dass es keine Lösung gibt. Was wird der Programmierer sagen? Und er wird zunächst das bisherige Gleichungssystem in folgender Form umschreiben:
In unserem Fall Vektoren i,j,b dreidimensional, also (in Allgemeiner Fall) gibt es keine Lösung für dieses System. Jeder Vektor (alpha\*i + beta\*j) liegt in der Ebene, die von den Vektoren (i, j) aufgespannt wird. Wenn b nicht zu dieser Ebene gehört, dann gibt es keine Lösung (Gleichheit in der Gleichung kann nicht erreicht werden). Was zu tun ist? Suchen wir nach einem Kompromiss. Lassen Sie uns durch bezeichnen e(Alpha, Beta) wie genau wir die Gleichstellung nicht erreicht haben:
Und wir werden versuchen, diesen Fehler zu minimieren:
Warum ein Quadrat?
Wir suchen nicht nur nach dem Minimum der Norm, sondern nach dem Minimum des Quadrats der Norm. Warum? Der Minimalpunkt selbst fällt zusammen, und das Quadrat ergibt eine glatte Funktion (eine quadratische Funktion der Argumente (Alpha, Beta)), während nur die Länge eine Funktion in Form eines Kegels ergibt, der am Minimalpunkt nicht differenzierbar ist. Brr. Quadratisch ist bequemer.
Offensichtlich wird der Fehler minimiert, wenn der Vektor e orthogonal zu der von den Vektoren aufgespannten Ebene ich und j.
Illustration
Mit anderen Worten: Wir suchen eine Gerade, bei der die Summe der Längenquadrate der Abstände aller Punkte zu dieser Geraden minimal ist:
UPDATE: hier habe ich einen Pfosten, der Abstand zur Linie sollte vertikal gemessen werden, nicht orthografische Projektion. der kommentator hat recht.
Illustration
Mit ganz anderen Worten (vorsichtig, schlecht formalisiert, aber es sollte an den Fingern klar sein): Wir nehmen alle möglichen Linien zwischen allen Punktpaaren und suchen die Durchschnittslinie zwischen allen:
Illustration
Noch eine Erklärung an den Fingern: Wir befestigen eine Feder zwischen allen Datenpunkten (hier haben wir drei) und der Linie, die wir suchen, und die Linie des Gleichgewichtszustands ist genau das, wonach wir suchen.
Quadratisches Minimum
Also, wenn der Vektor gegeben ist b und die von den Spaltenvektoren der Matrix aufgespannte Ebene EIN(in diesem Fall (x0,x1,x2) und (1,1,1)) suchen wir einen Vektor e mit einer minimalen Quadratlänge. Offensichtlich ist das Minimum nur für den Vektor erreichbar e, orthogonal zu der Ebene, die von den Spaltenvektoren der Matrix aufgespannt wird EIN:Mit anderen Worten, wir suchen nach einem Vektor x=(alpha, beta), so dass:
Ich erinnere Sie daran, dass dieser Vektor x=(alpha, beta) das Minimum der quadratischen Funktion ||e(alpha, beta)||^2 ist:
Hier ist es hilfreich, sich daran zu erinnern, dass die Matrix ebenso interpretiert werden kann wie die quadratische Form, zum Beispiel kann die Einheitsmatrix ((1,0),(0,1)) als Funktion von x^2 + y interpretiert werden ^2:
quadratische Form
All diese Gymnastik ist als lineare Regression bekannt.
Laplace-Gleichung mit Dirichlet-Randbedingung
Jetzt das einfachste echte Problem: Es gibt eine bestimmte triangulierte Oberfläche, es ist notwendig, sie zu glätten. Lassen Sie uns zum Beispiel mein Gesichtsmodell laden:
Das ursprüngliche Commit ist verfügbar. Um externe Abhängigkeiten zu minimieren, habe ich den Code meines Software-Renderers bereits auf Habré übernommen. Für Lösungen lineares System Ich verwende OpenNL , es ist ein großartiger Solver, aber es ist wirklich schwer zu installieren: Sie müssen zwei Dateien (.h+.c) in Ihren Projektordner kopieren. Die gesamte Glättung erfolgt durch den folgenden Code:
Für (int d=0; d<3; d++) {
nlNewContext();
nlSolverParameteri(NL_NB_VARIABLES, verts.size());
nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE);
nlBegin(NL_SYSTEM);
nlBegin(NL_MATRIX);
for (int i=0; i<(int)verts.size(); i++) {
nlBegin(NL_ROW);
nlCoefficient(i, 1);
nlRightHandSide(verts[i][d]);
nlEnd(NL_ROW);
}
for (unsigned int i=0; i
X-, Y- und Z-Koordinaten sind trennbar, ich glätte sie separat. Das heißt, ich löse drei lineare Gleichungssysteme, jedes mit der gleichen Anzahl von Variablen wie die Anzahl von Scheitelpunkten in meinem Modell. Die ersten n Zeilen der Matrix A haben nur eine 1 pro Zeile, und die ersten n Zeilen des Vektors b haben ursprüngliche Modellkoordinaten. Das heißt, ich verbinde die neue Scheitelpunktposition mit der alten Scheitelpunktposition - die neuen sollten nicht zu weit von den alten entfernt sein.
Alle nachfolgenden Zeilen der Matrix A (faces.size()*3 = die Anzahl der Kanten aller Dreiecke im Gitter) haben ein Vorkommen von 1 und ein Vorkommen von -1, während der Vektor b null Komponenten gegenüber hat. Das bedeutet, dass ich an jeder Kante unseres dreieckigen Netzes eine Feder angebracht habe: Alle Kanten versuchen, den gleichen Scheitelpunkt wie ihre Start- und Endpunkte zu erhalten.
Noch einmal: Alle Knoten sind variabel, und sie können nicht weit von ihrer ursprünglichen Position abweichen, aber gleichzeitig versuchen sie, einander ähnlich zu werden.
Hier ist das Ergebnis:
Alles wäre gut, das Modell ist wirklich geglättet, aber es hat sich von seiner ursprünglichen Kante entfernt. Ändern wir den Code ein wenig:
Für (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }
In unserer Matrix A füge ich für die Knoten, die am Rand liegen, keine Zeile aus der Kategorie v_i = verts[i][d] hinzu, sondern 1000*v_i = 1000*verts[i][d]. Was ändert es? Und dies ändert unsere quadratische Form des Fehlers. Jetzt kostet eine einzelne Abweichung von oben am Rand nicht wie zuvor eine Einheit, sondern 1000 * 1000 Einheiten. Das heißt, wir haben eine stärkere Feder an die äußersten Eckpunkte gehängt, die Lösung zieht es vor, andere stärker zu dehnen. Hier ist das Ergebnis:
Lassen Sie uns die Stärke der Federn zwischen den Scheitelpunkten verdoppeln:
nlCoefficient(face[ j ], 2); nlCoefficient(face[(j+1)%3], -2);
Logisch, dass die Oberfläche glatter geworden ist:
Und jetzt noch hundertmal stärker:
Was ist das? Stellen Sie sich vor, wir hätten einen Drahtring in Seifenwasser getaucht. Infolgedessen versucht der resultierende Seifenfilm, eine möglichst geringe Krümmung zu haben und dieselbe Grenze zu berühren - unseren Drahtring. Genau das haben wir erreicht, indem wir die Umrandung befestigt und nach einer glatten Oberfläche im Inneren gefragt haben. Herzlichen Glückwunsch, wir haben gerade die Laplace-Gleichung mit Dirichlet-Randbedingungen gelöst. Hört sich cool an? Aber eigentlich muss nur ein System linearer Gleichungen gelöst werden.
Poisson-Gleichung
Lass uns einen anderen coolen Namen haben.Nehmen wir an, ich habe ein Bild wie dieses:
Alle sind gut, aber ich mag den Stuhl nicht.
Ich habe das Bild halbiert: 
Und ich werde einen Stuhl mit meinen Händen auswählen: 
Dann ziehe ich alles, was in der Maske weiß ist, auf die linke Seite des Bildes und sage gleichzeitig durch das ganze Bild, dass die Differenz zwischen zwei benachbarten Pixeln gleich der Differenz zwischen zwei benachbarten Pixeln des sein soll rechtes Bild:
Für (int i=0; i Hier ist das Ergebnis: Code und Bilder sind vorhanden Das Problem besteht darin, die linearen Abhängigkeitskoeffizienten zu finden, für die die Funktion zweier Variablen gilt a und b nimmt den kleinsten Wert an. Das heißt, angesichts der Daten a und b die Summe der quadrierten Abweichungen der experimentellen Daten von der gefundenen geraden Linie wird am kleinsten sein. Das ist der springende Punkt bei der Methode der kleinsten Quadrate.
Somit reduziert sich die Lösung des Beispiels darauf, das Extremum einer Funktion zweier Variablen zu finden. Herleitung von Formeln zum Finden von Koeffizienten. Ein System aus zwei Gleichungen mit zwei Unbekannten wird erstellt und gelöst. Partielle Ableitungen von Funktionen finden Wir lösen das resultierende Gleichungssystem mit einer beliebigen Methode (z. B. der Substitutionsmethode oder der Cramer-Methode) und erhalten Formeln zum Auffinden der Koeffizienten unter Verwendung der Methode der kleinsten Quadrate (LSM). Mit Daten a und b Funktion Das ist die ganze Methode der kleinsten Quadrate. Formel zum Finden des Parameters a enthält die Summen , , , und den Parameter n- Umfang der experimentellen Daten. Es wird empfohlen, die Werte dieser Summen separat zu berechnen. Koeffizient b nach Berechnung gefunden a. Das Hauptanwendungsgebiet solcher Polynome ist die Verarbeitung experimenteller Daten (die Konstruktion empirischer Formeln). Tatsache ist, dass das aus den Werten der mit Hilfe des Experiments erhaltenen Funktion konstruierte Interpolationspolynom stark durch "experimentelles Rauschen" beeinflusst wird, außerdem können die Interpolationsknoten während der Interpolation nicht wiederholt werden, d.h. Sie können die Ergebnisse wiederholter Experimente unter denselben Bedingungen nicht verwenden. Das Root-Mean-Square-Polynom glättet das Rauschen und macht es möglich, die Ergebnisse mehrerer Experimente zu verwenden. Numerische Integration und Differentiation. Beispiel. Numerische Integration- Berechnung des Wertes eines bestimmten Integrals (in der Regel ungefähr). Unter numerischer Integration versteht man eine Reihe von numerischen Methoden zum Ermitteln des Werts eines bestimmten Integrals. Numerische Differenzierung– eine Reihe von Methoden zur Berechnung des Werts der Ableitung einer diskret gegebenen Funktion. Integration Formulierung des Problems. Mathematische Formulierung des Problems: Es ist notwendig, den Wert eines bestimmten Integrals zu finden wobei a, b endlich sind, f(x) stetig auf [а, b] ist. Bei der Lösung praktischer Probleme kommt es häufig vor, dass das Integral unbequem oder unmöglich analytisch zu erfassen ist: Es darf nicht in elementaren Funktionen ausgedrückt werden, der Integrand kann in Form einer Tabelle angegeben werden usw. In solchen Fällen sind numerische Integrationsmethoden Gebraucht. Numerische Integrationsverfahren nutzen das Ersetzen der Fläche eines krummlinigen Trapezes durch eine endliche Summe von Flächen einfacherer geometrischer Formen, die exakt berechnet werden können. In diesem Sinne spricht man von der Verwendung von Quadraturformeln. Die meisten Methoden verwenden die Darstellung des Integrals als endliche Summe (Quadraturformel): Den Quadraturformeln liegt die Idee zugrunde, den Graphen des Integranden auf dem Integrationsintervall durch Funktionen einfacherer Form zu ersetzen, die sich leicht analytisch integrieren und damit leicht berechnen lassen. Die einfachste Aufgabe, Quadraturformeln zu konstruieren, wird für polynomiale mathematische Modelle realisiert. Es lassen sich drei Methodengruppen unterscheiden: 1. Verfahren mit Aufteilung des Integrationsabschnitts in gleiche Intervalle. Die Einteilung in Intervalle erfolgt vorab, üblicherweise werden die Intervalle gleich gewählt (um die Funktion an den Enden der Intervalle leichter berechnen zu können). Berechnen Sie Flächen und summieren Sie sie (Methoden der Rechtecke, Trapeze, Simpson). 2. Verfahren mit Partitionierung des Integrationsabschnitts durch spezielle Punkte (Gauß-Verfahren). 3. Berechnung von Integralen mit Zufallszahlen (Monte-Carlo-Verfahren). Rechteck-Methode. Die Funktion (Zeichnung) sei auf der Strecke numerisch integriert. Wir teilen das Segment in N gleiche Intervalle. Die Fläche jedes der N krummlinigen Trapeze kann durch die Fläche eines Rechtecks ersetzt werden. Die Breite aller Rechtecke ist gleich und gleich: Als Höhe der Rechtecke können Sie den Wert der Funktion am linken Rand wählen. In diesem Fall ist die Höhe des ersten Rechtecks f(a), die des zweiten f(x 1),…, N-f(N-1). Wenn wir den Wert der Funktion am rechten Rand als Wahl für die Höhe des Rechtecks nehmen, dann ist in diesem Fall die Höhe des ersten Rechtecks f (x 1), die zweite - f (x 2), . .., N - f (x N). Wie zu sehen ist, gibt in diesem Fall eine der Formeln eine Annäherung an das Integral mit einem Überschuss und die zweite mit einem Mangel an. Es gibt einen anderen Weg - den Wert der Funktion in der Mitte des Integrationssegments zur Annäherung zu verwenden: Abschätzung des absoluten Fehlers der Methode der Rechtecke (Mitte) Abschätzung des absoluten Fehlers der Methoden der linken und rechten Rechtecke. Beispiel. Berechnen Sie für das gesamte Intervall und unterteilen Sie das Intervall in vier Abschnitte
Entscheidung. Die analytische Berechnung dieses Integrals ergibt I=arctg(1)–arctg(0)=0,7853981634. In unserem Fall: 1) h = 1; xo = 0; x1 = 1; 2) h = 0,25 (1/4); x0 = 0; x1 = 0,25; x2 = 0,5; x3 = 0,75; x4 = 1; Wir berechnen nach der Methode der linken Rechtecke: Wir berechnen nach der Methode der rechten Rechtecke: Berechnen Sie nach der Methode der durchschnittlichen Rechtecke: Trapezverfahren. Die Interpolation mit einem Polynom ersten Grades (eine durch zwei Punkte gezogene Gerade) führt auf die Trapezformel. Die Enden des Integrationssegments werden als Stützstellen genommen. Somit wird das krummlinige Trapez durch ein gewöhnliches Trapez ersetzt, dessen Fläche sich als Produkt der halben Summe der Basen und der Höhe ergibt Die Trapezformel kann erhalten werden, indem die Hälfte der Summe der Rechteckformeln entlang der rechten und linken Kante des Segments genommen wird: Überprüfung der Stabilität der Lösung. Je kürzer die Länge jedes Intervalls ist, d.h. Je größer die Anzahl dieser Intervalle ist, desto geringer ist der Unterschied zwischen den ungefähren und exakten Werten des Integrals. Dies gilt für die meisten Funktionen. Bei der Trapezmethode ist der Fehler bei der Berechnung des Integrals ϭ ungefähr proportional zum Quadrat des Integrationsschritts (ϭ ~ h 2) Um also das Integral einer bestimmten Funktion in den Grenzen a, b zu berechnen, ist es notwendig Teile das Segment in N 0 Intervalle und finde die Summe der Flächen des Trapezes. Dann müssen Sie die Anzahl der Intervalle N 1 erhöhen, erneut die Summe des Trapezes berechnen und den resultierenden Wert mit dem vorherigen Ergebnis vergleichen. Dies sollte bis (N i) wiederholt werden, bis die vorgegebene Genauigkeit des Ergebnisses (Konvergenzkriterium) erreicht ist. Bei den Rechteck- und Trapezverfahren erhöht sich üblicherweise bei jedem Iterationsschritt die Anzahl der Intervalle um den Faktor 2 (N i +1 = 2 N i ). Konvergenzkriterium: Der Hauptvorteil der Trapezregel ist ihre Einfachheit. Wenn jedoch die Integration eine hohe Genauigkeit erfordert, kann dieses Verfahren zu viele Iterationen erfordern. Absoluter Fehler der Trapezmethode bewertet als Beispiel. Berechnen Sie ein ungefähr bestimmtes Integral mit der Trapezformel. a) Aufteilen des Integrationssegments in 3 Teile. Entscheidung: Damit reduziert sich die allgemeine Formel der Trapeze auf eine angenehme Größe: Endlich: Ich erinnere Sie daran, dass der resultierende Wert ein ungefährer Wert der Fläche ist. b) Wir teilen das Integrationssegment in 5 gleiche Teile, also . Indem wir die Anzahl der Segmente erhöhen, erhöhen wir die Genauigkeit der Berechnungen. Wenn , dann hat die Trapezformel folgende Form: Lassen Sie uns den Partitionierungsschritt finden: Nach Abschluss der Aufgabe ist es bequem, alle Berechnungen mit einer Berechnungstabelle zu erstellen: In die erste Zeile schreiben wir "counter" Ergebend: Nun, es gibt wirklich eine Klarstellung, und zwar eine ernsthafte! Simpson-Formel. Die Trapezformel ergibt ein Ergebnis, das stark von der Schrittweite h abhängt, was sich auf die Genauigkeit der Berechnung eines bestimmten Integrals auswirkt, insbesondere in Fällen, in denen die Funktion nicht monoton ist. Man kann von einer Erhöhung der Rechengenauigkeit ausgehen, wenn man anstelle von Geradensegmenten, die die krummlinigen Fragmente des Graphen der Funktion f(x) ersetzen, beispielsweise Fragmente von Parabeln verwendet, die durch drei benachbarte Punkte des Graphen gegeben sind . Eine ähnliche geometrische Interpretation liegt der Methode von Simpson zur Berechnung des bestimmten Integrals zugrunde. Das gesamte Integrationsintervall a, b wird in N Segmente unterteilt, die Länge des Segments ist ebenfalls gleich h=(b-a)/N. Simpsons Formel lautet: Mit zunehmender Länge der Segmente nimmt die Genauigkeit der Formel ab, daher wird zur Erhöhung der Genauigkeit die zusammengesetzte Simpson-Formel verwendet. Das gesamte Integrationsintervall wird in eine gerade Anzahl identischer Segmente N unterteilt, die Länge des Segments ist ebenfalls gleich h=(b-a)/N. Die zusammengesetzte Simpson-Formel lautet: In der Formel sind die Ausdrücke in Klammern die Summen der Werte des Integranden an den Enden der ungeraden und geraden internen Segmente. Der Rest von Simpsons Formel ist bereits proportional zur vierten Potenz des Schrittes: Beispiel: Berechnen Sie das Integral nach der Simpson-Regel. (Exakte Lösung - 0,2) Gauss-Methode 0.5∙(b– a)∙t+ 0.5∙(b + a). Dann Diese Substitution ist möglich, wenn a und b sind endlich, und die Funktion f(x) ist stetig auf [ a;b]. Gaußsche Formel für n Punkte x ich, ich=0,1,..,n-1 innerhalb des Segments [ a;b]: wo ich und Ai für verschiedene n sind in Nachschlagewerken angegeben. Wann zum Beispiel n=2 Quadraturformel von Gauß Chancen Ai einfach mit Formeln berechnen Die Werte der Knoten und Koeffizienten für n=2,3,4,5 sind in der Tabelle angegeben Beispiel. Berechnen Sie den Wert mit der Gauß-Formel für n=2: Genauer Wert: Der Algorithmus zur Berechnung des Integrals nach der Gaußschen Formel sieht nicht vor, die Anzahl der Mikrosegmente zu verdoppeln, sondern die Anzahl der Ordinaten um 1 zu erhöhen und die erhaltenen Werte des Integrals zu vergleichen. Der Vorteil der Gauß-Formel ist eine hohe Genauigkeit bei einer relativ geringen Anzahl von Ordinaten. Nachteile: unpraktisch für manuelle Berechnungen; müssen im Computerspeicher gespeichert werden ich, Ai für verschiedene n. Der Fehler der Gauß-Quadraturformel auf dem Segment wird gleichzeitig sein. Für die Formel des Restterms wird der Koeffizient α sein N nimmt mit dem Wachstum schnell ab N. Hier Gaußsche Formeln liefern bereits bei einer kleinen Anzahl von Knoten (von 4 bis 10) eine hohe Genauigkeit, in diesem Fall reicht die Anzahl der Knoten in praktischen Berechnungen von mehreren hundert bis zu mehreren tausend. Wir stellen auch fest, dass die Gewichte von Gaußschen Quadraturen immer positiv sind, was die Stabilität des Algorithmus zur Berechnung der Summen gewährleistet Differenzierung. Beim Lösen von Problemen ist es oft notwendig, eine Ableitung einer bestimmten Ordnung von einer in einer Tabelle gegebenen Funktion f(x) zu finden. Außerdem ist manchmal aufgrund der Komplexität des analytischen Ausdrucks der Funktion f (x) ihre direkte Differenzierung zu schwierig, ebenso wie bei der numerischen Lösung von Differentialgleichungen. In diesen Fällen wird numerische Differentiation verwendet. Beispiel. Experimentelle Daten zu den Werten von Variablen X und bei sind in der Tabelle angegeben. Durch ihre Ausrichtung wird die Funktion Verwenden Methode der kleinsten Quadrate, approximieren diese Daten mit einer linearen Abhängigkeit y=ax+b(Optionen finden a und b). Finden Sie heraus, welche der beiden Linien besser (im Sinne der Methode der kleinsten Quadrate) die experimentellen Daten ausrichtet. Fertige eine Zeichnung an. Das Problem besteht darin, die linearen Abhängigkeitskoeffizienten zu finden, für die die Funktion zweier Variablen gilt a und b Somit reduziert sich die Lösung des Beispiels darauf, das Extremum einer Funktion zweier Variablen zu finden. Ein System aus zwei Gleichungen mit zwei Unbekannten wird erstellt und gelöst. Finden partieller Ableitungen einer Funktion in Bezug auf Variablen a und b, setzen wir diese Ableitungen mit Null gleich. Wir lösen das resultierende Gleichungssystem mit einer beliebigen Methode (z Substitutionsmethode oder ) und erhalten Sie Formeln zum Finden von Koeffizienten mit der Methode der kleinsten Quadrate (LSM). Mit Daten a und b Funktion Das ist die ganze Methode der kleinsten Quadrate. Formel zum Finden des Parameters a enthält die Summen , , , und den Parameter n- Umfang der experimentellen Daten. Es wird empfohlen, die Werte dieser Summen separat zu berechnen. Koeffizient b nach Berechnung gefunden a. Es ist Zeit, sich an das ursprüngliche Beispiel zu erinnern. Entscheidung. In unserem Beispiel n=5. Wir füllen die Tabelle aus, um die Beträge zu berechnen, die in den Formeln der erforderlichen Koeffizienten enthalten sind. Die Werte in der vierten Zeile der Tabelle erhält man, indem man für jede Zahl die Werte der 2. Zeile mit den Werten der 3. Zeile multipliziert ich. Die Werte in der fünften Zeile der Tabelle erhält man durch Quadrieren der Werte der 2. Zeile für jede Zahl ich. Die Werte der letzten Spalte der Tabelle sind die Summen der Werte über die Zeilen hinweg. Wir verwenden die Formeln der Methode der kleinsten Quadrate, um die Koeffizienten zu finden a und b. Wir ersetzen in ihnen die entsprechenden Werte aus der letzten Spalte der Tabelle: Folglich, y=0,165x+2,184 die gesuchte Näherungsgerade ist. Es bleibt herauszufinden, welche der Linien y=0,165x+2,184 oder Dazu müssen Sie die Summen der quadrierten Abweichungen der Originaldaten von diesen Linien berechnen Da , dann die Linie y=0,165x+2,184 nähert sich den Originaldaten besser an. In den Charts sieht alles super aus. Die rote Linie ist die gefundene Linie y=0,165x+2,184, die blaue Linie ist Wozu dient es, wozu all diese Annäherungen? Ich persönlich verwende, um Datenglättungsprobleme, Interpolations- und Extrapolationsprobleme zu lösen (im ursprünglichen Beispiel könnten Sie aufgefordert werden, den Wert des beobachteten Werts zu finden j bei x=3 oder wann x=6 nach der MNC-Methode). Aber wir werden später in einem anderen Abschnitt der Website mehr darüber sprechen. Nachweisen. Also wenn gefunden a und b Funktion den kleinsten Wert annimmt, ist es notwendig, dass an dieser Stelle die Matrix der quadratischen Form des Differentials zweiter Ordnung für die Funktion 3.5. Methode der kleinsten Quadrate
Die erste Arbeit, die die Grundlagen der Methode der kleinsten Quadrate legte, wurde 1805 von Legendre durchgeführt. In dem Artikel „Neue Methoden zur Bestimmung der Umlaufbahnen von Kometen“ schrieb er: „Nachdem alle Bedingungen des Problems gewesen sind vollständig verwendet, ist es notwendig, die Koeffizienten so zu bestimmen, dass die Größe ihrer Fehler so gering wie möglich ist. Der einfachste Weg, dies zu erreichen, ist die Methode, die darin besteht, das Minimum der Summe der quadrierten Fehler zu finden.“ Gegenwärtig wird die Methode sehr häufig verwendet, um unbekannte funktionale Abhängigkeiten, die durch viele experimentelle Messwerte gegeben sind, zu approximieren, um einen analytischen Ausdruck dafür zu erhalten lässt sich am besten an ein Experiment in Originalgröße annähern. Angenommen, basierend auf dem Experiment ist es erforderlich, die funktionale Abhängigkeit der Größe festzustellen y auf x : .Und lassen Sie als Ergebnis des Experiments erhaltenn Werte jmit den entsprechenden Werten des Argumentsx. Wenn die experimentellen Punkte wie in der Abbildung auf der Koordinatenebene liegen, dann können wir, da wir wissen, dass es Fehler im Experiment gibt, annehmen, dass die Abhängigkeit linear ist, d.h.j=
Axt+
b.Beachten Sie, dass die Methode keine Einschränkungen für die Form der Funktion auferlegt, d.h. es kann auf beliebige funktionale Abhängigkeiten angewendet werden. Aus Sicht des Experimentators ist es oft natürlicher zu denken, dass die Reihenfolge der Probenahmevorab fixiert, d.h. ist eine unabhängige Variable, und die zählt - abhängige Variable Dies ist besonders deutlich, wenn unter Zeitpunkte verstanden werden, was am weitesten in technischen Anwendungen vorkommt, aber nur ein sehr häufiger Spezialfall ist. Beispielsweise ist es notwendig, einige Proben nach Größe zu klassifizieren. Dann ist die unabhängige Variable die Nummer der Stichprobe, die abhängige Variable ihre individuelle Größe. Die Methode der kleinsten Quadrate wird in vielen pädagogischen und wissenschaftlichen Publikationen, insbesondere in Bezug auf die Approximation von Funktionen in der Elektro- und Funktechnik, sowie in Büchern zur Wahrscheinlichkeitstheorie und mathematischen Statistik ausführlich beschrieben. Kommen wir zurück zur Zeichnung. Die gestrichelten Linien zeigen, dass Fehler nicht nur durch die Unvollkommenheit der Messverfahren, sondern auch durch die Ungenauigkeit der Einstellung der unabhängigen Variablen bei der gewählten Form der Funktion entstehen können Es ist erforderlich, Koeffizienten auszuwählena,
b,
c... damit die Bedingung erfüllt ist Lassen Sie uns die Werte finden a,
b,
c… die die linke Seite von (2) auf ein Minimum drehen. Dazu definieren wir stationäre Punkte (Punkte, an denen die erste Ableitung verschwindet), indem wir die linke Seite von (2) nach differenzierena,
b,
c:
usw. Das resultierende Gleichungssystem enthält so viele Gleichungen wie es Unbekannte gibta,
b,
c…. Es ist unmöglich, ein solches System in allgemeiner Form zu lösen, daher ist es notwendig, zumindest ungefähr einen bestimmten Funktionstyp festzulegen Als nächstes betrachten wir zwei Fälle: lineare und quadratische Funktionen. Lineare Funktion
.
Betrachten Sie die Summe der quadrierten Differenzen zwischen den experimentellen Werten und den Funktionswerten an den entsprechenden Stellen: Lassen Sie uns die Parameter auswählena und bso dass diese Summe den kleinsten Wert hat. Somit reduziert sich das Problem auf das Auffinden der Wertea und b, bei dem die Funktion ein Minimum hat, d.h. zur Untersuchung einer Funktion zweier unabhängiger Variablena und bauf das Minimum. Dazu differenzieren wir bzgla und b:
Oder Durch Ersetzen der experimentellen Daten und erhalten wir ein System aus zwei linearen Gleichungen mit zwei Unbekanntena und b. Nachdem wir dieses System gelöst haben, können wir die Funktion schreiben. Das stellen wir für die gefundenen Werte sichera und bhat ein Minimum. Dazu finden wir , und : Folglich, − = >0,
jene. eine hinreichende Mindestbedingung für eine Funktion zweier Variablen erfüllt ist. quadratische Funktion Lassen Sie die Werte der Funktion an den Punkten im Experiment erhalten. Lassen Sie auch auf der Grundlage von a priori Informationen eine Annahme bestehen, dass die Funktion quadratisch ist: .
Es ist erforderlich, die Koeffizienten zu findena,
b und c.Wir haben In diesem Fall hat System (3) die Form: Oder: Beim Lösen dieses linearen Gleichungssystems bestimmen wir die Unbekanntena,
b,
c.
Beispiel.Anhand des Experiments sollen vier Werte der gewünschten Funktion erhalten werden y = (x ) mit vier Werten des Arguments, die in der Tabelle angegeben sind:
durch Variablen a und b, setzen wir diese Ableitungen mit Null gleich.
nimmt den kleinsten Wert an.
Bei N Integrationssegmenten für alle Knoten, mit Ausnahme der Extrempunkte des Segments, wird der Wert der Funktion zweimal in die Gesamtsumme aufgenommen (da benachbarte Trapeze eine gemeinsame Seite haben).
.
b) Teilung des Integrationssegments in 5 Teile.
a) Per Bedingung muss das Integrationssegment in 3 Teile geteilt werden, das heißt.
Berechnen Sie die Länge jedes Segments der Partition: 
.
, das heißt, die Länge jedes Zwischensegments beträgt 0,6.
Wenn für 3 Segmente der Partition, dann für 5 Segmente. Wenn Sie noch mehr Segment nehmen => wird noch genauer.
Restlaufzeit
Quadraturformel von Gauß. Das Grundprinzip von Quadraturformeln zweiter Art ist aus Abbildung 1.12 ersichtlich: Es ist notwendig, die Punkte so zu platzieren X 0 und X 1 innerhalb des Segments [ a;b], so dass die Flächen der "Dreiecke" insgesamt gleich den Flächen des "Segments" sind. Bei Verwendung der Gauß-Formel ist das Anfangssegment [ a;b] wird auf das Intervall [-1;1] reduziert, indem die Variable geändert wird X an
, wo 
.
, (1.27)
EIN 0 =EIN 1=1; bei n=3: t 0 =t 2" 0,775, t 1 =0, EIN 0 =A 2" 0,555, EIN 1" 0,889.
mit einer Gewichtsfunktion gleich eins erhalten p(x)= 1 und Knoten x ich, die die Wurzeln der Legendre-Polynome sind
ich=0,1,2,...n.Befehl Knoten Chancen
n=2
x 1=0
x 0 =-x2=0.7745966692
Ein 1=8/9
A 0 = A 2=5/9
n=3
x 2 =-x 1=0.3399810436
x 3 =-x0=0.8611363116
A 1 = A 2=0.6521451549
A 0 = A 3=0.6521451549
n=4
x 2 =
0
x 3 =
-x 1 =
0.5384693101
x 4 =-x 0 =0.9061798459
EIN 0 =0.568888899
EIN 3 =EIN 1 =0.4786286705
EIN 0 =EIN 4 =0.2869268851
n=5
x 5 =
-x 0 =0.9324695142
x 4 =
-x 1 =0.6612093865
x 3 =
-x 2 =0.2386191861
EIN 5 =A 0 =0.1713244924
EIN 4 =A 1 =0.3607615730
EIN 3 =A 2 =0.4679139346
.
Die Essenz der Methode der kleinsten Quadrate (LSM).
nimmt den kleinsten Wert an. Das heißt, angesichts der Daten a und b die Summe der quadrierten Abweichungen der experimentellen Daten von der gefundenen geraden Linie wird am kleinsten sein. Das ist der springende Punkt bei der Methode der kleinsten Quadrate.Herleitung von Formeln zum Finden von Koeffizienten.
nimmt den kleinsten Wert an. Der Beweis dieser Tatsache ist erbracht.
nähert sich den Originaldaten besser an, d.h. um eine Schätzung nach der Methode der kleinsten Quadrate vorzunehmen.Abschätzung des Fehlers der Methode der kleinsten Quadrate.
und 
, entspricht ein kleinerer Wert einer Linie, die die ursprünglichen Daten im Sinne der Methode der kleinsten Quadrate besser annähert. 
Grafische Darstellung der Methode der kleinsten Quadrate (LSM).
, die rosa Punkte sind die Originaldaten.
war positiv bestimmt. Zeigen wir es.
es bleibt die Auswahl der darin enthaltenen Parametera und b.Es ist klar, dass die Anzahl der Parameter mehr als zwei sein kann, was nur für lineare Funktionen typisch ist.Im Allgemeinen werden wir annehmen
.(1)
.
(2)
(3)
(4)
;
.
(5)
, 
, .
,
.
ist eine Funktion von drei Variablena,
b,
c.
