Regrese pomocí metody nejmenších čtverců

"prokládání dat křivkou"

Myšlenka

  • Máme zadanou sadu dat

    • Diskrétní sada
    • - vstupní hodnoty
    • - výstupní hodnoty
    • Nějaký nasamplovaný vzorek "něco se zobrazuje na něco jiného"
    • Předpokládáme závislost, něco jako ""

  • Chceme tuto závislost na nějak popsat, uděláme tzv. "regresi"

  • Chceme ji vyjádřit jako lineární kombinaci nějakých předem daných funkcí

Např. proložení naměřených hodnot přímkou, nebo exponenciálou, apod.

Regrese

Předpokládejme, že máme k dispozici sadu dat

a chceme nalézt lineární kombinaci daných funkcí , tedy funkci

tak, aby funkční hodnoty funkce v bodech co nejlépe odpovídaly hodnotám pro .
Tedy snažíme se dobře vystihnout hypotetickou závislost .

Předpokládejme, že . Typicky je množství dat () mnohem větší, než počet funkcí ().

Úkolem je určit neznámé koeficienty lineární kombinace .
Všechno ostatní () je zadané, volnost je jen v koeficientech.

Metoda nejmenších čtverců

Metoda nejmenších čtverců spočívá v myšlence minimalizovat kvadrát celkové chyby mezi a ,
tedy hledáme hodnoty koeficientů tak, aby hodnota ohodnocující funkce byla co nejmenší.

(vlastně rozdíl hodnoty naší funkce od reálné hodnoty - celková kvadratická odchylka, díky kvadrátům vždy nezáporná)

Zde jsme označili

Matice je dána hodnotami jednotlivých funkcí v bodech :

tedy .

Metodu můžeme shrnout takto:

  • minimalizuj
  • vůči ,
  • kde vektor a matice jsou dány

Minimalizace F(c)

Aplikujeme analytický postup pro hledání extrémů funkcí více proměnných.
Předpokládejme navíc, že matice má plnou hodnost, tedy .

Nejprve hledejme gradient funkce

Pro její gradient platí

Hledáme bod , kde je gradient nulový, dostáváme řešení

což v praxi znamená "vyřeš soustavu lineárních rovnic".

Opravdu se jedná o minimum, protože matice je pozitivně definitní.

Pointa: Takto jsme to vyřešili ve vší obecnosti. V konkrétních případech už stačí jen vyřešit příslušnou soustavu lineárních rovnic.

Vytvořeno: 15. 1. 2026, 16:09
Poslední aktualizace: 15. 1. 2026, 16:51