Pronađite funkciju metodom najmanjih kvadrata. Gdje se primjenjuje metoda najmanjih kvadrata? Primjer korištenja metode najmanjih kvadrata za razvoj prognoze

Široko se koristi u ekonometriji u obliku jasne ekonomske interpretacije svojih parametara.

Linearna regresija se svodi na pronalaženje jednadžbe oblika

ili

Jednadžba tipa omogućuje zadane vrijednosti parametara x imaju teorijske vrijednosti efektivnog obilježja, zamjenjujući stvarne vrijednosti faktora u njega x.

Izgradnja linearne regresije svodi se na procjenu njezinih parametara − a i u. Procjene parametara linearne regresije mogu se pronaći različitim metodama.

Klasični pristup procjeni parametara linearne regresije temelji se na najmanjih kvadrata(MNK).

LSM omogućuje dobivanje takvih procjena parametara a i u, pod kojim je zbroj kvadrata odstupanja stvarnih vrijednosti rezultirajuće osobine (y) od izračunatog (teorijskog) mini-minimum:

Da bismo pronašli minimum funkcije, potrebno je izračunati parcijalne derivacije s obzirom na svaki od parametara a i b i izjednačiti ih s nulom.

Označi sa S, tada:

Transformacijom formule dobivamo sljedeći sustav normalnih jednadžbi za procjenu parametara a i u:

Rješavajući sustav normalnih jednadžbi (3.5) bilo metodom uzastopnog eliminiranja varijabli ili metodom determinanti, nalazimo željene procjene parametara a i u.

Parametar u nazvan koeficijent regresije. Njegova vrijednost pokazuje prosječnu promjenu rezultata s promjenom faktora za jednu jedinicu.

Regresijska jednadžba se uvijek nadopunjuje pokazateljem čvrstoće odnosa. Kada se koristi linearna regresija, koeficijent linearne korelacije djeluje kao takav pokazatelj. Postoje različite modifikacije formule koeficijenta linearne korelacije. Neki od njih su navedeni u nastavku:

Kao što znate, koeficijent linearne korelacije je unutar granica: -1 ≤ ≤ 1.

Za procjenu kvalitete odabira linearne funkcije izračunava se kvadrat

Koeficijent linearne korelacije tzv koeficijent determinacije . Koeficijent determinacije karakterizira udio varijance efektivnog obilježja y, objašnjeno regresijom, u ukupnoj varijansi rezultirajuće osobine:

Prema tome, vrijednost 1 - karakterizira udio disperzije y, uzrokovane utjecajem drugih čimbenika koji nisu uzeti u obzir u modelu.

Pitanja za samokontrolu

1. Bit metode najmanjih kvadrata?

2. Koliko varijabli daje parnu regresiju?

3. Koji koeficijent određuje nepropusnost veze između promjena?

4. U kojim granicama se utvrđuje koeficijent determinacije?

5. Procjena parametra b u korelacijsko-regresijskoj analizi?

1. Christopher Dougherty. Uvod u ekonometriju. - M.: INFRA - M, 2001. - 402 str.

2. S.A. Borodich. Ekonometrija. Minsk LLC "Novo znanje" 2001.

3. R.U. Rakhmetova Kratki tečaj iz ekonometrije. Vodič. Almaty. 2004. -78s.

4. I.I. Eliseeva.Ekonometrija. - M.: "Financije i statistika", 2002

5. Mjesečni informativno-analitički časopis.

Nelinearni ekonomski modeli. Modeli nelinearne regresije. Pretvorba varijable.

Nelinearni ekonomski modeli..

Pretvorba varijable.

koeficijent elastičnosti.

Ako postoje nelinearni odnosi između ekonomskih pojava, onda se oni izražavaju pomoću odgovarajućih nelinearnih funkcija: na primjer, jednakostranična hiperbola , parabole drugog stupnja itd.

Postoje dvije klase nelinearnih regresija:

1. Regresije koje su nelinearne u odnosu na varijable objašnjenja uključene u analizu, ali linearne u odnosu na procijenjene parametre, na primjer:

Polinomi raznih stupnjeva - , ;

Jednakostranična hiperbola - ;

Semilogaritamska funkcija - .

2. Regresije koje su nelinearne u procijenjenim parametrima, na primjer:

Snaga - ;

Demonstrativna -;

Eksponencijalni - .

Ukupan zbroj kvadrata odstupanja pojedinačnih vrijednosti rezultirajućeg atributa na od prosječne vrijednosti uzrokovan je utjecajem mnogih čimbenika. Cijeli skup razloga uvjetno dijelimo u dvije skupine: proučavan faktor x i drugi čimbenici.

Ako faktor ne utječe na rezultat, tada je linija regresije na grafikonu paralelna s osi Oh i

Tada je cjelokupna disperzija rezultirajućeg atributa posljedica utjecaja drugih čimbenika i ukupni zbroj kvadrata odstupanja će se podudarati s ostatkom. Ako drugi čimbenici ne utječu na rezultat, onda vezani ste S x funkcionalno, a preostali zbroj kvadrata je nula. U ovom slučaju, zbroj kvadrata odstupanja objašnjen regresijom jednak je ukupnom zbroju kvadrata.

Budući da sve točke korelacijskog polja ne leže na regresijskoj liniji, njihovo se raspršivanje uvijek događa kao zbog utjecaja faktora x, tj. regresija na na X, a uzrokovane djelovanjem drugih uzroka (neobjašnjiva varijacija). Prikladnost regresijske linije za prognozu ovisi o tome koji dio ukupne varijacije osobine na objašnjava objašnjenu varijaciju

Očito, ako je zbroj kvadrata odstupanja zbog regresije veći od preostalog zbroja kvadrata, tada je regresijska jednadžba statistički značajna, a faktor x ima značajan utjecaj na ishod. y.

, tj. s brojem slobode neovisne varijacije obilježja. Broj stupnjeva slobode povezan je s brojem jedinica populacije n i brojem konstanti određenim iz njega. U odnosu na problem koji se proučava, broj stupnjeva slobode treba pokazati koliko je neovisnih odstupanja od P

Procjena značaja regresijske jednadžbe u cjelini data je uz pomoć F- Fisherov kriterij. U ovom slučaju postavlja se nulta hipoteza da je koeficijent regresije jednak nuli, tj. b= 0, a time i faktor x ne utječe na rezultat y.

Izravnom izračunu F-kriterija prethodi analiza varijance. Središnje je u njemu proširenje ukupnog zbroja kvadrata odstupanja varijable na od prosječne vrijednosti na na dva dijela - "objašnjeno" i "neobjašnjeno":

Ukupan zbroj kvadrata odstupanja;

Zbroj kvadrata odstupanja objašnjenih regresijom;

Preostali zbroj kvadrata odstupanja.

Svaki zbroj kvadrata odstupanja povezan je s brojem stupnjeva slobode , tj. s brojem slobode neovisne varijacije obilježja. Broj stupnjeva slobode povezan je s brojem populacijskih jedinica n i s brojem konstanti određenim iz njega. U odnosu na problem koji se proučava, broj stupnjeva slobode treba pokazati koliko je neovisnih odstupanja od P moguće je potrebno da se formira zadani zbroj kvadrata.

Disperzija po stupnju slobodeD.

F-omjeri (F-kriterij):

Ako je nulta hipoteza istinita, tada se faktor i preostale varijance međusobno ne razlikuju. Za H 0 potrebno je opovrgavanje kako bi varijanca faktora nekoliko puta premašila rezidual. Engleski statističar Snedecor razvio je tablice kritičnih vrijednosti F-odnosi na različitim razinama značaja nulte hipoteze i različitog broja stupnjeva slobode. Vrijednost tablice F-kriterij je maksimalna vrijednost omjera varijacija koje se mogu pojaviti ako se nasumično razilaze za zadanu razinu vjerojatnosti prisutnosti nulte hipoteze. Izračunata vrijednost F-odnos se priznaje kao pouzdan ako je o veće od tabelarnog.

U ovom slučaju odbacuje se nulta hipoteza o nepostojanju odnosa značajki i donosi se zaključak o značaju tog odnosa: F činjenica > F tablica H 0 je odbijen.

Ako je vrijednost manja od tablice F činjenica ‹, F tablica, tada je vjerojatnost nulte hipoteze veća od zadane razine i ne može se odbaciti bez ozbiljnog rizika od izvođenja pogrešnog zaključka o prisutnosti veze. U ovom slučaju, jednadžba regresije se smatra statistički beznačajnom. N o ne odstupa.

Standardna pogreška koeficijenta regresije

Da bi se procijenila značajnost koeficijenta regresije, njegova se vrijednost uspoređuje s njegovom standardnom pogreškom, tj. utvrđuje se stvarna vrijednost t- Studentov test: koji se zatim uspoređuje s tabličnom vrijednošću na određenoj razini značajnosti i brojem stupnjeva slobode ( n- 2).

Standardna pogreška parametra a:

Značajnost koeficijenta linearne korelacije provjerava se na temelju veličine pogreške koeficijent korelacije r:

Ukupna varijanca značajke x:

Višestruka linearna regresija

Izgradnja modela

Višestruka regresija je regresija efektivnog obilježja s dva ili više faktora, tj. modelom oblika

Regresija može dati dobar rezultat u modeliranju ako se zanemari utjecaj drugih čimbenika koji utječu na predmet proučavanja. Ponašanje pojedinih ekonomskih varijabli ne može se kontrolirati, odnosno nije moguće osigurati jednakost svih ostalih uvjeta za procjenu utjecaja jednog proučavanog čimbenika. U ovom slučaju trebate pokušati identificirati utjecaj drugih čimbenika uvodeći ih u model, tj. izgraditi jednadžbu višestruke regresije: y = a+b 1 x 1 +b 2 +…+b p x p + .

Glavni cilj višestruke regresije je izgradnja modela s velikim brojem čimbenika, pri čemu se utvrđuje utjecaj svakog od njih pojedinačno, kao i njihov kumulativni utjecaj na modelirani pokazatelj. Specifikacija modela uključuje dva područja pitanja: odabir faktora i izbor vrste regresijske jednadžbe

Ima mnogo aplikacija, jer omogućuje približan prikaz dane funkcije drugim jednostavnijim. LSM može biti iznimno koristan u obradi opažanja, a aktivno se koristi za procjenu nekih veličina iz rezultata mjerenja drugih koji sadrže slučajne pogreške. U ovom članku naučit ćete kako implementirati izračune najmanjih kvadrata u Excelu.

Iskaz problema na konkretnom primjeru

Pretpostavimo da postoje dva indikatora X i Y. Štoviše, Y ovisi o X. Budući da nas je OLS zanimljiv sa stajališta regresijske analize (u Excelu se njegove metode implementiraju pomoću ugrađenih funkcija), trebali bismo odmah nastaviti razmotriti konkretan problem.

Dakle, neka X bude prodajna površina trgovine mješovitom robom, mjerena u četvornim metrima, a Y godišnji promet, definiran u milijunima rubalja.

Potrebno je napraviti prognozu koliki će promet (Y) imati trgovina ako ima jedan ili drugi prodajni prostor. Očito, funkcija Y = f (X) raste, budući da hipermarket prodaje više robe nego štand.

Nekoliko riječi o ispravnosti početnih podataka korištenih za predviđanje

Recimo da imamo tablicu izgrađenu s podacima za n trgovina.

Prema matematičkoj statistici, rezultati će biti manje-više točni ako se ispitaju podaci o najmanje 5-6 objekata. Također, ne mogu se koristiti "anomalni" rezultati. Konkretno, elitni mali butik može imati višestruko veći promet od prometa velikih prodajnih mjesta klase "masmarket".

Bit metode

Podaci tablice mogu se prikazati na kartezijskoj ravnini kao točke M 1 (x 1, y 1), ... M n (x n, y n). Sada će se rješenje problema svesti na odabir aproksimirajuće funkcije y = f (x), koja ima graf koji prolazi što bliže točkama M 1, M 2, .. M n .

Naravno, možete koristiti polinom visokog stupnja, ali ova opcija nije samo teška za implementaciju, već je jednostavno netočna, jer neće odražavati glavni trend koji treba otkriti. Najrazumnije rješenje je pronaći ravnu liniju y = ax + b, koja najbolje odgovara eksperimentalnim podacima, odnosno koeficijentima - a i b.

Ocjena točnosti

Za svaku aproksimaciju od posebne je važnosti procjena njegove točnosti. Označite sa e i razliku (odstupanje) između funkcionalne i eksperimentalne vrijednosti za točku x i , tj. e i = y i - f (x i).

Očito, da biste procijenili točnost aproksimacije, možete koristiti zbroj odstupanja, tj. pri odabiru ravne linije za približni prikaz ovisnosti X o Y, prednost treba dati onom koji ima najmanju vrijednost od zbroj e i u svim razmatranim točkama. No, nije sve tako jednostavno, jer će uz pozitivna odstupanja praktički biti i negativnih.

Problem možete riješiti pomoću modula odstupanja ili njihovih kvadrata. Posljednja metoda je najčešće korištena. Koristi se u mnogim područjima, uključujući i regresijsku analizu (u Excelu se njegova implementacija provodi pomoću dvije ugrađene funkcije), a odavno se dokazala učinkovitom.

Metoda najmanjeg kvadrata

U Excelu, kao što znate, postoji ugrađena funkcija automatskog zbroja koja vam omogućuje izračunavanje vrijednosti svih vrijednosti koje se nalaze u odabranom rasponu. Dakle, ništa nas neće spriječiti da izračunamo vrijednost izraza (e 1 2 + e 2 2 + e 3 2 + ... e n 2).

U matematičkom zapisu ovo izgleda ovako:

Budući da je prvobitno donesena odluka da se aproksimira ravnom linijom, imamo:

Dakle, zadatak pronalaženja ravne linije koja najbolje opisuje specifičan odnos između X i Y svodi se na izračunavanje minimuma funkcije dviju varijabli:

To zahtijeva izjednačavanje s nultom parcijalnim derivacijama s obzirom na nove varijable a i b i rješavanje primitivnog sustava koji se sastoji od dvije jednadžbe s 2 nepoznanice oblika:

Nakon jednostavnih transformacija, uključujući dijeljenje s 2 i manipuliranje zbrojima, dobivamo:

Rješavajući ga, primjerice, Cramerovom metodom, dobivamo stacionarnu točku s određenim koeficijentima a * i b * . Ovo je minimum, tj. da se predvidi koliki će promet imati trgovina za određeno područje, prikladna je ravna linija y = a * x + b *, što je regresijski model za predmetni primjer. Naravno, to vam neće dopustiti da pronađete točan rezultat, ali će vam pomoći da dobijete predodžbu o tome hoće li se kupnja trgovine na kredit za određeno područje isplatiti.

Kako implementirati metodu najmanjih kvadrata u Excelu

Excel ima funkciju za izračunavanje vrijednosti najmanjih kvadrata. Ima sljedeći oblik: TREND (poznate Y vrijednosti; poznate X vrijednosti; nove X vrijednosti; konstanta). Primijenimo formulu za izračun OLS-a u Excelu na našu tablicu.

Da biste to učinili, u ćeliju u kojoj bi trebao biti prikazan rezultat izračuna metodom najmanjih kvadrata u Excelu, unesite znak "=" i odaberite funkciju "TREND". U prozoru koji se otvori popunite odgovarajuća polja, istaknuvši:

• raspon poznatih vrijednosti za Y (u ovom slučaju podaci za promet);
• raspon x 1 , …x n , tj. veličina prodajnog prostora;
• te poznate i nepoznate vrijednosti x, za koje trebate saznati veličinu prometa (za informacije o njihovoj lokaciji na radnom listu, pogledajte dolje).

Osim toga, u formuli postoji logička varijabla "Const". Ako unesete 1 u polje koje mu odgovara, to će značiti da treba izvršiti izračune, pod pretpostavkom da je b = 0.

Ako trebate znati prognozu za više od jedne vrijednosti x, tada nakon unosa formule ne biste trebali pritisnuti "Enter", već morate upisati kombinaciju "Shift" + "Control" + "Enter" ("Enter" ) na tipkovnici.

Neke značajke

Regresijska analiza može biti dostupna čak i lutkama. Excel formulu za predviđanje vrijednosti niza nepoznatih varijabli - "TREND" - mogu koristiti čak i oni koji nikada nisu čuli za metodu najmanjih kvadrata. Dovoljno je samo znati neke značajke njegovog rada. Posebno:

• Ako raspoređujete raspon poznatih vrijednosti varijable y u jedan redak ili stupac, tada će svaki red (stupac) s poznatim vrijednostima x program percipirati kao zasebnu varijablu.
• Ako raspon s poznatim x nije naveden u prozoru TREND, tada će ga u slučaju korištenja funkcije u Excelu program smatrati nizom koji se sastoji od cijelih brojeva, čiji broj odgovara rasponu s danim vrijednostima ​varijable y.
• Za izlaz niza "predviđenih" vrijednosti, izraz trenda se mora unijeti kao formula polja.
• Ako nisu navedene nove vrijednosti x, funkcija TREND ih smatra jednakima poznatim. Ako nisu specificirani, tada se niz 1 uzima kao argument; 2; 3; 4;…, što je razmjerno rasponu s već zadanim parametrima y.
• Raspon koji sadrži nove vrijednosti x mora imati iste ili više redaka ili stupaca kao raspon s danim vrijednostima y. Drugim riječima, mora biti proporcionalan neovisnim varijablama.
• Niz s poznatim x vrijednostima može sadržavati više varijabli. Međutim, ako govorimo samo o jednom, tada je potrebno da rasponi s danim vrijednostima x i y budu razmjerni. U slučaju više varijabli, potrebno je da raspon sa zadanim y vrijednostima stane u jedan stupac ili jedan redak.

funkcija PROGNOZA

Realizira se pomoću nekoliko funkcija. Jedna od njih se zove "PREDIKCIJA". Sličan je TREND-u, tj. daje rezultat izračuna metodom najmanjih kvadrata. Međutim, samo za jedan X, za koji je vrijednost Y nepoznata.

Sada znate Excel formule za lutke koje vam omogućuju predviđanje vrijednosti buduće vrijednosti indikatora prema linearnom trendu.

Ekstrapolacija - ovo je metoda znanstvenog istraživanja koja se temelji na širenju prošlih i sadašnjih trendova, obrazaca, odnosa prema budućem razvoju objekta predviđanja. Metode ekstrapolacije uključuju metoda pokretnog prosjeka, metoda eksponencijalnog izglađivanja, metoda najmanjih kvadrata.

Esencija metoda najmanjih kvadrata sastoji se u minimiziranju zbroja kvadrata odstupanja između promatranih i izračunatih vrijednosti. Izračunate vrijednosti se nalaze prema odabranoj jednadžbi - jednadžbi regresije. Što je manja udaljenost između stvarnih vrijednosti i izračunatih, to je točnija prognoza temeljena na jednadžbi regresije.

Teorijska analiza suštine proučavanog fenomena, čija se promjena prikazuje vremenskim nizom, služi kao osnova za odabir krivulje. Razmatranja o prirodi rasta razina serije ponekad se uzimaju u obzir. Dakle, ako se rast proizvodnje očekuje u aritmetičkoj progresiji, onda se izravnavanje izvodi ravnom linijom. Ako se pokaže da je rast eksponencijalan, onda treba izvršiti izravnavanje prema eksponencijalnoj funkciji.

Radna formula metode najmanjih kvadrata : Y t+1 = a*X + b, gdje je t + 1 razdoblje prognoze; Ut+1 – predviđeni pokazatelj; a i b - koeficijenti; X - simbol vremena.

Koeficijenti a i b izračunavaju se prema sljedećim formulama:

gdje je, Uf - stvarne vrijednosti serije dinamike; n je broj razina u vremenskoj seriji;

Izglađivanje vremenskih serija metodom najmanjih kvadrata služi za odraz obrazaca razvoja fenomena koji se proučava. U analitičkom izrazu trenda vrijeme se smatra nezavisnom varijablom, a razine serije djeluju kao funkcija ove nezavisne varijable.

Razvoj neke pojave ne ovisi o tome koliko je godina prošlo od početne točke, već o tome koji su čimbenici utjecali na njegov razvoj, u kojem smjeru i kojim intenzitetom. Iz ovoga je jasno da se razvoj neke pojave u vremenu javlja kao rezultat djelovanja ovih čimbenika.

Ispravno postavljanje vrste krivulje, tipa analitičke ovisnosti o vremenu jedan je od najtežih zadataka pre-prediktivne analize. .

Izbor vrste funkcije koja opisuje trend, čiji se parametri određuju metodom najmanjih kvadrata, u većini je slučajeva empirijski, konstruiranjem niza funkcija i međusobnom uspoređivanjem u smislu vrijednosti korijena. -srednja kvadratna greška, izračunata po formuli:

gdje je Uf - stvarne vrijednosti serije dinamike; Ur – izračunate (izglađene) vrijednosti vremenske serije; n je broj razina u vremenskoj seriji; p je broj parametara definiranih u formulama koje opisuju trend (trend razvoja).

Nedostaci metode najmanjih kvadrata :

• kada se pokušava opisati ekonomski fenomen koji se proučava korištenjem matematičke jednadžbe, prognoza će biti točna za kratko vrijeme i regresijska jednadžba treba se ponovno izračunati kako nove informacije postanu dostupne;
• složenost izbora regresijske jednadžbe, koja je rješiva ​​standardnim računalnim programima.

Primjer korištenja metode najmanjih kvadrata za razvoj prognoze

Zadatak . Postoje podaci koji karakteriziraju razinu nezaposlenosti u regiji, %

• Izgradite prognozu stope nezaposlenosti u regiji za mjesec studeni, prosinac, siječanj koristeći metode: pokretni prosjek, eksponencijalno izravnavanje, najmanji kvadrati.
• Izračunajte pogreške u rezultirajućim prognozama koristeći svaku metodu.
• Usporedite dobivene rezultate, donesite zaključke.

Rješenje najmanjih kvadrata

Za rješenje ćemo sastaviti tablicu u kojoj ćemo napraviti potrebne izračune:

Definirajmo simbol vremena kao uzastopno numeriranje razdoblja baze prognoze (stupac 3). Izračunajte stupce 4 i 5. Izračunajte vrijednosti serije Ur odredit će se formulom Y t + 1 = a * X + b, gdje je t + 1 razdoblje prognoze; Ut+1 – predviđeni pokazatelj; a i b - koeficijenti; X - simbol vremena.

Koeficijenti a i b određeni su sljedećim formulama:

gdje je, Uf - stvarne vrijednosti serije dinamike; n je broj razina u vremenskoj seriji.
a = / = - 0,17
b \u003d 22,13 / 10 - (-0,17) * 55 / 10 \u003d 3,15

Prosječnu relativnu pogrešku izračunavamo pomoću formule:

ε = 28,63/10 = 2,86% točnost prognoze visoka.

Zaključak : Usporedba rezultata dobivenih u proračunima metoda pokretnog prosjeka , eksponencijalno izglađivanje i metodom najmanjih kvadrata, možemo reći da prosječna relativna pogreška u proračunima metodom eksponencijalnog izglađivanja pada unutar 20-50%. To znači da je točnost predviđanja u ovom slučaju samo zadovoljavajuća.

U prvom i trećem slučaju točnost prognoze je visoka, jer je prosječna relativna pogreška manja od 10%. Ali metoda pokretnog prosjeka omogućila je dobivanje pouzdanijih rezultata (prognoza za studeni - 1,52%, prognoza za prosinac - 1,53%, prognoza za siječanj - 1,49%), budući da je prosječna relativna pogreška pri korištenju ove metode najmanja - 1 ,13%.

Što najširu primjenu nalazi u raznim područjima znanosti i prakse. To može biti fizika, kemija, biologija, ekonomija, sociologija, psihologija i tako dalje i tako dalje. Voljom sudbine često se moram baviti ekonomijom, pa ću vam danas organizirati kartu za nevjerojatnu zemlju tzv. Ekonometrija=) … Kako to ne želiš?! Tamo je jako dobro – samo se morate odlučiti! …Ali ono što vjerojatno sigurno želite je naučiti kako riješiti probleme najmanjih kvadrata. A posebno vrijedni čitatelji naučit će ih riješiti ne samo točno, nego i VRLO BRZO ;-) Ali prvo opći iskaz problema+ povezani primjer:

Neka se proučavaju pokazatelji u nekom predmetnom području koji imaju kvantitativni izraz. Istodobno, postoje svi razlozi za vjerovanje da pokazatelj ovisi o pokazatelju. Ova pretpostavka može biti i znanstvena hipoteza i utemeljena na elementarnom zdravom razumu. No, ostavimo znanost po strani i istražimo privlačnija područja – naime trgovine mješovitom robom. Označi sa:

– prodajni prostor trgovine, m2
- godišnji promet trgovine mješovitom robom, milijun rubalja.

Sasvim je jasno da što je veća površina trgovine, to je veći njezin promet u većini slučajeva.

Pretpostavimo da nakon provođenja promatranja / eksperimenata / proračuna / plesa s tamburom imamo na raspolaganju numeričke podatke:

S trgovinama mješovitom robom mislim da je sve jasno: - ovo je površina 1. trgovine, - njen godišnji promet, - površina 2. trgovine, - njen godišnji promet itd. Usput, uopće nije potrebno imati pristup klasificiranim materijalima - prilično točna procjena prometa može se dobiti pomoću matematičke statistike. Međutim, nemojte se ometati, tečaj komercijalne špijunaže je već plaćen =)

Tablični podaci također se mogu zapisati u obliku točaka i prikazati na uobičajen način za nas. Kartezijanski sustav .

Odgovorimo na jedno važno pitanje: koliko bodova je potrebno za kvalitativnu studiju?

Što veće, to bolje. Minimalni dopušteni skup sastoji se od 5-6 bodova. Osim toga, s malom količinom podataka, “nenormalni” rezultati ne bi trebali biti uključeni u uzorak. Tako, na primjer, mala elitna trgovina može pomoći redovima veličine više od "njihovih kolega", čime se iskrivljuje opći obrazac koji treba pronaći!

Ako je sasvim jednostavno, moramo odabrati funkciju, raspored koji prolazi što bliže točkama . Takva funkcija se zove aproksimirajući (približna - aproksimacija) ili teorijska funkcija . Općenito govoreći, ovdje se odmah pojavljuje očiti "pretendent" - polinom visokog stupnja, čiji graf prolazi kroz SVE točke. Ali ova je opcija komplicirana i često jednostavno netočna. (jer će grafikon cijelo vrijeme "vijati" i loše odražavati glavni trend).

Dakle, željena funkcija mora biti dovoljno jednostavna i istovremeno adekvatno odražavati ovisnost. Kao što možete pretpostaviti, zove se jedna od metoda za pronalaženje takvih funkcija najmanjih kvadrata. Prvo, analizirajmo njegovu bit na opći način. Neka neka funkcija aproksimira eksperimentalne podatke:


Kako ocijeniti točnost ove aproksimacije? Izračunajmo i razlike (odstupanja) između eksperimentalne i funkcionalne vrijednosti (učimo crtež). Prva misao koja vam pada na pamet je procijeniti koliki je zbroj, ali problem je što razlike mogu biti negativne. (na primjer, ) a odstupanja kao rezultat takvog zbrajanja međusobno će se poništiti. Stoga se kao procjena točnosti aproksimacije predlaže uzeti zbroj modula odstupanja:

ili u presavijenom obliku: (odjednom, tko ne zna: je ikona zbroja, i pomoćna je varijabla-"brojač", koja uzima vrijednosti od 1 do ).

Aproksimacijom eksperimentalnih točaka različitim funkcijama dobit ćemo različite vrijednosti , a očito je da je ta funkcija točnija tamo gdje je ovaj zbroj manji.

Takva metoda postoji i zove se metoda najmanjeg modula. Međutim, u praksi je postao mnogo rašireniji. metoda najmanjeg kvadrata, u kojem se moguće negativne vrijednosti eliminiraju ne modulom, već kvadraturom odstupanja:

, nakon čega se napori usmjeravaju na odabir takve funkcije da zbroj kvadrata odstupanja bio što manji. Zapravo, otuda i naziv metode.

A sada se vraćamo na još jednu važnu točku: kao što je gore navedeno, odabrana funkcija trebala bi biti prilično jednostavna - ali postoji i mnogo takvih funkcija: linearni , hiperboličke, eksponencijalna, logaritamski, kvadratna itd. I, naravno, ovdje bih odmah želio "smanjiti polje djelovanja". Koju klasu funkcija odabrati za istraživanje? Primitivna, ali učinkovita tehnika:

- Najlakši način za izvlačenje bodova na crtežu i analizirati njihov položaj. Ako imaju tendenciju da budu u ravnoj liniji, onda biste trebali potražiti jednadžba ravne linije s optimalnim vrijednostima i . Drugim riječima, zadatak je pronaći TAKVE koeficijente – tako da zbroj kvadrata odstupanja bude najmanji.

Ako se točke nalaze, na primjer, uzduž hiperbola, onda je jasno da će linearna funkcija dati lošu aproksimaciju. U ovom slučaju tražimo najpovoljnije koeficijente za jednadžbu hiperbole - oni koji daju minimalni zbroj kvadrata .

Sada primijetite da u oba slučaja govorimo o funkcije dviju varijabli, čiji su argumenti tražili opcije ovisnosti:

A u biti, trebamo riješiti standardni problem – pronaći minimum funkcije dviju varijabli.

Prisjetimo se našeg primjera: pretpostavimo da se točke "trgovine" obično nalaze u ravnoj liniji i da postoji svaki razlog vjerovati u prisutnost linearna ovisnost promet iz trgovačkog područja. Nađimo TAKVE koeficijente "a" i "be" tako da zbroj kvadrata odstupanja bio najmanji. Sve kao i obično – prvo parcijalne izvedenice 1. reda. Prema pravilo linearnosti možete razlikovati odmah ispod ikone zbroja:

Ako želite upotrijebiti ove podatke za esej ili kolegij, bit ću vam vrlo zahvalan na poveznici na popisu izvora, tako detaljne izračune nećete naći nigdje:

Napravimo standardni sustav:

Svaku jednadžbu smanjujemo za "dvojku" i, osim toga, "razbijamo" zbrojeve:

Bilješka : samostalno analizirati zašto se "a" i "be" mogu izbaciti iz ikone zbroja. Usput, formalno se to može učiniti sa zbrojem

Prepišimo sustav u "primijenjenom" obliku:

nakon čega se počinje crtati algoritam za rješavanje našeg problema:

Znamo li koordinate točaka? Znamo. Zbroji možemo li pronaći? Lako. Sastavljamo najjednostavnije sustav dviju linearnih jednadžbi s dvije nepoznanice("a" i "beh"). Rješavamo sustav, npr. Cramerova metoda, što rezultira stacionarnom točkom . Provjeravam dovoljan uvjet za ekstrem, možemo provjeriti da je u ovom trenutku funkcija doseže precizno minimum. Provjera je povezana s dodatnim izračunima i stoga ćemo je ostaviti iza scene. (ako je potrebno, okvir koji nedostaje može se vidjeti). Donosimo konačni zaključak:

Funkcija najbolji način (barem u usporedbi s bilo kojom drugom linearnom funkcijom) približava eksperimentalne točke . Grubo govoreći, njegov graf prolazi što bliže tim točkama. U tradiciji ekonometrije također se poziva rezultirajuća aproksimirajuća funkcija uparena jednadžba linearne regresije .

Problem koji se razmatra je od velike praktične važnosti. U situaciji s našim primjerom, jednadžba omogućuje vam da predvidite kakav promet ("yig") bit će u trgovini s jednom ili drugom vrijednošću prodajnog područja (jedno ili drugo značenje "x"). Da, rezultirajuća prognoza bit će samo prognoza, ali će se u mnogim slučajevima pokazati prilično točnom.

Analizirat ću samo jedan problem s "pravim" brojevima, budući da u njemu nema poteškoća - svi su izračuni na razini školskog kurikuluma 7-8 razreda. U 95 posto slučajeva od vas će se tražiti da pronađete samo linearnu funkciju, ali na samom kraju članka pokazat ću da nije teže pronaći jednadžbe za optimalnu hiperbolu, eksponent i neke druge funkcije.

Zapravo, ostaje distribuirati obećane dobrote - tako da naučite kako riješiti takve primjere ne samo točno, već i brzo. Pažljivo proučavamo standard:

Zadatak

Kao rezultat proučavanja odnosa između dva pokazatelja, dobiveni su sljedeći parovi brojeva:

Koristeći metodu najmanjih kvadrata, pronađite linearnu funkciju koja najbolje približuje empirijsku (iskusan) podaci. Napravite crtež na kojem se u kartezijanskom pravokutnom koordinatnom sustavu ucrtavaju eksperimentalne točke i graf aproksimacijske funkcije . Pronađite zbroj kvadrata odstupanja između empirijskih i teorijskih vrijednosti. Saznajte je li funkcija bolja (u smislu metode najmanjih kvadrata) približne eksperimentalne točke.

Imajte na umu da su vrijednosti "x" prirodne vrijednosti, a to ima karakteristično smisleno značenje, o kojem ću govoriti malo kasnije; ali oni, naravno, mogu biti frakcijski. Osim toga, ovisno o sadržaju određenog zadatka, i "X" i "G" vrijednosti mogu biti potpuno ili djelomično negativne. Pa, dobili smo zadatak „bez lica“ i mi ga započinjemo riješenje:

Nalazimo koeficijente optimalne funkcije kao rješenje sustava:

Za potrebe kompaktnijeg zapisa, varijabla "counter" može se izostaviti, jer je već jasno da se zbrajanje provodi od 1 do .

Prikladnije je izračunati potrebne količine u tabličnom obliku:


Izračuni se mogu izvesti na mikrokalkulatoru, ali je puno bolje koristiti Excel - i brže i bez grešaka; pogledajte kratki video:

Dakle, dobivamo sljedeće sustav:

Ovdje možete drugu jednadžbu pomnožiti s 3 i oduzmi 2. od 1. jednadžbe član po član. Ali to je sreća - u praksi sustavi često nisu nadareni, a u takvim slučajevima to štedi Cramerova metoda:
, tako da sustav ima jedinstveno rješenje.

Napravimo provjeru. Razumijem da ne želim, ali zašto preskočiti pogreške gdje ih nikako ne možete propustiti? Zamijenite pronađeno rješenje u lijevu stranu svake jednadžbe sustava:

Dobivaju se pravi dijelovi odgovarajućih jednadžbi, što znači da je sustav točno riješen.

Dakle, željena aproksimirajuća funkcija: – od sve linearne funkcije eksperimentalni podaci najbolje se približuju njime.

Za razliku od ravno ovisnost prometa trgovine o njezinoj površini, pronađena ovisnost je obrnuto (princip "što više - manje"), a tu činjenicu odmah otkriva negativac kutni koeficijent. Funkcija obavještava nas da se povećanjem određenog pokazatelja za 1 jedinicu smanjuje vrijednost ovisnog pokazatelja prosjek za 0,65 jedinica. Kako kažu, što je viša cijena heljde, to se manje prodaje.

Da bismo nacrtali aproksimirajuću funkciju, nalazimo dvije njezine vrijednosti:

i izvedite crtež:


Konstruirana linija se zove linija trenda (naime, linearna linija trenda, tj. u općem slučaju, trend nije nužno ravna linija). Svima je poznat izraz "biti u trendu", a mislim da ovaj pojam ne treba dodatno komentirati.

Izračunajte zbroj kvadrata odstupanja između empirijskih i teorijskih vrijednosti. Geometrijski, ovo je zbroj kvadrata duljina "grimiznih" segmenata (od kojih su dva tako mala da ih ne možete ni vidjeti).

Sumirajmo izračune u tablicu:


Opet se mogu izvesti ručno, za svaki slučaj dat ću primjer za 1. točku:

ali puno je učinkovitije učiniti već poznati način:

da ponovimo: koji je smisao rezultata? Iz sve linearne funkcije funkcija eksponent je najmanji, odnosno najbolja je aproksimacija u svojoj obitelji. I ovdje, usput, konačno pitanje problema nije slučajno: što ako predložena eksponencijalna funkcija hoće li biti bolje aproksimirati eksperimentalne točke?

Nađimo odgovarajući zbroj kvadrata odstupanja - da ih razlikujemo, označit ću ih slovom "epsilon". Tehnika je potpuno ista:


I opet za svaki proračun požara za 1. točku:

U Excelu koristimo standardnu ​​funkciju EXP (Sintaksa se može pronaći u Excel pomoći).

Zaključak: , pa eksponencijalna funkcija aproksimira eksperimentalne točke lošije od ravne linije .

Ali ovdje treba napomenuti da je "gore". još ne znači, što nije u redu. Sada sam napravio graf ove eksponencijalne funkcije - i ona također prolazi blizu točaka - toliko da je bez analitičke studije teško reći koja je funkcija točnija.

Time je rješenje završeno i vraćam se na pitanje prirodnih vrijednosti argumenta. U raznim studijama, u pravilu, ekonomskim ili sociološkim, mjeseci, godine ili drugi jednaki vremenski intervali numeriraju se prirodnim "X". Razmotrimo, na primjer, takav problem.

Aproksimacija eksperimentalnih podataka je metoda koja se temelji na zamjeni eksperimentalno dobivenih podataka s analitičkom funkcijom koja najbliže prolazi ili se podudara u čvornim točkama s početnim vrijednostima (podaci dobiveni tijekom eksperimenta ili eksperimenta). Trenutno postoje dva načina definiranja analitičke funkcije:

Konstruiranjem interpolacijskog polinoma n stupnja koji prolazi izravno kroz sve točke zadanog niza podataka. U ovom slučaju, aproksimirajuća funkcija je predstavljena kao: interpolacijski polinom u Lagrangeovom obliku ili interpolacijski polinom u Newtonovom obliku.

Konstruiranjem n-stupanjskog aproksimiranog polinoma koji prolazi blizu bodova iz zadanog niza podataka. Dakle, aproksimirajuća funkcija izglađuje sav slučajni šum (ili pogreške) koji se može pojaviti tijekom eksperimenta: izmjerene vrijednosti tijekom eksperimenta ovise o slučajnim faktorima koji fluktuiraju prema vlastitim slučajnim zakonima (pogreške mjerenja ili instrumenta, netočnost ili eksperimentalni pogreške). U ovom slučaju, aproksimirajuća funkcija se određuje metodom najmanjih kvadrata.

Metoda najmanjeg kvadrata(u engleskoj literaturi Ordinary Least Squares, OLS) je matematička metoda koja se temelji na definiciji aproksimirajuće funkcije, koja se gradi u najbližoj blizini točaka iz zadanog niza eksperimentalnih podataka. Blizina početne i aproksimirajuće funkcije F(x) određena je numeričkom mjerom, i to: zbroj kvadrata odstupanja eksperimentalnih podataka od aproksimirajuće krivulje F(x) trebao bi biti najmanji.

Krivulja prilagodbe konstruirana metodom najmanjih kvadrata

Koristi se metoda najmanjih kvadrata:

Za rješavanje preodređenih sustava jednadžbi kada broj jednadžbi premašuje broj nepoznanica;

Tražiti rješenje u slučaju običnih (ne predeterminiranih) nelinearnih sustava jednadžbi;

Za aproksimaciju vrijednosti točke nekom aproksimirajućom funkcijom.

Aproksimirajuća funkcija metodom najmanjih kvadrata određena je iz uvjeta minimalnog zbroja kvadrata odstupanja izračunate aproksimacijske funkcije iz zadanog niza eksperimentalnih podataka. Ovaj kriterij metode najmanjih kvadrata zapisuje se kao sljedeći izraz:

Vrijednosti izračunate aproksimirajuće funkcije u čvornim točkama,

Navedeni niz eksperimentalnih podataka na čvornim točkama.

Kvadratni kriterij ima niz "dobrih" svojstava, kao što je diferencijabilnost, pružajući jedinstveno rješenje problema aproksimacije s polinomskim aproksimirajućim funkcijama.

Ovisno o uvjetima problema, aproksimirajuća funkcija je polinom stupnja m

Stupanj aproksimirajuće funkcije ne ovisi o broju čvornih točaka, ali njezina dimenzija uvijek mora biti manja od dimenzije (broja točaka) zadanog niza eksperimentalnih podataka.

∙ Ako je stupanj aproksimirajuće funkcije m=1, tada tabličnu funkciju aproksimiramo ravnom linijom (linearna regresija).

∙ Ako je stupanj aproksimirajuće funkcije m=2, tada tabličnu funkciju aproksimiramo kvadratnom parabolom (kvadratna aproksimacija).

∙ Ako je stupanj aproksimirajuće funkcije m=3, tada tabličnu funkciju aproksimiramo kubičnom parabolom (kubična aproksimacija).

U općem slučaju, kada je potrebno konstruirati aproksimirajući polinom stupnja m za zadane tablične vrijednosti, uvjet za minimalni zbroj kvadrata odstupanja po svim čvornim točkama prepisuje se u sljedećem obliku:

- nepoznati koeficijenti aproksimirajućeg polinoma stupnja m;

Broj navedenih vrijednosti tablice.

Neophodan uvjet za postojanje minimuma funkcije je jednakost nuli njezinih parcijalnih derivacija s obzirom na nepoznate varijable . Kao rezultat, dobivamo sljedeći sustav jednadžbi:

Transformirajmo rezultirajući linearni sustav jednadžbi: otvorimo zagrade i premjestimo slobodne članove na desnu stranu izraza. Kao rezultat toga, rezultirajući sustav linearnih algebarskih izraza bit će napisan u sljedećem obliku:

Ovaj sustav linearnih algebarskih izraza može se prepisati u matričnom obliku:

Kao rezultat, dobiven je sustav linearnih jednadžbi dimenzija m + 1 koji se sastoji od m + 1 nepoznanica. Ovaj se sustav može riješiti bilo kojom metodom za rješavanje linearnih algebarskih jednadžbi (na primjer, Gaussovom metodom). Kao rezultat rješenja naći će se nepoznati parametri aproksimirajuće funkcije koji daju minimalni zbroj kvadrata odstupanja aproksimacijske funkcije od izvornih podataka, t.j. najbolja moguća kvadratna aproksimacija. Treba imati na umu da ako se promijeni čak i jedna vrijednost početnih podataka, svi koeficijenti će promijeniti svoje vrijednosti, budući da su potpuno određeni početnim podacima.

Aproksimacija početnih podataka linearnom ovisnošću

(Linearna regresija)

Kao primjer razmotrimo metodu za određivanje aproksimirajuće funkcije, koja je data kao linearni odnos. U skladu s metodom najmanjih kvadrata, uvjet za minimalni zbroj kvadrata odstupanja zapisuje se na sljedeći način:

Koordinate čvornih točaka tablice;

Nepoznati koeficijenti aproksimirajuće funkcije, koja je zadana kao linearni odnos.

Neophodan uvjet za postojanje minimuma funkcije je jednakost nuli njezinih parcijalnih derivacija s obzirom na nepoznate varijable. Kao rezultat, dobivamo sljedeći sustav jednadžbi:

Transformirajmo rezultirajući linearni sustav jednadžbi.

Rezultirajući sustav linearnih jednadžbi rješavamo. Koeficijenti aproksimirajuće funkcije u analitičkom obliku određuju se na sljedeći način (Cramerova metoda):

Ovi koeficijenti daju konstrukciju linearne aproksimirajuće funkcije u skladu s kriterijem za minimiziranje zbroja kvadrata aproksimirajuće funkcije iz zadanih tabličnih vrijednosti (eksperimentalni podaci).

Algoritam za implementaciju metode najmanjih kvadrata

1. Početni podaci:

S obzirom na niz eksperimentalnih podataka s brojem mjerenja N

Zadan je stupanj aproksimirajućeg polinoma (m).

2. Algoritam izračuna:

2.1. Određuju se koeficijenti za konstruiranje sustava jednadžbi s dimenzijom

Koeficijenti sustava jednadžbi (lijeva strana jednadžbe)

- indeks broja stupca kvadratne matrice sustava jednadžbi

Slobodni članovi sustava linearnih jednadžbi (desna strana jednadžbe)

- indeks broja retka kvadratne matrice sustava jednadžbi

2.2. Formiranje sustava linearnih jednadžbi s dimenzijom .

2.3. Rješenje sustava linearnih jednadžbi za određivanje nepoznatih koeficijenata aproksimirajućeg polinoma stupnja m.

2.4 Određivanje zbroja kvadrata odstupanja aproksimirajućeg polinoma od početnih vrijednosti na svim čvornim točkama

Pronađena vrijednost zbroja kvadrata odstupanja je najmanja moguća.

Približavanje drugim funkcijama

Treba napomenuti da se pri aproksimaciji početnih podataka u skladu s metodom najmanjih kvadrata, ponekad kao aproksimirajuća funkcija koriste logaritamska funkcija, eksponencijalna funkcija i funkcija stepena.

Dnevnik aproksimacije

Razmotrimo slučaj kada je aproksimirajuća funkcija dana logaritamskom funkcijom oblika: