Den har mange applikasjoner, da den tillater en omtrentlig representasjon av en gitt funksjon med andre enklere. LSM kan være ekstremt nyttig for å behandle observasjoner, og det brukes aktivt til å estimere noen mengder basert på resultatene av målinger av andre som inneholder tilfeldige feil. I denne artikkelen lærer du hvordan du implementerer minste kvadraters beregninger i Excel.
Forklaring av problemet ved hjelp av et spesifikt eksempel
Anta at det er to indikatorer X og Y. Ytterligere avhenger Y av X. Siden OLS interesserer oss fra et synspunkt om regresjonsanalyse (i Excel implementeres metodene ved hjelp av innebygde funksjoner), bør vi umiddelbart gå videre til å vurdere en spesifikt problem.
Så la X være butikklokalet til en dagligvarebutikk, målt i kvadratmeter, og Y være den årlige omsetningen, målt i millioner av rubler.
Det kreves å lage en prognose for hvilken omsetning (Y) butikken vil ha dersom den har et eller annet butikkareal. Det er klart at funksjonen Y = f (X) øker, siden hypermarkedet selger flere varer enn boden.
Noen få ord om riktigheten av de første dataene som brukes til prediksjon
La oss si at vi har en tabell bygget ved hjelp av data for n butikker.
I følge matematisk statistikk vil resultatene være mer eller mindre korrekte dersom data på minst 5-6 objekter undersøkes. I tillegg kan ikke "anomale" resultater brukes. Spesielt kan en liten elitebutikk ha en omsetning som er flere ganger større enn omsetningen til store utsalgssteder i "masmarket"-klassen.
Essensen av metoden
Tabelldataene kan avbildes på et kartesisk plan i form av punktene M 1 (x 1, y 1), ... M n (x n, y n). Nå vil løsningen på problemet reduseres til valget av en tilnærmet funksjon y = f (x), som har en graf som passerer så nært som mulig punktene M 1, M 2, .. M n.
Selvfølgelig kan du bruke et polynom i høy grad, men dette alternativet er ikke bare vanskelig å implementere, men også rett og slett feil, siden det ikke vil gjenspeile hovedtrenden som må oppdages. Den mest fornuftige løsningen er å søke etter den rette linjen y = ax + b, som best tilnærmer de eksperimentelle dataene, eller mer presist koeffisientene a og b.
Nøyaktighetsvurdering
Med enhver tilnærming er det spesielt viktig å vurdere nøyaktigheten. La oss betegne med e i forskjellen (avvik) mellom funksjonelle og eksperimentelle verdier for punkt x i, dvs. e i = y i - f (x i).
For å vurdere nøyaktigheten til tilnærmingen kan du selvsagt bruke summen av avvik, dvs. når du velger en rett linje for en omtrentlig representasjon av avhengigheten til X av Y, bør du gi preferanse til den med den minste verdien av sum e i på alle punkter under vurdering. Imidlertid er ikke alt så enkelt, siden det sammen med positive avvik også vil være negative.
Problemet kan løses ved å bruke avviksmoduler eller deres kvadrater. Den siste metoden er den mest brukte. Den brukes på mange områder, inkludert regresjonsanalyse (implementert i Excel ved hjelp av to innebygde funksjoner), og har lenge bevist sin effektivitet.
Minste kvadratiske metode
Excel, som du vet, har en innebygd AutoSum-funksjon som lar deg beregne verdiene til alle verdier som er plassert i det valgte området. Dermed vil ingenting hindre oss i å beregne verdien av uttrykket (e 1 2 + e 2 2 + e 3 2 + ... e n 2).
I matematisk notasjon ser dette slik ut:
Siden beslutningen opprinnelig ble tatt om å tilnærme ved hjelp av en rett linje, har vi:
Oppgaven med å finne den rette linjen som best beskriver den spesifikke avhengigheten av mengdene X og Y kommer ned til å beregne minimum av en funksjon av to variabler:
For å gjøre dette, må du likestille de partielle deriverte med hensyn til de nye variablene a og b til null, og løse et primitivt system som består av to ligninger med 2 ukjente av formen:
Etter noen enkle transformasjoner, inkludert divisjon med 2 og manipulering av summer, får vi:
Ved å løse det, for eksempel ved å bruke Cramers metode, får vi et stasjonært punkt med visse koeffisienter a * og b *. Dette er minimum, dvs. for å forutsi hvilken omsetning en butikk vil ha for et bestemt område, er den rette linjen y = a * x + b * egnet, som er en regresjonsmodell for det aktuelle eksemplet. Selvfølgelig vil det ikke tillate deg å finne det nøyaktige resultatet, men det vil hjelpe deg med å få en ide om hvorvidt det vil lønne seg å kjøpe et bestemt område på butikkkreditt.
Hvordan implementere minste kvadrater i Excel
Excel har en funksjon for å beregne verdier ved å bruke minste kvadrater. Den har følgende form: "TREND" (kjente Y-verdier; kjente X-verdier; nye X-verdier; konstant). La oss bruke formelen for å beregne OLS i Excel på tabellen vår.
For å gjøre dette, skriv inn "="-tegnet i cellen der resultatet av beregningen ved hjelp av minste kvadraters metode i Excel skal vises og velg "TREND" -funksjonen. Fyll ut de aktuelle feltene i vinduet som åpnes, og uthev:
- rekke kjente verdier for Y (i dette tilfellet data for handelsomsetning);
- rekkevidde x 1 , …x n , dvs. størrelsen på butikklokaler;
- både kjente og ukjente verdier av x, som du trenger for å finne ut størrelsen på omsetningen (for informasjon om deres plassering på regnearket, se nedenfor).
I tillegg inneholder formelen den logiske variabelen "Const". Hvis du skriver inn 1 i det tilsvarende feltet, vil dette bety at du skal utføre beregningene, forutsatt at b = 0.
Hvis du trenger å finne ut prognosen for mer enn én x-verdi, bør du ikke trykke "Enter" etter å ha skrevet inn formelen, men du må skrive kombinasjonen "Shift" + "Control" + "Enter" på tastaturet.
Noen funksjoner
Regresjonsanalyse kan være tilgjengelig selv for dummies. Excel-formelen for å forutsi verdien av en rekke ukjente variabler – TREND – kan brukes selv av de som aldri har hørt om minste kvadrater. Det er nok bare å kjenne noen av funksjonene i arbeidet. Spesielt:
- Hvis du ordner rekkevidden av kjente verdier for variabelen y i en rad eller kolonne, vil hver rad (kolonne) med kjente verdier av x bli oppfattet av programmet som en separat variabel.
- Hvis et område med kjent x ikke er spesifisert i TREND-vinduet, vil programmet, når du bruker funksjonen i Excel, behandle det som en matrise bestående av heltall, hvis nummer tilsvarer området med de gitte verdiene til variabel y.
- For å sende ut en matrise med "forutsagte" verdier, må uttrykket for beregning av trenden angis som en matriseformel.
- Hvis nye verdier av x ikke er spesifisert, anser TREND-funksjonen dem som lik de kjente. Hvis de ikke er spesifisert, tas matrise 1 som et argument; 2; 3; 4;…, som er i samsvar med området med allerede spesifiserte parametere y.
- Området som inneholder de nye x-verdiene må ha samme eller flere rader eller kolonner som området som inneholder de gitte y-verdiene. Den må med andre ord være proporsjonal med de uavhengige variablene.
- En matrise med kjente x-verdier kan inneholde flere variabler. Imidlertid, hvis vi snakker om bare én, kreves det at områdene med de gitte verdiene av x og y er proporsjonale. Ved flere variabler er det nødvendig at området med de gitte y-verdiene passer i en kolonne eller en rad.
PREDIKTION funksjon
Implementert ved hjelp av flere funksjoner. En av dem heter "PREDICTION". Det ligner på "TREND", det vil si at det gir resultatet av beregninger med minste kvadraters metode. Imidlertid bare for en X, der verdien av Y er ukjent.
Nå kjenner du formler i Excel for dummies som lar deg forutsi den fremtidige verdien av en bestemt indikator i henhold til en lineær trend.
Som finner den bredeste anvendelsen innen ulike felt av vitenskap og praktisk aktivitet. Dette kan være fysikk, kjemi, biologi, økonomi, sosiologi, psykologi og så videre og så videre. Etter skjebnens vilje må jeg ofte forholde meg til økonomien, og derfor vil jeg i dag arrangere for deg en tur til et fantastisk land kalt Økonometri=) ...Hvordan kan du ikke ha det?! Det er veldig bra der – du må bare bestemme deg! ...Men det du sannsynligvis vil er å lære å løse problemer minste kvadraters metode. Og spesielt flittige lesere vil lære å løse dem ikke bare nøyaktig, men også VELDIG RASK ;-) Men først generell problemstilling+ medfølgende eksempel:
La oss studere indikatorer i et bestemt fagområde som har et kvantitativt uttrykk. Samtidig er det all grunn til å tro at indikatoren er avhengig av indikatoren. Denne antakelsen kan enten være en vitenskapelig hypotese eller basert på grunnleggende sunn fornuft. La oss imidlertid legge vitenskapen til side og utforske mer appetittvekkende områder – nemlig dagligvarebutikker. La oss betegne med:
– butikkareal til en dagligvarebutikk, kvm,
– årlig omsetning for en dagligvarebutikk, millioner rubler.
Det er helt klart at jo større butikkarealet er, desto større blir i de fleste tilfeller omsetningen.
Anta at vi etter å ha utført observasjoner/eksperimenter/beregninger/danser med en tamburin har numeriske data til rådighet: 
Med dagligvarebutikker tror jeg alt er klart: - dette er arealet til den første butikken, - dens årlige omsetning, - arealet til den andre butikken, - dens årlige omsetning, etc. Det er for øvrig slett ikke nødvendig å ha tilgang til klassifisert materiale – en ganske nøyaktig vurdering av handelsomsetningen kan fås v.h.a. matematisk statistikk. La oss imidlertid ikke bli distrahert, det kommersielle spionasjekurset er allerede betalt =)
Tabelldata kan også skrives i form av punkter og avbildes i kjent form Kartesisk system .
La oss svare på et viktig spørsmål: Hvor mange poeng trengs for en kvalitativ studie?
Jo større jo bedre. Minimum akseptabelt sett består av 5-6 poeng. I tillegg, når datamengden er liten, kan ikke "anomale" resultater inkluderes i utvalget. Så for eksempel kan en liten elitebutikk tjene størrelsesordener mer enn "kollegene sine", og dermed forvrenge det generelle mønsteret du trenger å finne!
For å si det veldig enkelt, må vi velge en funksjon, rute som passerer så nærme punktene som mulig 
. Denne funksjonen kalles tilnærmet
(tilnærming - tilnærming) eller teoretisk funksjon
. Generelt sett vises en åpenbar "konkurrent" umiddelbart her - et høygradspolynom, hvis graf går gjennom ALLE punkter. Men dette alternativet er komplisert og ofte rett og slett feil. (siden grafen vil "løkke" hele tiden og reflekterer hovedtrenden dårlig).
Dermed må den søkte funksjonen være ganske enkel og samtidig reflektere avhengigheten tilstrekkelig. Som du kanskje gjetter, kalles en av metodene for å finne slike funksjoner minste kvadraters metode. Først, la oss se på essensen i generelle termer. La noen funksjoner tilnærme eksperimentelle data: 
Hvordan evaluere nøyaktigheten av denne tilnærmingen? La oss også beregne forskjellene (avvikene) mellom de eksperimentelle og funksjonelle verdiene (vi studerer tegningen). Den første tanken som dukker opp er å anslå hvor stor summen er, men problemet er at forskjellene kan være negative (For eksempel, 
)
og avvik som følge av slik summering vil oppheve hverandre. Derfor, som et estimat for nøyaktigheten av tilnærmingen, ber det om å ta summen moduler avvik:
eller kollapset: (i tilfelle noen ikke vet: – dette er sumikonet, og – en hjelpevariabel for "teller", som tar verdier fra 1 til ).
Ved å tilnærme eksperimentelle punkter med forskjellige funksjoner vil vi oppnå forskjellige verdier, og åpenbart, der denne summen er mindre, er denne funksjonen mer nøyaktig.
En slik metode finnes og den kalles minste modul metoden. Men i praksis har det blitt mye mer utbredt minste kvadrat-metoden, der mulige negative verdier elimineres ikke av modulen, men ved å kvadrere avvikene:
, hvoretter innsatsen er rettet mot å velge en funksjon slik at summen av kvadrerte avvik 
var så liten som mulig. Egentlig er det her navnet på metoden kommer fra.
Og nå kommer vi tilbake til et annet viktig poeng: som nevnt ovenfor skal den valgte funksjonen være ganske enkel - men det er også mange slike funksjoner: lineær , hyperbolsk, eksponentiell, logaritmisk, kvadratisk etc. Og her vil jeg selvfølgelig umiddelbart "redusere aktivitetsfeltet." Hvilken klasse funksjoner bør jeg velge for forskning? En primitiv, men effektiv teknikk:
– Den enkleste måten er å skildre punkter 
på tegningen og analyser deres plassering. Hvis de har en tendens til å løpe i en rett linje, bør du se etter ligning av en linje 
med optimale verdier og . Oppgaven er med andre ord å finne SLIKE koeffisienter slik at summen av kvadrerte avvik blir minst.
Hvis punktene er plassert, for eksempel langs overdrivelse, så er det åpenbart klart at den lineære funksjonen vil gi en dårlig tilnærming. I dette tilfellet ser vi etter de mest "gunstige" koeffisientene for hyperbelligningen 
– de som gir minimumsummen av kvadrater 
.
Legg nå merke til at i begge tilfeller er det snakk om funksjoner til to variabler, hvis argumenter er søkte avhengighetsparametere:
Og egentlig må vi løse et standardproblem - finn minimumsfunksjon av to variabler.
La oss huske eksempelet vårt: anta at "butikk"-punkter har en tendens til å være plassert i en rett linje, og det er all grunn til å tro at lineær avhengighet omsetning fra butikklokaler. La oss finne SLIKE koeffisientene "a" og "være" slik at summen av kvadrerte avvik 
var den minste. Alt er som vanlig - først 1. ordens partielle derivater. I følge linearitetsregel Du kan skille rett under sum-ikonet: 
Hvis du vil bruke denne informasjonen til et essay eller semesteroppgave, vil jeg være veldig takknemlig for lenken i kildelisten, du finner slike detaljerte beregninger noen få steder: 
La oss lage et standard system: 
Vi reduserer hver ligning med "to", og i tillegg "deler vi opp" summene: 
Merk
: analyser uavhengig hvorfor "a" og "be" kan tas ut utenfor sumikonet. Forresten, formelt sett kan dette gjøres med summen
La oss omskrive systemet i "anvendt" form: 
hvoretter algoritmen for å løse problemet vårt begynner å dukke opp:
Kjenner vi koordinatene til punktene? Vi vet. Beløp 
kan vi finne den? Enkelt. La oss gjøre det enkleste system av to lineære ligninger i to ukjente("a" og "be"). Vi løser systemet f.eks. Cramers metode, som et resultat av dette får vi et stasjonært punkt. Sjekker tilstrekkelig tilstand for et ekstremum, kan vi bekrefte at funksjonen på dette tidspunktet 
når nøyaktig minimum. Sjekken innebærer tilleggsberegninger og derfor vil vi legge den bak kulissene (om nødvendig kan den manglende rammen sees). Vi trekker den endelige konklusjonen:
Funksjon 
den beste måten (i det minste sammenlignet med en hvilken som helst annen lineær funksjon) bringer eksperimentelle poeng nærmere 
. Grovt sett passerer grafen så nært disse punktene som mulig. I tradisjon økonometri den resulterende tilnærmelsesfunksjonen kalles også paret lineær regresjonsligning
.
Problemet som vurderes er av stor praktisk betydning. I vår eksempelsituasjon, Eq. 
lar deg forutsi hvilken handelsomsetning ("Igrek") butikken vil ha til en eller annen verdi av salgsarealet (en eller annen betydning av "x"). Ja, den resulterende prognosen vil bare være en prognose, men i mange tilfeller vil den vise seg å være ganske nøyaktig.
Jeg vil analysere bare ett problem med "ekte" tall, siden det ikke er noen vanskeligheter med det - alle beregninger er på nivå med 7.-8. klasse skolepensum. I 95 prosent av tilfellene vil du bli bedt om å finne bare en lineær funksjon, men helt på slutten av artikkelen vil jeg vise at det ikke er vanskeligere å finne likningene til den optimale hyperbelen, eksponentialfunksjonen og noen andre funksjoner.
Det gjenstår faktisk bare å distribuere de lovede godsakene – slik at du kan lære å løse slike eksempler ikke bare nøyaktig, men også raskt. Vi studerer standarden nøye:
Oppgave
Som et resultat av å studere forholdet mellom to indikatorer, ble følgende tallpar oppnådd: 
Bruk minste kvadraters metode, finn den lineære funksjonen som best tilnærmer empirien (opplevde) data. Lag en tegning som du kan konstruere eksperimentelle punkter på og en graf over den tilnærmede funksjonen i et kartesisk rektangulært koordinatsystem 
. Finn summen av kvadrerte avvik mellom empiriske og teoretiske verdier. Finn ut om funksjonen ville vært bedre (fra minste kvadraters synspunkt) bringe eksperimentelle poeng nærmere.
Vær oppmerksom på at "x"-betydningene er naturlige, og dette har en karakteristisk meningsfull betydning, som jeg vil snakke om litt senere; men de kan selvfølgelig også være brøkdeler. I tillegg, avhengig av innholdet i en bestemt oppgave, kan både "X" og "game" verdier være helt eller delvis negative. Vel, vi har fått en "ansiktsløs" oppgave, og vi begynner på den løsning:
Vi finner koeffisientene til den optimale funksjonen som en løsning på systemet: 
For mer kompakt registrering kan "teller"-variabelen utelates, siden det allerede er klart at summeringen utføres fra 1 til .
Det er mer praktisk å beregne de nødvendige beløpene i tabellform: 
Beregninger kan utføres på en mikrokalkulator, men det er mye bedre å bruke Excel - både raskere og uten feil; se en kort video:
Dermed får vi følgende system:
Her kan du gange den andre ligningen med 3 og trekk 2. fra 1. ligning ledd for ledd. Men dette er flaks - i praksis er systemer ofte ikke en gave, og i slike tilfeller sparer det Cramers metode:
, som betyr at systemet har en unik løsning.
La oss sjekke. Jeg forstår at du ikke vil, men hvorfor hoppe over feil der de absolutt ikke kan gå glipp av? La oss erstatte den funnet løsningen på venstre side av hver likning av systemet:
Høyresidene av de tilsvarende ligningene oppnås, noe som betyr at systemet er løst riktig.
Dermed vil den ønskede tilnærmelsesfunksjonen: – fra alle lineære funksjoner Det er hun som best tilnærmer de eksperimentelle dataene.
I motsetning til rett
avhengighet av butikkens omsetning på sitt område, er den funnet avhengighet omvendt
(prinsippet "jo mer, jo mindre"), og dette faktum avsløres umiddelbart av det negative skråningen. Funksjon 
forteller oss at med en økning i en viss indikator med 1 enhet, synker verdien av den avhengige indikatoren gjennomsnitt med 0,65 enheter. Som de sier, jo høyere pris på bokhvete, jo mindre selges den.
For å plotte grafen til den tilnærmede funksjonen finner vi dens to verdier:
og utfør tegningen: 
Den konstruerte rette linjen kalles trendlinje
(nemlig en lineær trendlinje, dvs. i det generelle tilfellet er en trend ikke nødvendigvis en rett linje). Alle er kjent med uttrykket "å være i trend", og jeg tror at dette begrepet ikke trenger ytterligere kommentarer.
La oss beregne summen av kvadrerte avvik 
mellom empiriske og teoretiske verdier. Geometrisk er dette summen av kvadratene av lengdene til "bringebær"-segmentene (hvorav to er så små at de ikke engang er synlige).
La oss oppsummere beregningene i en tabell: 
Igjen, de kan gjøres manuelt; i tilfelle vil jeg gi et eksempel for det første punktet: 
men det er mye mer effektivt å gjøre det på den allerede kjente måten:
Vi gjentar nok en gang: Hva er meningen med det oppnådde resultatet? Fra alle lineære funksjoner y funksjon 
indikatoren er den minste, det vil si i sin familie er den den beste tilnærmingen. Og her, forresten, er det endelige spørsmålet om problemet ikke tilfeldig: hva om den foreslåtte eksponentielle funksjonen 
ville det vært bedre å bringe de eksperimentelle punktene nærmere?
La oss finne den tilsvarende summen av kvadrerte avvik - for å skille, vil jeg betegne dem med bokstaven "epsilon". Teknikken er nøyaktig den samme: 
Og igjen, for sikkerhets skyld, beregningene for 1. poeng: 
I Excel bruker vi standardfunksjonen EXP (syntaks finner du i Excel Hjelp).
Konklusjon: , som betyr at eksponentialfunksjonen tilnærmer forsøkspunktene dårligere enn en rett linje 
.
Men her skal det bemerkes at "verre" er betyr ikke ennå, hva er galt. Nå har jeg bygget en graf av denne eksponentialfunksjonen – og den passerer også nærme punktene 
– så mye at uten analytisk forskning er det vanskelig å si hvilken funksjon som er mer nøyaktig.
Dette avslutter løsningen, og jeg kommer tilbake til spørsmålet om naturverdiene til argumentet. I ulike studier, vanligvis økonomiske eller sosiologiske, brukes naturlige "X'er" til å telle måneder, år eller andre like tidsintervaller. Tenk for eksempel på følgende problem.
Approksimasjon av eksperimentelle data er en metode basert på å erstatte eksperimentelt innhentede data med en analytisk funksjon som passerer nærmest eller sammenfaller på knutepunkter med de opprinnelige verdiene (data innhentet under et eksperiment eller eksperiment). For øyeblikket er det to måter å definere en analytisk funksjon på:
Ved å konstruere et n-graders interpolasjonspolynom som passerer direkte gjennom alle punkter en gitt datamatrise. I dette tilfellet presenteres approksimasjonsfunksjonen i form av: et interpolasjonspolynom på lagrangeform eller et interpolasjonspolynom på newtonform.
Ved å konstruere et n-graders tilnærmet polynom som passerer i umiddelbar nærhet av punkter fra en gitt datamatrise. Dermed jevner den tilnærmede funksjonen ut all tilfeldig støy (eller feil) som kan oppstå under eksperimentet: de målte verdiene under eksperimentet avhenger av tilfeldige faktorer som svinger i henhold til deres egne tilfeldige lover (måle- eller instrumentfeil, unøyaktighet eller eksperimentelle feil). I dette tilfellet bestemmes den tilnærmede funksjonen ved å bruke minste kvadraters metode.
Minste kvadratiske metode(i den engelske litteraturen Ordinary Least Squares, OLS) er en matematisk metode basert på å bestemme en tilnærmet funksjon som er konstruert i nærmeste nærhet til punkter fra en gitt rekke eksperimentelle data. Nærheten til de opprinnelige og approksimerende funksjonene F(x) bestemmes av et numerisk mål, nemlig: summen av kvadrerte avvik av eksperimentelle data fra den approksimerende kurven F(x) skal være den minste.
Tilnærmingskurve konstruert ved bruk av minste kvadraters metode
Minste kvadraters metode brukes:
Å løse overbestemte ligningssystemer når antall ligninger overstiger antall ukjente;
Å finne en løsning i tilfellet med vanlige (ikke overbestemte) ikke-lineære ligningssystemer;
For å tilnærme punktverdier med en tilnærmet funksjon.
Tilnærmingsfunksjonen ved bruk av minste kvadraters metode bestemmes fra betingelsen for minimumsummen av kvadrerte avvik til den beregnede tilnærmelsesfunksjonen fra en gitt rekke eksperimentelle data. Dette kriteriet for minste kvadraters metode er skrevet som følgende uttrykk:
Verdiene til den beregnede tilnærmede funksjonen ved knutepunktene,
En gitt rekke eksperimentelle data ved nodalpunkter.
Det kvadratiske kriteriet har en rekke "gode" egenskaper, for eksempel differensierbarhet, og gir en unik løsning på tilnærmingsproblemet med polynomiske approksimasjonsfunksjoner.
Avhengig av forholdene til problemet, er den tilnærmede funksjonen et polynom av grad m
Graden av den tilnærmede funksjonen avhenger ikke av antall knutepunkter, men dens dimensjon må alltid være mindre enn dimensjonen (antall punkter) til en gitt eksperimentell datamatrise.
∙ Hvis graden av approksimasjonsfunksjonen er m=1, så tilnærmer vi tabellfunksjonen med en rett linje (lineær regresjon).
∙ Hvis graden av tilnærmingsfunksjonen er m=2, så tilnærmer vi tabellfunksjonen med en kvadratisk parabel (kvadratisk tilnærming).
∙ Hvis graden av approksimasjonsfunksjonen er m=3, så tilnærmer vi tabellfunksjonen med en kubisk parabel (kubisk tilnærming).
I det generelle tilfellet, når det er nødvendig å konstruere et tilnærmet polynom av grad m for gitte tabellverdier, omskrives betingelsen for minimum av summen av kvadrerte avvik over alle nodalpunkter i følgende form:
- ukjente koeffisienter for det tilnærmede polynomet av grad m;
Antall tabellverdier spesifisert.
En nødvendig betingelse for eksistensen av et minimum av en funksjon er likheten til null av dens partielle deriverte med hensyn til ukjente variabler . Som et resultat får vi følgende ligningssystem:
La oss transformere det resulterende lineære likningssystemet: åpne parentesene og flytt de frie leddene til høyre side av uttrykket. Som et resultat vil det resulterende systemet med lineære algebraiske uttrykk skrives i følgende form:
Dette systemet med lineære algebraiske uttrykk kan skrives om i matriseform:
Som et resultat ble det oppnådd et system av lineære ligninger med dimensjon m+1, som består av m+1 ukjente. Dette systemet kan løses ved å bruke hvilken som helst metode for å løse lineære algebraiske ligninger (for eksempel Gauss-metoden). Som et resultat av løsningen vil det bli funnet ukjente parametere for approksimeringsfunksjonen som gir minimumsummen av kvadrerte avvik til approksimeringsfunksjonen fra de opprinnelige dataene, dvs. best mulig kvadratisk tilnærming. Det bør huskes at hvis til og med én verdi av kildedataene endres, vil alle koeffisienter endre verdiene, siden de er fullstendig bestemt av kildedataene.
Tilnærming av kildedata ved lineær avhengighet
(lineær regresjon)
Som et eksempel, la oss vurdere teknikken for å bestemme den tilnærmede funksjonen, som er spesifisert i form av en lineær avhengighet. I samsvar med minste kvadraters metode skrives betingelsen for minimum av summen av kvadrerte avvik i følgende form:
Koordinater til tabellnoder;
Ukjente koeffisienter for den tilnærmede funksjonen, som er spesifisert som en lineær avhengighet.
En nødvendig betingelse for eksistensen av et minimum av en funksjon er lik null av dens partielle deriverte med hensyn til ukjente variabler. Som et resultat får vi følgende ligningssystem:
La oss transformere det resulterende lineære likningssystemet.
Vi løser det resulterende systemet med lineære ligninger. Koeffisientene til den tilnærmede funksjonen i analytisk form bestemmes som følger (Cramers metode):
Disse koeffisientene sikrer konstruksjonen av en lineær tilnærmingsfunksjon i samsvar med kriteriet om å minimere summen av kvadrater av den tilnærmede funksjonen fra de gitte tabellverdiene (eksperimentelle data).
Algoritme for implementering av minste kvadraters metode
1. Opprinnelige data:
En rekke eksperimentelle data med antall målinger N er spesifisert
Graden av det tilnærmede polynomet (m) er spesifisert
2. Beregningsalgoritme:
2.1. Koeffisientene bestemmes for å konstruere et likningssystem med dimensjoner
Koeffisienter til ligningssystemet (venstre side av ligningen)
- indeks av kolonnenummeret til kvadratmatrisen til ligningssystemet
Frie ledd i et system med lineære ligninger (høyre side av ligningen)
- indeks for radnummeret til kvadratmatrisen til ligningssystemet
2.2. Dannelse av et system av lineære ligninger med dimensjon .
2.3. Løse et system med lineære ligninger for å bestemme de ukjente koeffisientene til et tilnærmet polynom med grad m.
2.4. Bestemmelse av summen av kvadrerte avvik av det tilnærmede polynomet fra de opprinnelige verdiene ved alle nodalpunkter
Den funnet verdien av summen av kvadrerte avvik er minimum mulig.
Tilnærming ved hjelp av andre funksjoner
Det skal bemerkes at når man tilnærmer de opprinnelige dataene i henhold til minste kvadraters metode, brukes den logaritmiske funksjonen, eksponentialfunksjonen og potensfunksjonen noen ganger som tilnærmingsfunksjonen.
Logaritmisk tilnærming
La oss vurdere tilfellet når den tilnærmede funksjonen er gitt av en logaritmisk funksjon av formen:
Essensen av minste kvadraters metode er ved å finne parametrene til en trendmodell som best beskriver utviklingstendensen til ethvert tilfeldig fenomen i tid eller rom (en trend er en linje som karakteriserer tendensen til denne utviklingen). Oppgaven med minste kvadraters metode (LSM) kommer ned til å finne ikke bare en trendmodell, men å finne den beste eller optimale modellen. Denne modellen vil være optimal hvis summen av kvadratavvik mellom de observerte faktiske verdiene og de tilsvarende beregnede trendverdiene er minimal (minst):
hvor er kvadratavviket mellom den observerte faktiske verdien
og den tilsvarende beregnede trendverdien,
Den faktiske (observerte) verdien av fenomenet som studeres,
Den beregnede verdien av trendmodellen,
Antall observasjoner av fenomenet som studeres.
MNC brukes ganske sjelden alene. Som regel brukes det oftest bare som en nødvendig teknisk teknikk i korrelasjonsstudier. Det bør huskes at informasjonsgrunnlaget til OLS bare kan være en pålitelig statistisk serie, og antallet observasjoner bør ikke være mindre enn 4, ellers kan utjevningsprosedyrene til OLS miste sunn fornuft.
MNC-verktøysettet koker ned til følgende prosedyrer:
Første prosedyre. Det viser seg om det i det hele tatt er noen tendens til å endre den resulterende attributten når det valgte faktor-argumentet endres, eller med andre ord, er det en sammenheng mellom " på "Og" X ».
Andre prosedyre. Det bestemmes hvilken linje (bane) som best kan beskrive eller karakterisere denne trenden.
Tredje prosedyre.
Eksempel. La oss si at vi har informasjon om gjennomsnittlig solsikkeavling for gården som studeres (tabell 9.1).
Tabell 9.1
|
Observasjonsnummer |
||||||||||
|
Produktivitet, c/ha |
Siden teknologinivået i solsikkeproduksjonen i vårt land har holdt seg praktisk talt uendret de siste 10 årene, betyr det at svingninger i utbytte i løpet av den analyserte perioden tilsynelatende var veldig avhengige av svingninger i vær og klimatiske forhold. Er dette virkelig sant?
Første OLS-prosedyre. Hypotesen om eksistensen av en trend i solsikkeutbytteendringer avhengig av endringer i vær og klimatiske forhold over de analyserte 10 årene er testet.
I dette eksemplet, for " y "det er tilrådelig å ta solsikkeutbyttet, og for" x » – nummer på det observerte året i den analyserte perioden. Tester hypotesen om eksistensen av ethvert forhold mellom " x "Og" y "kan gjøres på to måter: manuelt og ved hjelp av dataprogrammer. Selvfølgelig, med tilgjengeligheten av datateknologi, kan dette problemet løses av seg selv. Men for å bedre forstå MNC-verktøyene, er det tilrådelig å teste hypotesen om eksistensen av et forhold mellom " x "Og" y » manuelt, når bare en penn og en vanlig kalkulator er for hånden. I slike tilfeller kontrolleres hypotesen om eksistensen av en trend best visuelt ved plasseringen av det grafiske bildet av den analyserte serien av dynamikk - korrelasjonsfeltet:
Korrelasjonsfeltet i vårt eksempel er plassert rundt en sakte økende linje. Dette i seg selv indikerer eksistensen av en viss trend i endringer i solsikkeutbyttet. Det er umulig å snakke om tilstedeværelsen av noen tendens bare når korrelasjonsfeltet ser ut som en sirkel, en sirkel, en strengt vertikal eller strengt horisontal sky, eller består av kaotisk spredte punkter. I alle andre tilfeller er hypotesen om eksistensen av et forhold mellom " x "Og" y ", og fortsett forskning.
Andre OLS-prosedyre. Det bestemmes hvilken linje (bane) som best kan beskrive eller karakterisere trenden med endringer i solsikkeavling over den analyserte perioden.
Hvis du har datateknologi, skjer valget av den optimale trenden automatisk. Ved "manuell" behandling utføres valget av den optimale funksjonen, som regel visuelt - ved plasseringen av korrelasjonsfeltet. Det vil si at basert på typen graf, velges ligningen til linjen som passer best til den empiriske trenden (den faktiske banen).
Som kjent er det i naturen et stort utvalg funksjonelle avhengigheter, så det er ekstremt vanskelig å visuelt analysere selv en liten del av dem. Heldigvis, i realøkonomisk praksis, kan de fleste relasjoner beskrives ganske nøyaktig enten med en parabel, eller en hyperbel, eller en rett linje. I denne forbindelse, med det "manuelle" alternativet for å velge den beste funksjonen, kan du begrense deg til bare disse tre modellene.
|
Hyperbel: |
||
|
|
|
Andre ordens parabel: 
:
Det er lett å se at i vårt eksempel er trenden i solsikkeavlingsendringer over de analyserte 10 årene best karakterisert av en rett linje, så regresjonsligningen vil være ligningen til en rett linje.
Tredje prosedyre. Parametrene til regresjonsligningen som karakteriserer denne linjen beregnes, eller med andre ord, det bestemmes en analytisk formel som beskriver den beste trendmodellen.
Å finne verdiene til parametrene til regresjonsligningen, i vårt tilfelle parametrene og , er kjernen i OLS. Denne prosessen kommer ned til å løse et system med normale ligninger.
(9.2)
Dette ligningssystemet kan løses ganske enkelt ved Gauss-metoden. La oss huske at som et resultat av løsningen, i vårt eksempel, er verdiene til parametrene og funnet. Dermed vil den funnet regresjonsligningen ha følgende form: 
Minste kvadratiske metode
Minste kvadratiske metode ( OLS, OLS, Vanlige minste kvadrater) - en av de grunnleggende metodene for regresjonsanalyse for å estimere ukjente parametere for regresjonsmodeller ved å bruke prøvedata. Metoden er basert på å minimere summen av kvadrater av regresjonsrester.
Det skal bemerkes at selve minste kvadraters metode kan kalles en metode for å løse et problem i et hvilket som helst område hvis løsningen ligger i eller tilfredsstiller et eller annet kriterium for å minimere kvadratsummen av noen funksjoner til de nødvendige variablene. Derfor kan minste kvadraters metode også brukes for en omtrentlig representasjon (tilnærming) av en gitt funksjon ved hjelp av andre (enklere) funksjoner, når man finner et sett med mengder som tilfredsstiller ligninger eller begrensninger, hvis antall overstiger antallet av disse mengdene , etc.
Essensen av MNC
La en (parametrisk) modell av et sannsynlighetsforhold (regresjon) mellom den (forklarte) variabelen gis y og mange faktorer (forklarende variabler) x
hvor er vektoren av ukjente modellparametere
- tilfeldig modellfeil.La det også være prøveobservasjoner av verdiene til disse variablene. La være observasjonsnummeret (). Deretter er verdiene til variablene i den th observasjonen. Deretter, for gitte verdier av parametere b, er det mulig å beregne de teoretiske (modell) verdiene til den forklarte variabelen y:
Størrelsen på residuene avhenger av verdiene til parameterne b.
Essensen av minste kvadraters metode (vanlig, klassisk) er å finne parametere b som summen av kvadratene til residualene (eng. Restsum av kvadrater) vil være minimal:
I det generelle tilfellet kan dette problemet løses ved hjelp av numeriske optimaliseringsmetoder (minimering). I dette tilfellet snakker de om ikke-lineære minste kvadrater(NLS eller NLLS - engelsk) Ikke-lineære minste kvadrater). I mange tilfeller er det mulig å få en analytisk løsning. For å løse minimeringsproblemet, er det nødvendig å finne stasjonære punkter av funksjonen ved å differensiere den med hensyn til de ukjente parameterne b, likestille de deriverte til null og løse det resulterende ligningssystemet:
Hvis modellens tilfeldige feil er normalfordelt, har samme varians og er ukorrelerte, er OLS-parameterestimater de samme som maksimal sannsynlighetsestimater (MLM).
OLS når det gjelder en lineær modell
La regresjonsavhengigheten være lineær:
La y er en kolonnevektor av observasjoner av den forklarte variabelen, og er en matrise av faktorobservasjoner (radene i matrisen er vektorene av faktorverdier i en gitt observasjon, kolonnene er vektoren av verdier for en gitt faktor i alle observasjoner). Matriserepresentasjonen av den lineære modellen er:
Da vil vektoren for estimater for den forklarte variabelen og vektoren for regresjonsresidier være like
Følgelig vil summen av kvadrater av regresjonsrestene være lik
Ved å differensiere denne funksjonen med hensyn til vektoren av parametere og likestille de deriverte til null, får vi et system av ligninger (i matriseform):
.Løsningen av dette ligningssystemet gir den generelle formelen for minste kvadraters estimater for en lineær modell:
For analytiske formål er sistnevnte representasjon av denne formelen nyttig. Hvis i en regresjonsmodell dataene sentrert, så i denne representasjonen har den første matrisen betydningen av en samvariasjonsmatrise av faktorer, og den andre er en vektor av kovarianser av faktorer med den avhengige variabelen. Hvis i tillegg dataene også er normalisert til MSE (det vil si til slutt standardisert), så har den første matrisen betydningen av en prøvekorrelasjonsmatrise av faktorer, den andre vektoren - en vektor av prøvekorrelasjoner av faktorer med den avhengige variabelen.
En viktig egenskap ved OLS-estimater for modeller med konstant- linjen til den konstruerte regresjonen går gjennom tyngdepunktet til prøvedataene, det vil si at likheten er oppfylt:
Spesielt i det ekstreme tilfellet, når den eneste regressoren er en konstant, finner vi at OLS-estimatet for den eneste parameteren (konstanten i seg selv) er lik gjennomsnittsverdien til den forklarte variabelen. Det vil si at det aritmetiske gjennomsnittet, kjent for sine gode egenskaper fra lovene for store tall, også er et minstekvadrat-estimat - det tilfredsstiller kriteriet om minimumsummen av kvadrerte avvik fra det.
Eksempel: enkleste (parvis) regresjon
I tilfelle av paret lineær regresjon, er beregningsformlene forenklet (du kan klare deg uten matrisealgebra):
Egenskaper til OLS-estimatorer
Først av alt merker vi at for lineære modeller er OLS-estimater lineære estimater, som følger av formelen ovenfor. For objektive OLS-estimater er det nødvendig og tilstrekkelig å oppfylle den viktigste betingelsen for regresjonsanalyse: den matematiske forventningen om en tilfeldig feil, betinget av faktorene, må være lik null. Spesielt denne betingelsen er oppfylt hvis
- den matematiske forventningen til tilfeldige feil er null, og
- faktorer og tilfeldige feil er uavhengige tilfeldige variabler.
Den andre betingelsen - tilstanden til eksogenitet av faktorer - er grunnleggende. Hvis denne egenskapen ikke er oppfylt, kan vi anta at nesten alle estimater vil være ekstremt utilfredsstillende: de vil ikke engang være konsistente (det vil si at selv en veldig stor mengde data ikke tillater oss å oppnå estimater av høy kvalitet i dette tilfellet ). I det klassiske tilfellet gjøres det en sterkere antagelse om faktorenes determinisme, i motsetning til en tilfeldig feil, som automatisk betyr at eksogenitetsbetingelsen er oppfylt. I det generelle tilfellet, for konsistensen av estimatene, er det tilstrekkelig å tilfredsstille eksogenitetsbetingelsen sammen med konvergensen av matrisen til en ikke-singular matrise når prøvestørrelsen øker til uendelig.
For at, i tillegg til konsistens og upartiskhet, estimater av (vanlige) minste kvadrater også skal være effektive (de beste i klassen av lineære upartiske estimater), må ytterligere egenskaper for tilfeldig feil oppfylles:
Disse forutsetningene kan formuleres for kovariansmatrisen til den tilfeldige feilvektoren
En lineær modell som tilfredsstiller disse betingelsene kalles klassisk. OLS-estimater for klassisk lineær regresjon er objektive, konsistente og de mest effektive estimatene i klassen av alle lineære upartiske estimater (i engelsk litteratur brukes forkortelsen noen ganger BLÅ (Beste lineære ugrunnlagde estimator) - det beste lineære objektive estimatet; i russisk litteratur er Gauss-Markov-teoremet oftere sitert). Som det er lett å vise, vil kovariansmatrisen til vektoren for koeffisientestimater være lik:
Generalisert OLS
Minste kvadraters metode gir bred generalisering. I stedet for å minimere summen av kvadrater av residualene, kan man minimere en positiv bestemt kvadratisk form av vektoren av residualer, hvor er en symmetrisk positiv bestemt vektmatrise. Konvensjonelle minste kvadrater er et spesielt tilfelle av denne tilnærmingen, der vektmatrisen er proporsjonal med identitetsmatrisen. Som kjent fra teorien om symmetriske matriser (eller operatorer), er det for slike matriser en dekomponering. Følgelig kan den spesifiserte funksjonelle representeres som følger, det vil si at denne funksjonelle kan representeres som summen av kvadratene til noen transformerte "rester". Dermed kan vi skille en klasse av minste kvadraters metoder - LS metoder (minste kvadrater).
Det er bevist (Aitkens teorem) at for en generalisert lineær regresjonsmodell (der ingen restriksjoner er pålagt kovariansmatrisen av tilfeldige feil), er de mest effektive (i klassen av lineære objektive estimater) de såkalte estimatene. generaliserte minste kvadrater (GLS – generaliserte minste kvadrater)- LS-metode med en vektmatrise lik den inverse kovariansmatrisen av tilfeldige feil: .
Det kan vises at formelen for GLS-estimater av parametrene til en lineær modell har formen
Kovariansmatrisen til disse estimatene vil følgelig være lik
Faktisk ligger essensen av OLS i en viss (lineær) transformasjon (P) av de opprinnelige dataene og bruken av vanlig OLS på de transformerte dataene. Hensikten med denne transformasjonen er at for de transformerte dataene tilfredsstiller de tilfeldige feilene allerede de klassiske forutsetningene.
Vektet OLS
Når det gjelder en diagonal vektmatrise (og derfor en kovariansmatrise av tilfeldige feil), har vi de såkalte vektede minste kvadratene (WLS). I dette tilfellet minimeres den vektede summen av kvadrater av modellresidualene, det vil si at hver observasjon mottar en "vekt" som er omvendt proporsjonal med variansen til den tilfeldige feilen i denne observasjonen: . Faktisk transformeres dataene ved å vekte observasjonene (dele med en mengde proporsjonal med det estimerte standardavviket til de tilfeldige feilene), og vanlig OLS brukes på de vektede dataene.
Noen spesielle tilfeller av bruk av MNC i praksis
Tilnærming av lineær avhengighet
La oss vurdere tilfellet når, som et resultat av å studere avhengigheten av en viss skalar mengde av en viss skalar mengde (Dette kan for eksempel være spenningens avhengighet av strømstyrken: , hvor er en konstant verdi, motstanden til lederen), målinger av disse mengdene ble utført, som et resultat av disse verdiene og deres tilsvarende verdier. Måledataene skal registreres i en tabell.
Bord. Måleresultater.
| Mål nr. | ||
|---|---|---|
| 1 | ||
| 2 | ||
| 3 | ||
| 4 | ||
| 5 | ||
| 6 |
Spørsmålet er: hvilken verdi av koeffisienten kan velges for å best beskrive avhengigheten? I henhold til minste kvadraters metode skal denne verdien være slik at summen av kvadrerte avvik av verdiene fra verdiene
var minimal
Summen av kvadrerte avvik har ett ekstremum - et minimum, som lar oss bruke denne formelen. La oss finne verdien av koeffisienten fra denne formelen. For å gjøre dette transformerer vi venstre side som følger:
Den siste formelen lar oss finne verdien av koeffisienten, som er det som kreves i oppgaven.
Historie
Helt til begynnelsen av 1800-tallet. forskere hadde ikke visse regler for å løse et ligningssystem der antallet ukjente er mindre enn antallet ligninger; Frem til den tid ble det brukt private teknikker som var avhengige av type ligninger og av kalkulatorenes vidd, og derfor kom forskjellige kalkulatorer, basert på samme observasjonsdata, til forskjellige konklusjoner. Gauss (1795) var den første som brukte metoden, og Legendre (1805) oppdaget og publiserte den uavhengig under sitt moderne navn (fransk. Méthode des moindres quarrés ). Laplace relaterte metoden til sannsynlighetsteori, og den amerikanske matematikeren Adrain (1808) vurderte dens sannsynlighetsteoretiske anvendelser. Metoden ble utbredt og forbedret ved videre forskning av Encke, Bessel, Hansen og andre.
Alternativ bruk av OLS
Ideen om minste kvadraters metode kan også brukes i andre tilfeller som ikke er direkte relatert til regresjonsanalyse. Faktum er at summen av kvadrater er et av de vanligste nærhetsmålene for vektorer (euklidisk metrikk i endelig-dimensjonale rom).
En applikasjon er "løsningen" av systemer med lineære ligninger der antallet ligninger er større enn antallet variabler
hvor matrisen ikke er kvadratisk, men rektangulær av størrelse.
Et slikt ligningssystem har i det generelle tilfellet ingen løsning (hvis rangeringen faktisk er større enn antall variabler). Derfor kan dette systemet bare "løses" i betydningen å velge en slik vektor for å minimere "avstanden" mellom vektorene og . For å gjøre dette kan du bruke kriteriet om å minimere summen av kvadrater av forskjellene mellom venstre og høyre side av systemligningene, det vil si. Det er lett å vise at løsning av dette minimeringsproblemet fører til løsning av følgende ligningssystem
Laster inn...
