Классический метод наименьших квадратов

 
 
 
 
 
 
 
 

     Классический  метод наименьших квадратов. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

     Содержание.

     Введение…………………………………………………………………….3

     1. Процедура оценки параметров  по методу наименьших квадратов…..5

     2. Свойства оценок МНК…………………………………………………..9

     Заключение………………………………………………………………..21

     Список  использованной литературы…………………………………….22 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

     Введение.

     Эконометрика (econometrics) — наука о применении статистических и математических методов  в экономическом анализе для  проверки правильности экономических  теоретических моделей и способов решения экономических проблем. Эконометрика позволяет расширить инструментарий построения статистических моделей экономических показателей.

     В этой связи можно сказать, что  основная задача эконометрики состоит  в построении моделей специфического типа (эконометрических моделей), описывающих взаимообусловленное развитие социально-экономических процессов, на основе информации, отражающей распределение их уровней во времени или (и) в пространстве однородных объектов. Эти модели используются в анализе и прогнозировании общих закономерностей и конкретных количественных характеристик рассматриваемых процессов, определении управляющих воздействий.

     Наш мир не идеален, ни в чем нельзя быть уверенным с абсолютной точностью. Кто помнит лабораторные работы по физике, тот должен знать, что измерение какой-либо физической величины обычно проводят несколько раз при различных условиях, а найденный результат записывают в виде 20,3±2,3. Это необходимо для того, чтобы нейтрализовать погрешности приборов, трясущиеся руки экспериментатора, вспышки на солнце и так далее.

     Метод наименьших квадратов (далее МНК), о  котором пойдет речь в работе, является одним из способов противостоять  ошибкам измерений.

     Метод наименьших квадратов (МНК) является одним  из наиболее разработанных и распространенных вследствие своей относительной простоты и эффективности методов оценки параметров линейных эконометрических моделей. Он не предъявляет жестких требований к закону распределения ошибок моделей. Вследствие этого оценки коэффициентов моделей, полученные на основе МНК, не зависят от фактического (или предполагаемого) закона распределения.

     Актуальность  данной темы и определила тему работы.

     Целью работы является рассмотрение методики классического метода наименьших квадратов.

     Для достижения поставленной цели необходимо решить следующие задачи:

• рассмотреть применение метода наименьших квадратов для нахождения неизвестных параметров уравнения регрессии на примере модели линейной парной регрессии;
• изучить свойства оценок МНК;
• рассмотреть применение МНК на конкретном примере.

     Объектом  исследования является метод наименьших квадратов. Предметом изучения является процедура оценки параметров по методу наименьших квадратов, а также свойства оценок МНК.

     Работа  состоит из введения, основной части, которая включает в себя рассмотрение теоретических вопросов, заключения.

     При анализе различных источников информации  предпочтение отдано работам, описывающим  не просто математический и статистический базисы исследуемых методов, но и  их практическое применение. 
 
 
 
 
 
 
 

1. Процедура оценки параметров по методу наименьших квадратов.

     В “классическом” варианте МНК в отношении свойств ошибки модели e_t  выдвигаются следующие предположения:

     – ошибка имеет нулевое математическое ожидание, M[e_t]=0;

     – ее дисперсия конечна и постоянна, s_e²=const;

     – автокорреляционные связи в ряду ошибки отсутствуют, т. е. r₁=r₂=...=0, где r_i – коэффициент автокорреляции рядов e_t и e_t–i, i=1,2,... ;

     – ряд значений ошибки статистически  не связан с рядами значений независимых переменных модели [5, с.358].

     Рассмотренные предположения определяют ошибку модели как процесс белого шума с ковариационной матрицей ее вектора ошибки, имеющей следующий вид: Cov(e)=s_e²×Е.

     Рассмотрим  общую схему процедуру оценки параметров линейной эконометрической модели на основе МНК более подробно. Такая модель в общем виде представлена уравнением (1):

  y_t=a₀+a₁ х_1t +...+a_nх_nt +e_t.          (1)

     Исходными данными при оценке параметров a₀, a₁,..., a_n являются измеренные (наблюдаемые) значения зависимой переменной, которые можно представить в виде вектора-столбца,

  

   Наблюдаемые значения независимых переменных объединим в матрицу следующего вида:

                                    Х =           

     Cвое  название МНК получил, исходя  из смыслового содержания критерия, которому должны удовлетворять полученные на его основе оценки параметров эконометрической модели: сумма квадратов значений фактической ошибки модели должна быть минимальной.

     Иными словами, найденные с помощью МНК оценки a₀, a₁,..., a_n,  обеспечивают минимум следующей квадратичной формы на множестве всех других комбинаций значений таких оценок:

      

где e_t  – значение фактической ошибки модели в момент t=1,2,..., Т,  полученное после подстановки в выражение (1) вместо неизвестных истинных значений параметров a₀, a₁,..., a_n  их оценок a₀, a₁,..., a_n.

     Оптимальные по данному критерию значения оценок в этом случае могут быть найдены путем решения следующей системы так называемых “нормальных” уравнений, вытекающей из условия равенства нулю частных производных функции s² (a₀, a₁,..., a_n) по своим параметрам в точке минимума:

    

  

     В системе (2.3) неизвестными являются оценки параметров a₀, a₁,..., a_n, а ее известные коэффициенты сформированы на основе исходных данных и представлены в виде следующих сумм: i,j=1,2,..., п. Решения, получаемые на основе развернутой формы системы (2.3), достаточно громоздки, и поэтому в дальнейшем в математических выкладках общего характера будем использовать векторно-матричную форму представления ее составляющих.

     Векторно-матричная  форма записи линейной эконометрической модели (1) имеет следующий вид:

                                          у=Х×a+e,                                     (2.4)

где у – вектор-столбец, состоящий из Т компонент; Х – матрица размера Т´(п+1) (если в модели присутствует “свободный” коэффициент a₀); a=(a₀, a₁,..., a_n)¢– вектор-столбец параметров, состоящий из п+1-й компоненты; e – вектор-стобец ошибки модели, состоящий, как и вектор у, из Т компонент.

     Соответственно  векторно-матричный вариант модели, в котором вместо неизвестных  истинных коэффициентов a и ошибок e используются их оценки, т. е. вектора а и е, запишем в следующем виде:

                                       у=Х×а+е,                                     (2.5)

где а=(а₀, а₁,..., а_n)¢, е=(е₁, е₂,..., е_Т)¢– вектора значений оценок коэффициентов линейной эконометрической модели и значений ее фактической ошибки соответственно [4, с.175].

     Сумму квадратов значений ошибки s² можем представить в виде скалярного произведения вектора-строки е¢ на вектор-столбец е. Проводя несложные преобразования с учетом правил произведения векторов и матриц, получим следующий результат:

s² =(е¢, е)=(у–Х×a)¢(у–Х×a)= у¢у–a¢Х¢у–у¢Хa+a¢Х¢Хa=у¢у–2a¢Х¢у+a¢Х¢Хa.   (2.6)

     При проведении преобразований учитывалось  правило транспонирования векторно-матричного произведения (z×W)¢=(W¢×z¢).

     Условие (2.3) в векторной форме записи приобретает  следующий вид:

                                   ¶s²/¶a=0.                                     (2.7)

     Заметим, что в выражении (2.7) операция дифференцирования  осуществляется по вектору.

     С учетом выражения (2.6) уравнение (2.7) приводится к следующему виду:

           ¶s²/¶a=¶(у¢у–2a¢Х¢у+a¢Х¢Хa)/¶a=–2Х¢у+2Х¢Хa=0