Модель регрессии

Имеются статистические данные по результатам игры разных команд.

 
      

1. Сформулируем  уравнение регрессии:

      Уравнение регрессии будет иметь вид: 

            

      где – у  - число побед

      х₁ – среднее число очков (ERA)

      х₂ –число очков, набранных в 2002 году.

      Число объясняющих переменных k=2.

      Будем предполагать, что модель регрессии является классической, то есть для нее выполняются условия Гаусса-Маркова.

      Будем предполагать, что

1. х₁,…,х_к – детерминированные переменные;
2. ранг матрицы Х равен "к+1" – среди признаков нет линейно зависимых;
3. , - нет систематических ошибок в измерении у;
4. , - гомоскедастичность регрессионных остатков (равноточные измерения);
5. , , - условие некоррелированных регрессионных остатков.

      Если  модель классическая, то оценки полученные методом наименьших квадратов (МНК) будут обладать свойствами несмещенности, состоятельности и эффективности.

      МНК - оценки для вектора неизвестных коэффициентов:

               

      

2. Смысл наклонов отклика в этой модели :

При увеличении показателя ЕRA на 1 единицу, число побед снижается в среднем на 17 за сезон, при увеличении числа набранных очков на 1 единицу число побед увеличивается в среднем на 0,057 (здесь удобнее будет сказать, что при увеличении очков на 100 единиц, число побед увеличивается в среднем на 57).

3. Среднее количество побед у команды набравшей 750 очков , при ERA равным 4,5.

=76 побед.

4. Выполним анализ остатков и адекватность модели.

На рисунках 1-2 представлены графики остатков упорядоченные  по переменной х1 и х2.

- остатки

Модельные значения и значения остатков приведены в  приложении 2.

Рисунок 1  - График остатков, упорядоченных по переменной х1 

Рисунок 2  - График остатков, упорядоченных по переменной х2 

По графику  остатков, видно, что предположения о постоянстве дисперсии и остатков и их некоррелированности не нарушаются.

    Проверка  гипотезы об адекватности линейной модели выборочным данным 

    Для проверки значимости построенного уравнения  регрессии выдвигается гипотеза Н₀: линейная модель множественной регрессии не адекватна выборочным данным, что формально можно сформулировать так 

    Н₀: β₁=β₂=…=β_к=0                                                                                     

    Альтернативная  гипотеза Н₁: ЛММР адекватна выборочным данным или формально Н₁: . 

    Для проверки гипотезы Н₀ используем статистику:

           , 

которая в случае справедливости Н₀ имеет распределение Фишера – Снедекорра с числом степеней свободы .

 =1696,498

=4615,668

=6312,167 

    Далее проверяем гипотезу F_набл =36,72и F_кр=3,35 – нулевая гипотеза отвергается, модель адекватна.

    5. Чтобы узнать существует ли статистически значимая зависимость между количеством побед и двумя объясняющими переменными, вычислим множественный коэффициент корреляции и проверим его значимость на уровне 0,05. Коэффициент множественной корреляции можно найти как корень квадратный из коэффициента детерминации. Коэффициент детерминации получается из тех соображений, что общая вариация (дисперсия) результативного признака складывается из вариации функции регрессии, обусловленной варьированием значений объясняющих переменных , (факторной дисперсии) и из вариации случайной величины относительно функции регрессии (остаточной дисперсии). 

=0,855

(множественный коэффициент корреляции можно рассчитать и по формуле единица минус отношение определителя матрицы парных коэффициентов корреляции к соответствующему алгебраическому дополнению этой матрицы ).

Проверим  значимость коэффициента

    Пусть рассматривается оценка коэффициента детерминации , где "l" – указывает количество факторных признаков, связь с которыми мы желаем исследовать.

    Выдвигаем ненулевую гипотезу Н₀: (коэффициент множественной корреляции незначим - факторные признаки не оказывают значимого влияния).

    При альтернативной гипотезе Н₁: (коэффициент значим).

    Для проверки гипотезы рассмотрим статистику:

            

которая в случае справедливости Н₀ имеет распределение Фишера – Снедекора с числом степеней свободы .

Эту статистику мы уже рассчитали (при проверке адекватности модели данным) и показали, что нулевая гипотеза отвергается, то есть множественный коэффициент корреляции значим и существует тесная зависимость между числом побед и ERA и количеством очков на уровне значимости 0,05. 
 

6. P- значение в пункте 5 при проверке значимости уравнения регрессии=0,00000002 – это вероятность принятия нулевой гипотезы, если она меньше чем 0,05, то гипотеза отвергается.

Смысл коэффициента множественной смешанной  корреляции, заключается в том, что  он показывает связь меду у и х1 и х2.Если его возвести в квадрат, то получим коэффициент детерминации, который показывает долю вариации у объясняемую вариацией факторов. В нашем случае коэффициент детерминации 0,73, значит, на 73% вариация числа побед объясняется вариацией показателя ERA и числа очков набранных в сезоне 2002 года, а остальные 27% вариации приходятся на неучтенные в модели факторы.

      Подправленная на несмещенность оценка (скоррекитированный) коэффициента детерминации имеет вид

    

=0,711

    

Проверка  гипотез о значимости коэффициента. 

    

В случае если нулевая  гипотеза о незначимости уравнения  регрессии отвергнута, проверяем гипотезы о значимости коэффициентов уравнения регрессии. Выдвигаются гипотезы вида

    

Н₀: коэффициент β_j незначимо отличен от нуля (или формально β_j=0);

    

альтернативная гипотеза Н₁: коэффициент β_j – значимо отличен от нуля (формально β_j 0).

    

Для проверки таких  гипотез Н₀ строятся статистики , которые в случае справедливости Н₀, имеют распределение Стьюдента с степенями свободы. Далее, либо сравниваем t_набл с t_кр(α)

    

Для свободного параметра

    

t=113,61/27,65=4,108

    

t=17,82/3,042=5,85

    

t=0,057/0,024=2,33 

    

t- критическое найдем по таблице распределения Стьюдента, для числа степеней свободы 27 и уровня значимости 0,05.

10. P- значение в пункте 9 при проверке значимости свободного параметра регрессии=0,00032 – это вероятность принятия нулевой гипотезы, если она меньше чем 0,05, то гипотеза отвергается. при проверке значимости свободного параметра регрессии при х1=0,0000031 при проверке значимости параметра регрессии при х2=0,0271

 

11.  

          

Для коэффициента уравнения регрессии при переменной х1 значимо отличныхой от нуля находим доверительные интервалы, используя статистику

          

 

имеющую распределение  Стьюдента с степенями свободы. 

, где  - табличное значение ( )

-24,069 -11,58 

12.  

Вычислим  коэффициенты частной множественной  корреляции и поясним их смысл.

    

Оценка  для частных коэффициентов корреляции

      

Где в числителе и знаменателе  стоят алгебраические дополнения матрицы  парных коэффициентов корреляции.

Рассчитаем  матрицу парных коэффициентов корреляции