Макру написали, теперь пора вспомнить про метрику! Напоминаю, что на диске лежит много полезностей!!! Здесь напишу полное содержание, а вы ориентируйтесь, что уже прошли

🔥 Краткие читлисты с теорией за 1 модуль:

0️⃣ Основные обозначения в метрике

1️⃣ Повторение линала, тервера и матстата

2️⃣ Метод наименьших квадратов (суть метода + формулы оценок)

3️⃣ Дисперсионный анализ (свойства регрессии с константой + TSS, ESS, RSS + R^2)

4️⃣ Теорема Гаусса-Маркова (немного про случайные величины + формулировка теоремы для парной регрессии)

5️⃣ Тестирование гипотез (формулы разных дисперсий + распределения разных параметров + гипотезы о значениях коэфов регрессии)

6️⃣ Прогнозирование в парной регрессии (точечный прогноз + интервальный прогноз)

7️⃣ Основы множественной регрессии (общий вид + МНК + полезные формулы из линала)

8️⃣ Дисперсионный анализ в множественной регрессии (R^2 + скорректированный R^2 + ограничения)

🔥 Теория за 1 модуль:

1️⃣ Парная регрессия (доказательства 6 важных свойств + доказательства свойств R^2 + ТГМ с пояснениями + доказательство TSS = ESS + RSS)

2️⃣ Множественная регрессия (вывод RSS + геометрический вывод формулы оценок МНК + аналог теоремы Пифагора + R^2 + скорректированный R^2)

3️⃣ Гайд по ANOVA (табличка из стат. пакета, которую часто включают в задачи на кр и просят найти пропущенные параметры: здесь расписано, что где находится и что по каким формулам искать - я дала таблицу именно в том виде, в котором она в вариантах)

⚠️ NB: этот гайд охватывает очень большой пласт теории. Если вы совсем потерялись в метрике, заботайте хотя бы его!

В следующих постах напишу, что было в моем большом читлисте для кр + расскажу о всяких важных моментах и частых ошибках уже ближе к кр

Здесь должен быть знак =

Дублирую сюда материалы от великого Владимира Перепелкина!!

🦖 Затеханные конспекты семинаров, которые стали общественным достоянием

🦖 Всякие тесты, многие с решениями

P.S. Вова желает вам "здоровья чтобы жить жизнь можно было", а я желаю творческого и эконометрического вдохновения перед грядущим праздником!

Напоминаю, что на диске лежит мой читлист к контрольной (первая страница)! Что я выписывала (а вам придется запомнить):

Тервер и матстат
▪️ распределения
▪️ матожидание, дисперсия, ковариация, корреляция
▪️ свойства матожидания и дисперсии
▪️ независимость, совместное распределение
▪️ свойства оценок (несмещенность, состоятельность, эффективность)
▪️ ДИ для матожидания (с известной и неизвестной дисперсией)

Парная регрессия
▪️ оценки МНК для регрессии с константой, без константы и с линейным преобразованием регрессора (последние две на всякий случай)
▪️ 6 свойств регрессии с константой + с чего начинать их доказательство
▪️ формулы всяких штук из таблицы ANOVA
▪️ случайность и распределения некоторых величин (тоже на всякий случай)
▪️ прогнозы (точечный, интервальный для среднего и интервальный для индивидуального значения) + ошибки и их дисперсии

Множественная регрессия
▪️ RSS
▪️ FOC и SOC в задаче МНК
▪️ оценка МНК + ее дисперсия
▪️ факторное разложение R^2 (зачем - без понятия)

——————————————————
Дисклеймер: прям все-все-все это помнить вряд ли требуется! Но вот вам список базовых вещей, которые нужно знать обязательно (не считая тервер/матстат):

🔺 как выводить формулу RSS (в парной и множественной)
🔺 МНК-оценки регрессии с константой (в парной и множественной) и их дисперсия
🔺 6 свойств регрессии (хотя бы сами формулировки без доказательства)
🔺 теорема Гаусса-Маркова
🔺 все из таблицы ANOVA
🔺 прогнозы (точечный, интервальный для среднего и интервальный для индивидуального значения)
🔺 R^2 и его свойства
🔺 R^2 adjusted и его свойства
——————————————————

Ближе к контрольной напомню о частых ошибках и других вещах, на которые нужно обратить внимание!

Итак, в преддверии праздника держите священные заповеди эконометриста! Я сделала подборку из частых ошибок, про которые всегда говорят, но которые почему-то упорно продолжают допускать... Уверена, что на этом канале лучшие на свете подписчики, которые так делать не будут😍

‼️ НЕЛЬЗЯ ИНТЕРПРЕТИРОВАТЬ НЕЗНАЧИМЫЕ КОЭФФИЦИЕНТЫ!!! Коэффициент не значим => X не оказывает влияния на Y. Все. Никаких "при возрастании X на 1 единицу..."

‼️ Не может быть "более значимого" или "менее значимого" коэффициента. Коэффициент значим <=> он не равен нулю. Мы не можем сказать, что что-то равно нулю в большей или меньшей степени: может быть или равно, или не равно. Если у вас два коэфа и они значимы на разных уровнях значимости (допустим, 1% и 5%), то это именно так и говорится - никаких историй про то, что один значимее второго

‼️ В теореме Гаусса-Маркова нет ни слова о нормальном распределении. Если ошибки (эпсилон) не распределены нормально, это НЕ нарушает ТГМ

‼️ У R^2 adjusted нет интерпретации, как у R^2. Он используется просто для сравнения моделей, про него мы не можем сказать, что это доля объясняемой дисперсии

‼️ Свойство TSS=ESS+RSS и еще 6 основных свойств выполняются только для регрессии с константой. Если константы (беты 0) нет, то они не работают, а еще ломается формула R^2, он перестает быть показателем качества подгонки регрессии

И еще парочка лайфхаков по мотивам прошлогодних кр, которые вы, конечно же, честно прорешали (!!!!!!):

✏️ Когда X и/или Y увеличивают во сколько-то или на сколько-то и спрашивают, как изменились оценки, проще всего расписывать беты через формулу с ковариацией, так гораздо быстрее

✏️ Если вам дали регрессию Y на X и X на Y, а потом что-то спросили про R^2, то пользуйтесь формулой на фотке (в комментах)

Желаю всем творческо-эконометрического вдохновения и энтузиазма, ведь совсем скоро наступит прекраснейший в мире эконометрический праздник🤩

И еще сюда же:

‼️ В гипотезе о (не)значимости у нас H0 и H1 выглядят так:

▪️H0: beta = 0 (коэф не значим)
▪️H1: beta != 0 (коэф значим)

▪️H0 не отвергается => коэф не значим (два "не" вместе)
▪️H0 отвергается => коэф значим

Соответственно, про p-value:
▪️p-value маленький (меньше 1% / 5% / 10%) => коэф значим на таком-то уровне значимости
▪️p-value большой (больше 1% / 5% / 10%) => наоборот, не значим

Когда интерпретируют по p-value, почему-то очень часто путаются, поэтому всегда нужно помнить, как сформулирована основная гипотеза!!

‼️ TSS, ESS и RSS всегда положительные! Если вы насчитали что-то отрицательное - пересчитайте, это точно ошибка (сумма квадратов меньше нуля это кринж)

Одолжу калькуляторы на кр двум желающим в обмен на качественный анекдот

Лучшие анекдоты рассказаны, калькуляторы забронированы

В честь выдачи проектной домашки я решила разобрать свою же прошлогоднюю работу, чтобы рассказать вам о кринжовых ошибках! Очень надеюсь, что вы все внимательно прочитаете и так делать не будете!

😍 Прочитать разбор можно здесь 😍

Краткое саммари:

1️⃣ Логичное исследование выглядит так: идея => литература => спецификация модели => поиск данных — не наоборот!

2️⃣ EDA в эконометрике не такой хардкорный, как в машинном обучении. Сильно закапываться в данных и строить миллион графиков не нужно

3️⃣ Гипотезы нужно сформулировать всего 2-3, а не для каждой переменной!

4️⃣ Гипотезы должны быть содержательные, а не просто о наличии влияния

5️⃣ Стройте интересные модели, а не такие, которые показывают что-то очевидное

6️⃣ НИКОГДА НЕ ВСТАВЛЯЙТЕ ТАБЛИЦУ МОДЕЛИ В ВИДЕ СКРИНШОТА‼️

7️⃣ У adjusted R^2 нет интерпретации — он используется просто для сравнения моделей

8️⃣ Ищите нормальную литературу. Если это статья, то желательно квартиль Q1 или Q2 (это можно проверить здесь: вводите название журнала, выбираете нужный, листаете вниз, там будет квартиль). Если это учебник, то хороший, а не сомнительный, как у нас

⚠️ Многое из этих пунктов выделено красным у вас в ТЗ домашки — пожалуйста, внимательно читайте все рекомендации и соблюдайте их!

Кстати, в своем разборе я показала другую нашу работу, более удачную. Так что получилось хорошее сравнение того, как делать надо и как не надо

🔥 БОНУС: Иван Павлович в конце прошлого года написал очень крутой гайд* о том, как проводить приличное исследование. Многие мои комменты совпадают с тем, что там написано. Очень советую почитать — это поможет не только грамотно сделать домашку, но и написать нормальный диплом, который у вас не за горами!

*Там говорится в том числе про всякие штуки, которые вы не прошли — на них не обращайте внимание!!!

В преддверии очередной проверочной держите разборы предыдущих! Все они лежат в этой папке:

🔥 прошлая проверочная (№2) этого года у групп Анастасии Александровны (на F- и t-тесты)

🔥 проверочная №2 нашего года

🔥 проверочная №3 нашего года

Советую внимательно все прочитать, потому что вопросики бывают хитренькие!

А я напоминаю, что не просто так старалась и писала этот гайд!! Буквально ключ к десятке за домашку😍🤤

Очень важный пост!

Уже не первый раз вижу, как вы вставляете в модель дамми на все категории переменной. Поэтому давайте еще раз.

Допустим, у вас есть категориальная переменная «пол», которая принимает два значения: женский и мужской. Из этих значений вы делаете две переменные: «женский пол» (1 для женщин и 0 иначе) и «мужской пол» (1 для мужчин и 0 иначе)

‼️ Эти переменные линейно зависимые, поэтому их нельзя вставлять в модель вдвоем — одну категорию нужно удалить‼️

То же самое касается любых других категориальных переменных: если у вас в признаке 4 времени года, то должно остаться 3 дамми-переменные (например, весна, лето и осень, а зиму вы берете за базовую). Если 3 ступени образования, то дамми-переменных две (например, бакалавриат и магистратура, а школа в качестве базовой категории)

‼️ Включать в модель с константой дамми на все категории — грубейшая ошибка‼️

А еще очень не хочу наводить суету в день дедлайна, но на всякий случай предупрежу, потому что только сейчас заметила, что есть люди, которые взяли не те данные. Ваша зависимая переменная должна быть непрерывной, то есть принимать много-много-много разных значений

Если же переменная бинарная (0 или 1), то в модели линейной регрессии, к сожалению, нет никакого смысла. Чтобы правильно оценивать такую зависимость и интерпретировать коэффициенты, нужна другая модель, которую вы будете проходить только в следующем семестре

Встречаем бурными аплодисментами разбор прошлогоднего экзамена😍 Мы с Сашей ну очень старались и надеемся, что вы его посмотрите!!!!!!! Вообще вам его кидали в лмс, но не будет лишним напомнить еще раз

🎄 Джинглбелсный разбор теста от меня

‼️ Повторяю, что если его не посмотреть, ваше новогоднее желание не сбудется. Вот так вот.

⭐️ Не джинглбелсный (читать: душный) разбор задач от Саши

🍊 Вот здесь вы можете посмотреть сами задания, а здесь краткий конспект с разбором теста

Одолжу два калькулятора в обмен на оригинальное новогоднее поздравление

Открылась регистрация на универсиаду по метрике! Вот тут можно почитать: https://t.me/universiade_ecm/65

Ее проводит МГУ, там два этапа. Я в прошлом году участвовала чисто на энтузиазме, мне понравилось, так что если вам интересно, тоже советую!!

Товарищи! Совсем забыла сказать, что еще месяц назад я на диске сделала папку для второго семестра! Там есть бесценные конспекты Владимира Перепелкина, куча записей семов Ивана Павловича (он разрешил их выложить, но если не будете ходить на метрику, будет атата от меня), мой большой читлист и решение прошлогодней первой проверочной!

А я не поняла, почему за эту задачу так много нулей???

Если вы делаете проект в питоне, вот эта штука вам очень пригодится

Я написал для питона небольшую библиотеку, с помощью которой можно получить матрицы в форме HC4, HC5, HC4m для модели из statsmodels, идентичные тому, что должен выдавать R-овская функция vcovHC.
Поскольку этого функционала не было ни там, ни удалось найти чего-то подобного. А ещё можно т-статистики посмотреть и т.д.

https://github.com/dogfew/statsmodels_HC_cov , там в readme всё написано