... Итого. Мы потребовали, чтобы предсказанные вероятности на выборке хотя бы в среднем совпадали с дейстительностью, и взаимодействовали с предиктором X тоже в среднем как в действительности. Этих требований плюс принципа максимальной энтропии и методов оптимизации на уровне первого курса оказалось достаточно, чтобы найти логичную функцию распределения y при условии X. Более того, случайно оказалось, что найденная функция - это самая популярная формула для вероятностной классификации. Так что, кажется, у нас всё хорошо.
Чуть более подробный вывод этой формулы (на случай многих факторов и многих классов) есть в этой статье: win-vector.com/dfiles/LogisticRegressionMaxEnt.pdf. Пользуйтесь логистической регрессией и не болейте! :)
#матчасть #weirdMath #теорвер #probability #entropy #энтропия #logisticregression #machinelearning #машинноеобучение
Чуть более подробный вывод этой формулы (на случай многих факторов и многих классов) есть в этой статье: win-vector.com/dfiles/LogisticRegressionMaxEnt.pdf. Пользуйтесь логистической регрессией и не болейте! :)
#матчасть #weirdMath #теорвер #probability #entropy #энтропия #logisticregression #machinelearning #машинноеобучение
Чтобы компенсировать последний пост, насыщенный формулами, и подкрепить ваше пятничное настроение, даём ссылочку на генетический алгоритм, который учится играть во FlappyBird в реальном времени прямо в вашем браузере: xviniette.github.io/FlappyLearning
А если кто-то готов почитать целый сборник прикольных историй про неожиданные результаты обучения генетические алгоритмов - ловите статьюшку arxiv.org/pdf/1803.03453v1.pdf
А если кто-то готов почитать целый сборник прикольных историй про неожиданные результаты обучения генетические алгоритмов - ловите статьюшку arxiv.org/pdf/1803.03453v1.pdf
В последних нескольких постах мы загоняли, что среднее и дисперсия - очень удобные статистики, потому что они обладают удобными аддитивными свойствами, и потому что для описания нормального распределения их достаточно. Сегодня дополним нашу коллекцию статистик ещё парочкой похожих.
Напомним, что среднее значение (матожидание) - это просто среднее арифметическое всех возможных значений случайной величины, взвешенное по их вероятностям (или значениям функции плотности в них). Дисперсия - средний квадрат отклонения от среднего. Стандартным отклонением называют корень из дисперсии (он выражается в более удобных единицах).
Этот ряд можно продолжить и дальше, увеличивая степени. Например, можно вычислить средний куб отклонения от среднего. Если такую величину поделить на куб стандартного отклонения (чтобы устранить зависимость от масштаба), то получится *асимметрия*. Эта величина равна нулю для распределений, зеркально симметричных относительно матожидания, положительна для величин с большим правым хвостом, и отрицательна, если большой хвост - левый. Например, у экспоненциального распределения (большой правый хвост) асимметрия равна 2.
Ещё можно вычислить среднюю четвёртую степень отклонения от среднего, и поделить её на четвёртую степень стандартного отклонения. Получится величина, которая всегда положительна (ибо чётная степень). Можно доказать, что она всегда равна 3 для нормального распределения. Если вычесть из неё 3, получим величину, которую статистики называют *эксцесс*. Она измеряет "тяжесть" обоих хвостов распределения: положительна, если хвосты большие, отрицательная - если маленькие, по сравнению с нормальным распределением. У равномерного (хвостов нет вообще!) эксцесс равен -1.2, у экспоненциального (большой хвост) эксцесс равен 6.
Такие статистики, основаные на усреднении случайной величины в какой-нибудь степени, называются моментами. На практике момент выше четвёртого вроде бы не используются. Вообще, есть множество задач, для которых всё это не нужно - вас интересует только среднее. Но иногда возникает и необходимость в достаточно глубоком сравнении распределений, и вот тут дополнительные моменты могут вам помочь заметить и измерить какие-нибудь неочевидные различия.
У некоторых безумных распределений (например, Коши или Парето) ни эксцесса, ни асимметрии, ни даже дисперсии и среднего может вообще не быть. Что это значит, и что в таких случаях делать - в следующих постах. Хорошего вам субботнего вечера!
#матчасть #weirdMath #статистики #метрики #асимметрия #эксцесс
Напомним, что среднее значение (матожидание) - это просто среднее арифметическое всех возможных значений случайной величины, взвешенное по их вероятностям (или значениям функции плотности в них). Дисперсия - средний квадрат отклонения от среднего. Стандартным отклонением называют корень из дисперсии (он выражается в более удобных единицах).
Этот ряд можно продолжить и дальше, увеличивая степени. Например, можно вычислить средний куб отклонения от среднего. Если такую величину поделить на куб стандартного отклонения (чтобы устранить зависимость от масштаба), то получится *асимметрия*. Эта величина равна нулю для распределений, зеркально симметричных относительно матожидания, положительна для величин с большим правым хвостом, и отрицательна, если большой хвост - левый. Например, у экспоненциального распределения (большой правый хвост) асимметрия равна 2.
Ещё можно вычислить среднюю четвёртую степень отклонения от среднего, и поделить её на четвёртую степень стандартного отклонения. Получится величина, которая всегда положительна (ибо чётная степень). Можно доказать, что она всегда равна 3 для нормального распределения. Если вычесть из неё 3, получим величину, которую статистики называют *эксцесс*. Она измеряет "тяжесть" обоих хвостов распределения: положительна, если хвосты большие, отрицательная - если маленькие, по сравнению с нормальным распределением. У равномерного (хвостов нет вообще!) эксцесс равен -1.2, у экспоненциального (большой хвост) эксцесс равен 6.
Такие статистики, основаные на усреднении случайной величины в какой-нибудь степени, называются моментами. На практике момент выше четвёртого вроде бы не используются. Вообще, есть множество задач, для которых всё это не нужно - вас интересует только среднее. Но иногда возникает и необходимость в достаточно глубоком сравнении распределений, и вот тут дополнительные моменты могут вам помочь заметить и измерить какие-нибудь неочевидные различия.
У некоторых безумных распределений (например, Коши или Парето) ни эксцесса, ни асимметрии, ни даже дисперсии и среднего может вообще не быть. Что это значит, и что в таких случаях делать - в следующих постах. Хорошего вам субботнего вечера!
#матчасть #weirdMath #статистики #метрики #асимметрия #эксцесс
👍1
Сегодня поговорим не про математику, а про бизнес, а именно, про персональные данные и права на них.
В прошлом году группа Mail.ru судилась с компанией Double Data по поводу прав на данные о пользователях vk. В Double Data давно научились парсить публично доступные данные этой соцсети (и четырёх других), перерабатывать их в признаки, полезные для кредитного скоринга, и продавать банкам. Бизнес получился очень хороший: Double интегрировались с Национальным бюро кредитных историй, всячески помогали банкам измерять и обосновывать выгоды от использования данных из соцсетей для кредитного скоринга, и их продукт был нарасхват. Пока Mail.ru не очнулась и не осознала, что кто-то делает деньги на открытых данных у них под носом.
Когда в октябре суд отклонил иск Mail.ru, я был не удивлён, и прогнозировал, что Mail.ru в итоге договорится с Double Data о разделе прибыли: все интеграции давно налажены, бизнес-модель себя хорошо зарекомендовала, и проблема Mail в том, что они в эту цепочку вовремя не встроились.
В феврале апелляционный суд всё-таки обязал Double прекратить использовать данные соцсети. Возможно, на них произвёл впечатление скандал вокруг Cambridge Analitics, которые использовали данные из Facebook в предвыборной кампании Трампа, чем наделали немало шуму. А может быть, просто попались судьи, которым Double не понравилась по каким-то их собственным причинам. Так или иначе, мой прогноз не оправдался.
А ещё месяц спустя Mail.ru Group объявила, что сама интегрировалась с НБКИ, и будет продавать данные для кредитного скоринга на "легальной и прозрачной основе" . По факту - те же самые данные, что продавали и Double. То есть в Мэйле всё-таки осознали, что за монетизацией данных из соцсетей будущее, и просто устранили ненужного посредника.
А будущее действительно именно за этим: в равновесной ситуации данные из соцсетей будут использоваться. Действительно, банки, которые используют эти данные в своих предсказательных моделях, получают более качественный скоринг, более низкие кредитные потери, и в итоге могут позволить себе предоставлять более выгодные условия по кредитам для своих клиентов. Поэтому именно такие банки победят в конкурентной борьбе. Пользователи сами будут давать ссылки на свои странички в соцсетях, чтобы повысить шансы одобрения кредита (и уже дают - например, их запрашивает Тинькофф).
У соцсетей остаётся выбор - либо ограничивать сбор данных, и тем самым создавать чёрный рынок, либо легализовывать и регулировать использование этих данных. Закрыть их совсем - не получится, потому что это означает закрыть саму соцсеть. Ведь всё, что видите вы на моей страничке, может увидеть и поисковый робот.
Так что пока Facebook закручивает гайки, Mail впереди планеты всей, и ставит использование социальных данных на поток. И почему-то мне кажется, что остальные соцсети рано или поздно последуют этому примеру.
В прошлом году группа Mail.ru судилась с компанией Double Data по поводу прав на данные о пользователях vk. В Double Data давно научились парсить публично доступные данные этой соцсети (и четырёх других), перерабатывать их в признаки, полезные для кредитного скоринга, и продавать банкам. Бизнес получился очень хороший: Double интегрировались с Национальным бюро кредитных историй, всячески помогали банкам измерять и обосновывать выгоды от использования данных из соцсетей для кредитного скоринга, и их продукт был нарасхват. Пока Mail.ru не очнулась и не осознала, что кто-то делает деньги на открытых данных у них под носом.
Когда в октябре суд отклонил иск Mail.ru, я был не удивлён, и прогнозировал, что Mail.ru в итоге договорится с Double Data о разделе прибыли: все интеграции давно налажены, бизнес-модель себя хорошо зарекомендовала, и проблема Mail в том, что они в эту цепочку вовремя не встроились.
В феврале апелляционный суд всё-таки обязал Double прекратить использовать данные соцсети. Возможно, на них произвёл впечатление скандал вокруг Cambridge Analitics, которые использовали данные из Facebook в предвыборной кампании Трампа, чем наделали немало шуму. А может быть, просто попались судьи, которым Double не понравилась по каким-то их собственным причинам. Так или иначе, мой прогноз не оправдался.
А ещё месяц спустя Mail.ru Group объявила, что сама интегрировалась с НБКИ, и будет продавать данные для кредитного скоринга на "легальной и прозрачной основе" . По факту - те же самые данные, что продавали и Double. То есть в Мэйле всё-таки осознали, что за монетизацией данных из соцсетей будущее, и просто устранили ненужного посредника.
А будущее действительно именно за этим: в равновесной ситуации данные из соцсетей будут использоваться. Действительно, банки, которые используют эти данные в своих предсказательных моделях, получают более качественный скоринг, более низкие кредитные потери, и в итоге могут позволить себе предоставлять более выгодные условия по кредитам для своих клиентов. Поэтому именно такие банки победят в конкурентной борьбе. Пользователи сами будут давать ссылки на свои странички в соцсетях, чтобы повысить шансы одобрения кредита (и уже дают - например, их запрашивает Тинькофф).
У соцсетей остаётся выбор - либо ограничивать сбор данных, и тем самым создавать чёрный рынок, либо легализовывать и регулировать использование этих данных. Закрыть их совсем - не получится, потому что это означает закрыть саму соцсеть. Ведь всё, что видите вы на моей страничке, может увидеть и поисковый робот.
Так что пока Facebook закручивает гайки, Mail впереди планеты всей, и ставит использование социальных данных на поток. И почему-то мне кажется, что остальные соцсети рано или поздно последуют этому примеру.
Нас тут вчера засыпали вопросами о том, как именно можно использовать данные из вконтактика для того, чтобы строить кредитные скоры. Пришлось искать научные подтверждения.
Проще всего оказалось ответить на этот вопрос статьёй хорошего вышкинско-сберовского парня Алексея Масютина. На его данных (27 тысяч потребительских кредитов) оказалось, что модельки, построенные на одних только (!) данных из VK, обладают приличной дискриминационной способностью - ROC AUC под 70%. С этим уже вполне можно делать бизнес.
Из любопытных наблюдений - заёмщики с "либеральными" и "безразличными" политическими взглядами возвращают лучше "монархистов", "коммунистов" и "социалистов", а "влюблённые" и те, у кого "всё сложно", сильно менее финансово устойчивые женатых.
Проще всего оказалось ответить на этот вопрос статьёй хорошего вышкинско-сберовского парня Алексея Масютина. На его данных (27 тысяч потребительских кредитов) оказалось, что модельки, построенные на одних только (!) данных из VK, обладают приличной дискриминационной способностью - ROC AUC под 70%. С этим уже вполне можно делать бизнес.
Из любопытных наблюдений - заёмщики с "либеральными" и "безразличными" политическими взглядами возвращают лучше "монархистов", "коммунистов" и "социалистов", а "влюблённые" и те, у кого "всё сложно", сильно менее финансово устойчивые женатых.
Вчера мы упомянули относительно простую практическую работу: собрать профили VK кучи заёмщиков, вычислить на них признаки, построить логистическую регрессию, и сказать, что вот такие-то признаки сильно влияют на кредитное поведение людей. Вообще это очень похоже на ежедневную рутину data scientist'a. А что тут можно сделать более научного?
Одно из направлений того, как можно углубить эту работу - рассматривать не только признаки отдельных заёмщиков, но и то, как они взаимодействуют друг с другом в рамках единой сети. Гипотеза, что "хорошие" заёмщики дружат с "хорошими", а "плохие" - с "плохими", на практике подтверждается. Ну и учёным-теоретикам экономистам очень интересно ковыряться в сетевых взаимодействиях, ибо это позволяет усложнить, разнообразить, и в итоге приблизить к жизни теории, которые без этого довольно плоские.
Для любителей и повычислиять, и потеоретизировать есть книга (и одноименный онлайн-курс) Networks, Crowds, and Markets. Книга объединяет в себе кусочки теории графов, теории игр, и приложения этого к разным областям жизни, от политики до эпидемиологии.
Курс: edx.org/course/networks-crowds-markets-cornellx-info2040x-2
Книга: cs.cornell.edu/home/kleinber/networks-book/networks-book.pdf
P.S. На картинке один из моих любимых графов из этой книги - граф романтических отношений в одной из американских школ. Действительно, практически одна большая семья :)
#матчатсть #weirdMath #socialnetworkanalysis
Одно из направлений того, как можно углубить эту работу - рассматривать не только признаки отдельных заёмщиков, но и то, как они взаимодействуют друг с другом в рамках единой сети. Гипотеза, что "хорошие" заёмщики дружат с "хорошими", а "плохие" - с "плохими", на практике подтверждается. Ну и учёным-теоретикам экономистам очень интересно ковыряться в сетевых взаимодействиях, ибо это позволяет усложнить, разнообразить, и в итоге приблизить к жизни теории, которые без этого довольно плоские.
Для любителей и повычислиять, и потеоретизировать есть книга (и одноименный онлайн-курс) Networks, Crowds, and Markets. Книга объединяет в себе кусочки теории графов, теории игр, и приложения этого к разным областям жизни, от политики до эпидемиологии.
Курс: edx.org/course/networks-crowds-markets-cornellx-info2040x-2
Книга: cs.cornell.edu/home/kleinber/networks-book/networks-book.pdf
P.S. На картинке один из моих любимых графов из этой книги - граф романтических отношений в одной из американских школ. Действительно, практически одна большая семья :)
#матчатсть #weirdMath #socialnetworkanalysis
edX
Networks, Crowds and Markets
Explore the critical questions posed by how the social, economic, and technological realms of the modern world interconnect.
С кредитным скорингом мы скоро продолжим всерьёз, а пока вернёмся к статистикам. А именно, к робастным статистикам, которые ведут себя адекватно, когда моменты (среднее, дисперсия, асимметрия и так далее) сходят с ума.
Что значит "робастные" и "сходят с ума"? На самом деле, имеется в виду в первую очередь чувствительность к аномальным наблюдениям. Эти аномалии (они же выбросы) иногда возникают как ошибки в данных, а иногда соответствуют действительности, но на них просто не хочется концентрировать внимание. Например, если заёмщик, указывая доход, добавил лишний нолик, это дурацкая ошибка (или подтасовка), которую, тем не менее, может быть не так просто скорректировать. А у каких-то клиентов могут быть действительно семизначные доходы, но их меньшинство, и, если учитывать их при расчёте среднего дохода, то он может получиться больше, чем у большинства остальных клиентов, и не будет отражать "типичного клиента".
Мы говорили, что моменты (в частности, среднее арифметическое), основаны на суммировании, и это очень удобно. Но пока мы суммируем сами значения наблюдаемых величин, нет никакой гарантии, что к нашей сумме не добавится выброс, и всё не испортит. Причём чем выше порядок момента, тем проблем острее (т.е. выбросы больше влияют на дисперсию, чем на среднее, на асимметрию - больше, чем на дисперсию, и т.д.). Радикальный уход от этой проблемы - не использовать при расчёте статистик значения наблюдений вообще, а только их порядок относительно друг друга.
Например, место среднего можно тогда использовать медиану: она вообще не меняется, если увеличивать значения и так больших наблюдений, или уменьшать значения маленьких. Вместо стандартного отклонения можно использовать, скажем, расстояния между 25% и 75% квантилями (или любой другой парой, даже не обязательно расположенной симметрично относительно центра). И так далее: почти любое интуитивно понятное свойство распределений не очень сложно выразить через квантили.
Это, кстати, решает и проблему интегрируемости: если моментов у каких-то странных распределений может не существовать (потому что если считать моменты через интегралы, то те просто расходятся), то вот квантили существуют всегда. Квантили в общем случае сложнее считаются (приходится сортировать данные, а если их много, это может быть трудозатратной операцией). Но зато квантили (если они не близки к 0% и 100%) можно считать по маленьким случайным выборкам, и их значения, как правило, будут близки к тем, которые получаются на всей генеральной совокупности.
А вообще, свойства выборок - это отдельная большая и важная тема, которую мы затронем в ближайших постах. До скорого!
#матчасть #математика #weirdMath #статистики #метрики #robust
Что значит "робастные" и "сходят с ума"? На самом деле, имеется в виду в первую очередь чувствительность к аномальным наблюдениям. Эти аномалии (они же выбросы) иногда возникают как ошибки в данных, а иногда соответствуют действительности, но на них просто не хочется концентрировать внимание. Например, если заёмщик, указывая доход, добавил лишний нолик, это дурацкая ошибка (или подтасовка), которую, тем не менее, может быть не так просто скорректировать. А у каких-то клиентов могут быть действительно семизначные доходы, но их меньшинство, и, если учитывать их при расчёте среднего дохода, то он может получиться больше, чем у большинства остальных клиентов, и не будет отражать "типичного клиента".
Мы говорили, что моменты (в частности, среднее арифметическое), основаны на суммировании, и это очень удобно. Но пока мы суммируем сами значения наблюдаемых величин, нет никакой гарантии, что к нашей сумме не добавится выброс, и всё не испортит. Причём чем выше порядок момента, тем проблем острее (т.е. выбросы больше влияют на дисперсию, чем на среднее, на асимметрию - больше, чем на дисперсию, и т.д.). Радикальный уход от этой проблемы - не использовать при расчёте статистик значения наблюдений вообще, а только их порядок относительно друг друга.
Например, место среднего можно тогда использовать медиану: она вообще не меняется, если увеличивать значения и так больших наблюдений, или уменьшать значения маленьких. Вместо стандартного отклонения можно использовать, скажем, расстояния между 25% и 75% квантилями (или любой другой парой, даже не обязательно расположенной симметрично относительно центра). И так далее: почти любое интуитивно понятное свойство распределений не очень сложно выразить через квантили.
Это, кстати, решает и проблему интегрируемости: если моментов у каких-то странных распределений может не существовать (потому что если считать моменты через интегралы, то те просто расходятся), то вот квантили существуют всегда. Квантили в общем случае сложнее считаются (приходится сортировать данные, а если их много, это может быть трудозатратной операцией). Но зато квантили (если они не близки к 0% и 100%) можно считать по маленьким случайным выборкам, и их значения, как правило, будут близки к тем, которые получаются на всей генеральной совокупности.
А вообще, свойства выборок - это отдельная большая и важная тема, которую мы затронем в ближайших постах. До скорого!
#матчасть #математика #weirdMath #статистики #метрики #robust
Как и обещали, рассказываем про распределения, богатые на экстремальные значения - такие, у которых даже дисперсия и матожидание могут быть не определены. В первую очередь, про распределение Парето.
Распределение Парето имеет непосредственное отношение к "правилу Парето", которое он исходно сформулировал сто лет назад как "80% доходов в Италии сосредоточены у 20% семей". С философской точки правило Парето говорит, что, когда речь идёт о социуме, многие распределения очень неравномерны. А математически это часто выражается как степенной закон: вероятность того, что случайная величина превысит порог t, убывает с ростом t, как t в какой-то отрицательной степени.
Самые разные распределения подчиняются степенному закону: число друзей у пользователей соцсетей, количество покупок различных товаров, частота использованя слов в языке, распределение размеров городов и массы звёзд, степень цитируемости научных статей... Это заставляет задуматься, а нет ли какого-то универсального механизма, объединяющего эти процессы, и создающего экстремально неравномерные распределения?
Подобный механизм описал задолго до Парето апостол Матфей: "ибо всякому имеющему дастся и приумножится, а у неимеющего отнимется и то, что имеет". Говоря современным языком, положительная обратная связь. Чем больше звезда, тем больше в неё падает космического мусора, и тем быстрее она растёт. Чем больше в группе подписчиков, тем больше её репостят, и тем быстрее приходят новые подписчики.
В экономике подобная закономерность называется "сетевой эффект": чем больше людей пользуются продуктом, тем более полезным становится этот продукт. Например, чем больше моих знакомых пользуются Телеграмом, тем больше мне хочется тоже им пользоваться. Благодаря этому эффекту небольшое количество мессенджеров (маркетплейсов, операционных систем, провайдеров связи...) завоёвывает практически весь рынок, а остальные (коих множество) довольствуются маленькими нишами.
За счёт чего в таких ситуациях "ломается" центральная предельная теорема? Она гласит, что распределение суммы большого количества примерно одинаковых и независимых факторов похоже на нормальное. Но распределение Парето обычно появляется там, где нарушается допущение о независимости: деньги притягивают деньги, френды - френдов, цитирования статьи - новые цитирования. Тот, у кого было на старте лишь незначительное преимущество, в итоге может за его счёт вырваться далеко вперёд.
Осталось объяснить, что значит "не существует матожидания (среднего)". Если говорить о генеральной совокупности, в которой действует формула функции распределения, это означает несходимость интеграла. Напомним, чтобы рассчитать матожидание, нужно усреднить все возможные значения X случайной величины по плотности f(X), то есть проинтегрировать величину X*f(X). Так вот, если показатель степени k из формулы Парето меньше 1, то этот интеграл равен бесконечности. То есть матожидание "неограниченно большое".
С точки зрения выборочных оценок (статистик!) это означает нестабильность. Если матожидание существует, то действует закон больших чисел: ростом выборки среднее по этой выборке сходится всё ближе к постоянному значению (матожиданию), и возле него стабилизируется. Но если выборки берутся из распределения без матожидания, то стабилизации не происходит: с добавлением новых наблюдений среднее растёт скачками, и может расти неограниченно.
Распределение Парето имеет непосредственное отношение к "правилу Парето", которое он исходно сформулировал сто лет назад как "80% доходов в Италии сосредоточены у 20% семей". С философской точки правило Парето говорит, что, когда речь идёт о социуме, многие распределения очень неравномерны. А математически это часто выражается как степенной закон: вероятность того, что случайная величина превысит порог t, убывает с ростом t, как t в какой-то отрицательной степени.
Самые разные распределения подчиняются степенному закону: число друзей у пользователей соцсетей, количество покупок различных товаров, частота использованя слов в языке, распределение размеров городов и массы звёзд, степень цитируемости научных статей... Это заставляет задуматься, а нет ли какого-то универсального механизма, объединяющего эти процессы, и создающего экстремально неравномерные распределения?
Подобный механизм описал задолго до Парето апостол Матфей: "ибо всякому имеющему дастся и приумножится, а у неимеющего отнимется и то, что имеет". Говоря современным языком, положительная обратная связь. Чем больше звезда, тем больше в неё падает космического мусора, и тем быстрее она растёт. Чем больше в группе подписчиков, тем больше её репостят, и тем быстрее приходят новые подписчики.
В экономике подобная закономерность называется "сетевой эффект": чем больше людей пользуются продуктом, тем более полезным становится этот продукт. Например, чем больше моих знакомых пользуются Телеграмом, тем больше мне хочется тоже им пользоваться. Благодаря этому эффекту небольшое количество мессенджеров (маркетплейсов, операционных систем, провайдеров связи...) завоёвывает практически весь рынок, а остальные (коих множество) довольствуются маленькими нишами.
За счёт чего в таких ситуациях "ломается" центральная предельная теорема? Она гласит, что распределение суммы большого количества примерно одинаковых и независимых факторов похоже на нормальное. Но распределение Парето обычно появляется там, где нарушается допущение о независимости: деньги притягивают деньги, френды - френдов, цитирования статьи - новые цитирования. Тот, у кого было на старте лишь незначительное преимущество, в итоге может за его счёт вырваться далеко вперёд.
Осталось объяснить, что значит "не существует матожидания (среднего)". Если говорить о генеральной совокупности, в которой действует формула функции распределения, это означает несходимость интеграла. Напомним, чтобы рассчитать матожидание, нужно усреднить все возможные значения X случайной величины по плотности f(X), то есть проинтегрировать величину X*f(X). Так вот, если показатель степени k из формулы Парето меньше 1, то этот интеграл равен бесконечности. То есть матожидание "неограниченно большое".
С точки зрения выборочных оценок (статистик!) это означает нестабильность. Если матожидание существует, то действует закон больших чисел: ростом выборки среднее по этой выборке сходится всё ближе к постоянному значению (матожиданию), и возле него стабилизируется. Но если выборки берутся из распределения без матожидания, то стабилизации не происходит: с добавлением новых наблюдений среднее растёт скачками, и может расти неограниченно.
Чтобы показать, как может выглядеть такое нестабильное усреднение, я взял список крупных городов России, и начал случайно отбирать из него всё новые города. Пока я отбирал первые 17, среднее население было стабильным, около 100 тысяч. Потом добавилась Рязань (там живут полмиллиона), и среднее по всей выборке сразу скакнуло до 130. И стабильно где-то там было, пока 33-ей не добавилась Уфа (население чуть больше миллиона), и общее среднее прыгнуло к 165. Потом среднее скакнуло к 200, когда добавились Саратов и Казань, и ещё около 250 городов оно гуляло в районе этих 200 тысяч. А когда казалось, что вот уже совсем среднее стабилизировалось, в выборку добавилась Москва, и среднее снова резко скакнуло, уже ближе к 300. И если бы в России было неограниченное количество городов, то и среднее по выборке продолжало бы так же неограниченно расти. Обобщаем полученный опыт: если вы имеете дело с распределением Парето, то аномальные объекты ("чёрные лебеди") могут внезапно появиться и резко изменить вам всю статистику.
Коротенькие практические выводы из нашего рассказа: если возможны сетевые эффекты, то будьте избирательны (концентрируйтесь на самых важных запросах/клиентах/товарах/городах), и не слишком доверяйте средним значениям. Ну и вообще просто задумывайтесь о том, с каким распределением имеете дело. И да пребудет с вами power law!
#матчасть #математика #weirdMath #теорвер #распределения #fattail #pareto #powerlaw
Коротенькие практические выводы из нашего рассказа: если возможны сетевые эффекты, то будьте избирательны (концентрируйтесь на самых важных запросах/клиентах/товарах/городах), и не слишком доверяйте средним значениям. Ну и вообще просто задумывайтесь о том, с каким распределением имеете дело. И да пребудет с вами power law!
#матчасть #математика #weirdMath #теорвер #распределения #fattail #pareto #powerlaw
В предыдущем посте мы познакомили вас с распределением Парето. Сегодня покажем, как оно выглядит в жизни, измерив количество дружеских связей между подписчиками vk-сообщества Матчасти.
Для выгрузки данных мы воспользовались кодом на Python (блокнот по адресу goo.gl/UYSbeV) и официальным API VK. В сообществе оказалось 700 с чем-то подписчиков, многие из которых находятся друг у друга в друзьях. Соединили их в граф, посчитали распределение степени его вершин, и оказалось, что это распределение Парето.
В сегодняшнем посте много картинок, поэтому мы выложили его в формате статьи. Читайте и наслаждайтесь!
# матчасть #weirdMath #математика #статистика #теорияграфов
Для выгрузки данных мы воспользовались кодом на Python (блокнот по адресу goo.gl/UYSbeV) и официальным API VK. В сообществе оказалось 700 с чем-то подписчиков, многие из которых находятся друг у друга в друзьях. Соединили их в граф, посчитали распределение степени его вершин, и оказалось, что это распределение Парето.
В сегодняшнем посте много картинок, поэтому мы выложили его в формате статьи. Читайте и наслаждайтесь!
# матчасть #weirdMath #математика #статистика #теорияграфов
GitHub
weirdMath/graph_of_subscribers.ipynb at master · avidale/weirdMath
some examples of "high math" that we can play with - avidale/weirdMath