Сегодня поговорим не про математику, а про бизнес, а именно, про персональные данные и права на них.
В прошлом году группа Mail.ru судилась с компанией Double Data по поводу прав на данные о пользователях vk. В Double Data давно научились парсить публично доступные данные этой соцсети (и четырёх других), перерабатывать их в признаки, полезные для кредитного скоринга, и продавать банкам. Бизнес получился очень хороший: Double интегрировались с Национальным бюро кредитных историй, всячески помогали банкам измерять и обосновывать выгоды от использования данных из соцсетей для кредитного скоринга, и их продукт был нарасхват. Пока Mail.ru не очнулась и не осознала, что кто-то делает деньги на открытых данных у них под носом.
Когда в октябре суд отклонил иск Mail.ru, я был не удивлён, и прогнозировал, что Mail.ru в итоге договорится с Double Data о разделе прибыли: все интеграции давно налажены, бизнес-модель себя хорошо зарекомендовала, и проблема Mail в том, что они в эту цепочку вовремя не встроились.
В феврале апелляционный суд всё-таки обязал Double прекратить использовать данные соцсети. Возможно, на них произвёл впечатление скандал вокруг Cambridge Analitics, которые использовали данные из Facebook в предвыборной кампании Трампа, чем наделали немало шуму. А может быть, просто попались судьи, которым Double не понравилась по каким-то их собственным причинам. Так или иначе, мой прогноз не оправдался.
А ещё месяц спустя Mail.ru Group объявила, что сама интегрировалась с НБКИ, и будет продавать данные для кредитного скоринга на "легальной и прозрачной основе" . По факту - те же самые данные, что продавали и Double. То есть в Мэйле всё-таки осознали, что за монетизацией данных из соцсетей будущее, и просто устранили ненужного посредника.
А будущее действительно именно за этим: в равновесной ситуации данные из соцсетей будут использоваться. Действительно, банки, которые используют эти данные в своих предсказательных моделях, получают более качественный скоринг, более низкие кредитные потери, и в итоге могут позволить себе предоставлять более выгодные условия по кредитам для своих клиентов. Поэтому именно такие банки победят в конкурентной борьбе. Пользователи сами будут давать ссылки на свои странички в соцсетях, чтобы повысить шансы одобрения кредита (и уже дают - например, их запрашивает Тинькофф).
У соцсетей остаётся выбор - либо ограничивать сбор данных, и тем самым создавать чёрный рынок, либо легализовывать и регулировать использование этих данных. Закрыть их совсем - не получится, потому что это означает закрыть саму соцсеть. Ведь всё, что видите вы на моей страничке, может увидеть и поисковый робот.
Так что пока Facebook закручивает гайки, Mail впереди планеты всей, и ставит использование социальных данных на поток. И почему-то мне кажется, что остальные соцсети рано или поздно последуют этому примеру.
В прошлом году группа Mail.ru судилась с компанией Double Data по поводу прав на данные о пользователях vk. В Double Data давно научились парсить публично доступные данные этой соцсети (и четырёх других), перерабатывать их в признаки, полезные для кредитного скоринга, и продавать банкам. Бизнес получился очень хороший: Double интегрировались с Национальным бюро кредитных историй, всячески помогали банкам измерять и обосновывать выгоды от использования данных из соцсетей для кредитного скоринга, и их продукт был нарасхват. Пока Mail.ru не очнулась и не осознала, что кто-то делает деньги на открытых данных у них под носом.
Когда в октябре суд отклонил иск Mail.ru, я был не удивлён, и прогнозировал, что Mail.ru в итоге договорится с Double Data о разделе прибыли: все интеграции давно налажены, бизнес-модель себя хорошо зарекомендовала, и проблема Mail в том, что они в эту цепочку вовремя не встроились.
В феврале апелляционный суд всё-таки обязал Double прекратить использовать данные соцсети. Возможно, на них произвёл впечатление скандал вокруг Cambridge Analitics, которые использовали данные из Facebook в предвыборной кампании Трампа, чем наделали немало шуму. А может быть, просто попались судьи, которым Double не понравилась по каким-то их собственным причинам. Так или иначе, мой прогноз не оправдался.
А ещё месяц спустя Mail.ru Group объявила, что сама интегрировалась с НБКИ, и будет продавать данные для кредитного скоринга на "легальной и прозрачной основе" . По факту - те же самые данные, что продавали и Double. То есть в Мэйле всё-таки осознали, что за монетизацией данных из соцсетей будущее, и просто устранили ненужного посредника.
А будущее действительно именно за этим: в равновесной ситуации данные из соцсетей будут использоваться. Действительно, банки, которые используют эти данные в своих предсказательных моделях, получают более качественный скоринг, более низкие кредитные потери, и в итоге могут позволить себе предоставлять более выгодные условия по кредитам для своих клиентов. Поэтому именно такие банки победят в конкурентной борьбе. Пользователи сами будут давать ссылки на свои странички в соцсетях, чтобы повысить шансы одобрения кредита (и уже дают - например, их запрашивает Тинькофф).
У соцсетей остаётся выбор - либо ограничивать сбор данных, и тем самым создавать чёрный рынок, либо легализовывать и регулировать использование этих данных. Закрыть их совсем - не получится, потому что это означает закрыть саму соцсеть. Ведь всё, что видите вы на моей страничке, может увидеть и поисковый робот.
Так что пока Facebook закручивает гайки, Mail впереди планеты всей, и ставит использование социальных данных на поток. И почему-то мне кажется, что остальные соцсети рано или поздно последуют этому примеру.
Нас тут вчера засыпали вопросами о том, как именно можно использовать данные из вконтактика для того, чтобы строить кредитные скоры. Пришлось искать научные подтверждения.
Проще всего оказалось ответить на этот вопрос статьёй хорошего вышкинско-сберовского парня Алексея Масютина. На его данных (27 тысяч потребительских кредитов) оказалось, что модельки, построенные на одних только (!) данных из VK, обладают приличной дискриминационной способностью - ROC AUC под 70%. С этим уже вполне можно делать бизнес.
Из любопытных наблюдений - заёмщики с "либеральными" и "безразличными" политическими взглядами возвращают лучше "монархистов", "коммунистов" и "социалистов", а "влюблённые" и те, у кого "всё сложно", сильно менее финансово устойчивые женатых.
Проще всего оказалось ответить на этот вопрос статьёй хорошего вышкинско-сберовского парня Алексея Масютина. На его данных (27 тысяч потребительских кредитов) оказалось, что модельки, построенные на одних только (!) данных из VK, обладают приличной дискриминационной способностью - ROC AUC под 70%. С этим уже вполне можно делать бизнес.
Из любопытных наблюдений - заёмщики с "либеральными" и "безразличными" политическими взглядами возвращают лучше "монархистов", "коммунистов" и "социалистов", а "влюблённые" и те, у кого "всё сложно", сильно менее финансово устойчивые женатых.
Вчера мы упомянули относительно простую практическую работу: собрать профили VK кучи заёмщиков, вычислить на них признаки, построить логистическую регрессию, и сказать, что вот такие-то признаки сильно влияют на кредитное поведение людей. Вообще это очень похоже на ежедневную рутину data scientist'a. А что тут можно сделать более научного?
Одно из направлений того, как можно углубить эту работу - рассматривать не только признаки отдельных заёмщиков, но и то, как они взаимодействуют друг с другом в рамках единой сети. Гипотеза, что "хорошие" заёмщики дружат с "хорошими", а "плохие" - с "плохими", на практике подтверждается. Ну и учёным-теоретикам экономистам очень интересно ковыряться в сетевых взаимодействиях, ибо это позволяет усложнить, разнообразить, и в итоге приблизить к жизни теории, которые без этого довольно плоские.
Для любителей и повычислиять, и потеоретизировать есть книга (и одноименный онлайн-курс) Networks, Crowds, and Markets. Книга объединяет в себе кусочки теории графов, теории игр, и приложения этого к разным областям жизни, от политики до эпидемиологии.
Курс: edx.org/course/networks-crowds-markets-cornellx-info2040x-2
Книга: cs.cornell.edu/home/kleinber/networks-book/networks-book.pdf
P.S. На картинке один из моих любимых графов из этой книги - граф романтических отношений в одной из американских школ. Действительно, практически одна большая семья :)
#матчатсть #weirdMath #socialnetworkanalysis
Одно из направлений того, как можно углубить эту работу - рассматривать не только признаки отдельных заёмщиков, но и то, как они взаимодействуют друг с другом в рамках единой сети. Гипотеза, что "хорошие" заёмщики дружат с "хорошими", а "плохие" - с "плохими", на практике подтверждается. Ну и учёным-теоретикам экономистам очень интересно ковыряться в сетевых взаимодействиях, ибо это позволяет усложнить, разнообразить, и в итоге приблизить к жизни теории, которые без этого довольно плоские.
Для любителей и повычислиять, и потеоретизировать есть книга (и одноименный онлайн-курс) Networks, Crowds, and Markets. Книга объединяет в себе кусочки теории графов, теории игр, и приложения этого к разным областям жизни, от политики до эпидемиологии.
Курс: edx.org/course/networks-crowds-markets-cornellx-info2040x-2
Книга: cs.cornell.edu/home/kleinber/networks-book/networks-book.pdf
P.S. На картинке один из моих любимых графов из этой книги - граф романтических отношений в одной из американских школ. Действительно, практически одна большая семья :)
#матчатсть #weirdMath #socialnetworkanalysis
edX
Networks, Crowds and Markets
Explore the critical questions posed by how the social, economic, and technological realms of the modern world interconnect.
С кредитным скорингом мы скоро продолжим всерьёз, а пока вернёмся к статистикам. А именно, к робастным статистикам, которые ведут себя адекватно, когда моменты (среднее, дисперсия, асимметрия и так далее) сходят с ума.
Что значит "робастные" и "сходят с ума"? На самом деле, имеется в виду в первую очередь чувствительность к аномальным наблюдениям. Эти аномалии (они же выбросы) иногда возникают как ошибки в данных, а иногда соответствуют действительности, но на них просто не хочется концентрировать внимание. Например, если заёмщик, указывая доход, добавил лишний нолик, это дурацкая ошибка (или подтасовка), которую, тем не менее, может быть не так просто скорректировать. А у каких-то клиентов могут быть действительно семизначные доходы, но их меньшинство, и, если учитывать их при расчёте среднего дохода, то он может получиться больше, чем у большинства остальных клиентов, и не будет отражать "типичного клиента".
Мы говорили, что моменты (в частности, среднее арифметическое), основаны на суммировании, и это очень удобно. Но пока мы суммируем сами значения наблюдаемых величин, нет никакой гарантии, что к нашей сумме не добавится выброс, и всё не испортит. Причём чем выше порядок момента, тем проблем острее (т.е. выбросы больше влияют на дисперсию, чем на среднее, на асимметрию - больше, чем на дисперсию, и т.д.). Радикальный уход от этой проблемы - не использовать при расчёте статистик значения наблюдений вообще, а только их порядок относительно друг друга.
Например, место среднего можно тогда использовать медиану: она вообще не меняется, если увеличивать значения и так больших наблюдений, или уменьшать значения маленьких. Вместо стандартного отклонения можно использовать, скажем, расстояния между 25% и 75% квантилями (или любой другой парой, даже не обязательно расположенной симметрично относительно центра). И так далее: почти любое интуитивно понятное свойство распределений не очень сложно выразить через квантили.
Это, кстати, решает и проблему интегрируемости: если моментов у каких-то странных распределений может не существовать (потому что если считать моменты через интегралы, то те просто расходятся), то вот квантили существуют всегда. Квантили в общем случае сложнее считаются (приходится сортировать данные, а если их много, это может быть трудозатратной операцией). Но зато квантили (если они не близки к 0% и 100%) можно считать по маленьким случайным выборкам, и их значения, как правило, будут близки к тем, которые получаются на всей генеральной совокупности.
А вообще, свойства выборок - это отдельная большая и важная тема, которую мы затронем в ближайших постах. До скорого!
#матчасть #математика #weirdMath #статистики #метрики #robust
Что значит "робастные" и "сходят с ума"? На самом деле, имеется в виду в первую очередь чувствительность к аномальным наблюдениям. Эти аномалии (они же выбросы) иногда возникают как ошибки в данных, а иногда соответствуют действительности, но на них просто не хочется концентрировать внимание. Например, если заёмщик, указывая доход, добавил лишний нолик, это дурацкая ошибка (или подтасовка), которую, тем не менее, может быть не так просто скорректировать. А у каких-то клиентов могут быть действительно семизначные доходы, но их меньшинство, и, если учитывать их при расчёте среднего дохода, то он может получиться больше, чем у большинства остальных клиентов, и не будет отражать "типичного клиента".
Мы говорили, что моменты (в частности, среднее арифметическое), основаны на суммировании, и это очень удобно. Но пока мы суммируем сами значения наблюдаемых величин, нет никакой гарантии, что к нашей сумме не добавится выброс, и всё не испортит. Причём чем выше порядок момента, тем проблем острее (т.е. выбросы больше влияют на дисперсию, чем на среднее, на асимметрию - больше, чем на дисперсию, и т.д.). Радикальный уход от этой проблемы - не использовать при расчёте статистик значения наблюдений вообще, а только их порядок относительно друг друга.
Например, место среднего можно тогда использовать медиану: она вообще не меняется, если увеличивать значения и так больших наблюдений, или уменьшать значения маленьких. Вместо стандартного отклонения можно использовать, скажем, расстояния между 25% и 75% квантилями (или любой другой парой, даже не обязательно расположенной симметрично относительно центра). И так далее: почти любое интуитивно понятное свойство распределений не очень сложно выразить через квантили.
Это, кстати, решает и проблему интегрируемости: если моментов у каких-то странных распределений может не существовать (потому что если считать моменты через интегралы, то те просто расходятся), то вот квантили существуют всегда. Квантили в общем случае сложнее считаются (приходится сортировать данные, а если их много, это может быть трудозатратной операцией). Но зато квантили (если они не близки к 0% и 100%) можно считать по маленьким случайным выборкам, и их значения, как правило, будут близки к тем, которые получаются на всей генеральной совокупности.
А вообще, свойства выборок - это отдельная большая и важная тема, которую мы затронем в ближайших постах. До скорого!
#матчасть #математика #weirdMath #статистики #метрики #robust
Как и обещали, рассказываем про распределения, богатые на экстремальные значения - такие, у которых даже дисперсия и матожидание могут быть не определены. В первую очередь, про распределение Парето.
Распределение Парето имеет непосредственное отношение к "правилу Парето", которое он исходно сформулировал сто лет назад как "80% доходов в Италии сосредоточены у 20% семей". С философской точки правило Парето говорит, что, когда речь идёт о социуме, многие распределения очень неравномерны. А математически это часто выражается как степенной закон: вероятность того, что случайная величина превысит порог t, убывает с ростом t, как t в какой-то отрицательной степени.
Самые разные распределения подчиняются степенному закону: число друзей у пользователей соцсетей, количество покупок различных товаров, частота использованя слов в языке, распределение размеров городов и массы звёзд, степень цитируемости научных статей... Это заставляет задуматься, а нет ли какого-то универсального механизма, объединяющего эти процессы, и создающего экстремально неравномерные распределения?
Подобный механизм описал задолго до Парето апостол Матфей: "ибо всякому имеющему дастся и приумножится, а у неимеющего отнимется и то, что имеет". Говоря современным языком, положительная обратная связь. Чем больше звезда, тем больше в неё падает космического мусора, и тем быстрее она растёт. Чем больше в группе подписчиков, тем больше её репостят, и тем быстрее приходят новые подписчики.
В экономике подобная закономерность называется "сетевой эффект": чем больше людей пользуются продуктом, тем более полезным становится этот продукт. Например, чем больше моих знакомых пользуются Телеграмом, тем больше мне хочется тоже им пользоваться. Благодаря этому эффекту небольшое количество мессенджеров (маркетплейсов, операционных систем, провайдеров связи...) завоёвывает практически весь рынок, а остальные (коих множество) довольствуются маленькими нишами.
За счёт чего в таких ситуациях "ломается" центральная предельная теорема? Она гласит, что распределение суммы большого количества примерно одинаковых и независимых факторов похоже на нормальное. Но распределение Парето обычно появляется там, где нарушается допущение о независимости: деньги притягивают деньги, френды - френдов, цитирования статьи - новые цитирования. Тот, у кого было на старте лишь незначительное преимущество, в итоге может за его счёт вырваться далеко вперёд.
Осталось объяснить, что значит "не существует матожидания (среднего)". Если говорить о генеральной совокупности, в которой действует формула функции распределения, это означает несходимость интеграла. Напомним, чтобы рассчитать матожидание, нужно усреднить все возможные значения X случайной величины по плотности f(X), то есть проинтегрировать величину X*f(X). Так вот, если показатель степени k из формулы Парето меньше 1, то этот интеграл равен бесконечности. То есть матожидание "неограниченно большое".
С точки зрения выборочных оценок (статистик!) это означает нестабильность. Если матожидание существует, то действует закон больших чисел: ростом выборки среднее по этой выборке сходится всё ближе к постоянному значению (матожиданию), и возле него стабилизируется. Но если выборки берутся из распределения без матожидания, то стабилизации не происходит: с добавлением новых наблюдений среднее растёт скачками, и может расти неограниченно.
Распределение Парето имеет непосредственное отношение к "правилу Парето", которое он исходно сформулировал сто лет назад как "80% доходов в Италии сосредоточены у 20% семей". С философской точки правило Парето говорит, что, когда речь идёт о социуме, многие распределения очень неравномерны. А математически это часто выражается как степенной закон: вероятность того, что случайная величина превысит порог t, убывает с ростом t, как t в какой-то отрицательной степени.
Самые разные распределения подчиняются степенному закону: число друзей у пользователей соцсетей, количество покупок различных товаров, частота использованя слов в языке, распределение размеров городов и массы звёзд, степень цитируемости научных статей... Это заставляет задуматься, а нет ли какого-то универсального механизма, объединяющего эти процессы, и создающего экстремально неравномерные распределения?
Подобный механизм описал задолго до Парето апостол Матфей: "ибо всякому имеющему дастся и приумножится, а у неимеющего отнимется и то, что имеет". Говоря современным языком, положительная обратная связь. Чем больше звезда, тем больше в неё падает космического мусора, и тем быстрее она растёт. Чем больше в группе подписчиков, тем больше её репостят, и тем быстрее приходят новые подписчики.
В экономике подобная закономерность называется "сетевой эффект": чем больше людей пользуются продуктом, тем более полезным становится этот продукт. Например, чем больше моих знакомых пользуются Телеграмом, тем больше мне хочется тоже им пользоваться. Благодаря этому эффекту небольшое количество мессенджеров (маркетплейсов, операционных систем, провайдеров связи...) завоёвывает практически весь рынок, а остальные (коих множество) довольствуются маленькими нишами.
За счёт чего в таких ситуациях "ломается" центральная предельная теорема? Она гласит, что распределение суммы большого количества примерно одинаковых и независимых факторов похоже на нормальное. Но распределение Парето обычно появляется там, где нарушается допущение о независимости: деньги притягивают деньги, френды - френдов, цитирования статьи - новые цитирования. Тот, у кого было на старте лишь незначительное преимущество, в итоге может за его счёт вырваться далеко вперёд.
Осталось объяснить, что значит "не существует матожидания (среднего)". Если говорить о генеральной совокупности, в которой действует формула функции распределения, это означает несходимость интеграла. Напомним, чтобы рассчитать матожидание, нужно усреднить все возможные значения X случайной величины по плотности f(X), то есть проинтегрировать величину X*f(X). Так вот, если показатель степени k из формулы Парето меньше 1, то этот интеграл равен бесконечности. То есть матожидание "неограниченно большое".
С точки зрения выборочных оценок (статистик!) это означает нестабильность. Если матожидание существует, то действует закон больших чисел: ростом выборки среднее по этой выборке сходится всё ближе к постоянному значению (матожиданию), и возле него стабилизируется. Но если выборки берутся из распределения без матожидания, то стабилизации не происходит: с добавлением новых наблюдений среднее растёт скачками, и может расти неограниченно.
Чтобы показать, как может выглядеть такое нестабильное усреднение, я взял список крупных городов России, и начал случайно отбирать из него всё новые города. Пока я отбирал первые 17, среднее население было стабильным, около 100 тысяч. Потом добавилась Рязань (там живут полмиллиона), и среднее по всей выборке сразу скакнуло до 130. И стабильно где-то там было, пока 33-ей не добавилась Уфа (население чуть больше миллиона), и общее среднее прыгнуло к 165. Потом среднее скакнуло к 200, когда добавились Саратов и Казань, и ещё около 250 городов оно гуляло в районе этих 200 тысяч. А когда казалось, что вот уже совсем среднее стабилизировалось, в выборку добавилась Москва, и среднее снова резко скакнуло, уже ближе к 300. И если бы в России было неограниченное количество городов, то и среднее по выборке продолжало бы так же неограниченно расти. Обобщаем полученный опыт: если вы имеете дело с распределением Парето, то аномальные объекты ("чёрные лебеди") могут внезапно появиться и резко изменить вам всю статистику.
Коротенькие практические выводы из нашего рассказа: если возможны сетевые эффекты, то будьте избирательны (концентрируйтесь на самых важных запросах/клиентах/товарах/городах), и не слишком доверяйте средним значениям. Ну и вообще просто задумывайтесь о том, с каким распределением имеете дело. И да пребудет с вами power law!
#матчасть #математика #weirdMath #теорвер #распределения #fattail #pareto #powerlaw
Коротенькие практические выводы из нашего рассказа: если возможны сетевые эффекты, то будьте избирательны (концентрируйтесь на самых важных запросах/клиентах/товарах/городах), и не слишком доверяйте средним значениям. Ну и вообще просто задумывайтесь о том, с каким распределением имеете дело. И да пребудет с вами power law!
#матчасть #математика #weirdMath #теорвер #распределения #fattail #pareto #powerlaw
В предыдущем посте мы познакомили вас с распределением Парето. Сегодня покажем, как оно выглядит в жизни, измерив количество дружеских связей между подписчиками vk-сообщества Матчасти.
Для выгрузки данных мы воспользовались кодом на Python (блокнот по адресу goo.gl/UYSbeV) и официальным API VK. В сообществе оказалось 700 с чем-то подписчиков, многие из которых находятся друг у друга в друзьях. Соединили их в граф, посчитали распределение степени его вершин, и оказалось, что это распределение Парето.
В сегодняшнем посте много картинок, поэтому мы выложили его в формате статьи. Читайте и наслаждайтесь!
# матчасть #weirdMath #математика #статистика #теорияграфов
Для выгрузки данных мы воспользовались кодом на Python (блокнот по адресу goo.gl/UYSbeV) и официальным API VK. В сообществе оказалось 700 с чем-то подписчиков, многие из которых находятся друг у друга в друзьях. Соединили их в граф, посчитали распределение степени его вершин, и оказалось, что это распределение Парето.
В сегодняшнем посте много картинок, поэтому мы выложили его в формате статьи. Читайте и наслаждайтесь!
# матчасть #weirdMath #математика #статистика #теорияграфов
GitHub
weirdMath/graph_of_subscribers.ipynb at master · avidale/weirdMath
some examples of "high math" that we can play with - avidale/weirdMath
Сегодня на конференции Data&Science в Яндексе выступал Саша Белугин - преподаватель НИУ ВШЭ и до недавноего времени главный project manager в Yandex Data Factory. Он поделился своим взглядом на особенности проектного управления в задачах, связанных c анализом данных (в первую очередь - в промышленности, ибо последний год YDF занималась именно этим). А я записал его лекцию, и сейчас пересказываю своими словами, иногда вставляя что-то от себя. Таких постов будет несколько, ибо и спикер сегодня был не один. Начнём же!
#матчасть #weirdMath #datascience #machinelearning #projectmanagement
#матчасть #weirdMath #datascience #machinelearning #projectmanagement
Базовых варианта ценообразования проектов (в частности, в data science) существует три: фиксированная цена, пропорционально затратам, и пропорционально результату. О выборе между ними рассказал Роман Чеботарёв, CTO из Theta Data Solutions, на конференции Data&Science в Яндексе.
Сложности обычно приходят при закрытии проекта: клиент и исполнитель не могут договориться о цене. Поэтому договариваться надо заранее.
#матчасть #weirdMath #datascience #machinelearning #projectmanagement #pricing
Сложности обычно приходят при закрытии проекта: клиент и исполнитель не могут договориться о цене. Поэтому договариваться надо заранее.
#матчасть #weirdMath #datascience #machinelearning #projectmanagement #pricing