Краудсорсинг + Машинное обучение = Страшная сила
В России
1) всевозможные т.н. «краудсорсинговые платформы» для общественных голосований и сбора мнений превратились в инструмент профанации и манипуляций;
2) разнообразные «технологии коллективного прогнозирования (рынки предсказаний)» не многим превосходят в своих прогнозах гадалок из объявлений в желтой прессе.
Причина этого в том, что в России, в отличие, например, от машинного обучения (хвала Яндексу и его соратникам), краудсорсинг и рынки предсказаний используются на доисторическом уровне, - то есть так:
— как их себе представляли лет 20 назад (типа «мудрость толпы» всех победит),
— как они правильно работать не могут в 9 случаях из 10 (что доказано и объяснено в десятках зарубежных исследований последних лет).
Почему это произошло, я здесь разбирать не буду. Это долго для формата короткого поста. Да и не нужно о грустном перед выходными.
Лучше в качестве иллюстрации продолжающегося бума зарубежных исследований в этой области, приведу новую великолепную работу, решающую доселе нерешаемую задачу «спасения коллективной мудрости», когда среднее мнение группы ошибочно (как оно в жизни, обычно, и бывает).
https://goo.gl/BMt4Xx Ценность полученных здесь результатов трудно переоценить.
Скажу лишь, что эта работа – серьезное основание задуматься о переводе всевозможных всенародных голосований (вплоть до выборов верховной власти и национальных референдумов) из офлайна в онлайн.
Новая методика агрегации множества мнений для принятия решений (вкл. прогнозирование) разработана на стыке наук о коллективном поведении животных, психологии и машинного обучения.
Методика основана на:
✔️ т.н. «гипотезе многих глаз» (Many Eyes Hypothesis) - механизме оптимальной коллективной бдительности живых существ, минимизирующем потери при нападении хищников;
✔️ включении в обучающий контур методики машинного обучения;
✔️ расчете и анализе: гомогенности распределения знаний среди участников «толпы», значимости «толстого хвоста» распределения вероятностей и степени распространенности предубеждений.
Методика выделяет в «толпе» т.н. «информированное меньшинство», извлекает максимум полезной информации из коллективного мнения «неинформированного большинства» и, применяя механизм «многих глаз», не только радикально решает проблему «безумия толпы» (падение точности ответов/предсказаний при росте численности группы), но и позволяет гарантированно находить максимально корректные ответы/предсказания в тех доменах знаний/практик, на которые предварительно натаскана система машинного обучения.
Это означает, что для получения оптимального агрегатора мнений толпы, сначала нужно натренировать систему машинного обучения. Но это естественная плата для любого применения машинного обучения. Зато каков результат!
Новая методика – это уже 3я революция в данной области за год!
О первых двух писал здесь
https://goo.gl/Wo6FNb и здесь
https://goo.gl/eEnVp8 #Краудсорсинг #РынкиПредсказаний