НАЙДЕН ОПТИМАЛЬНЫЙ СПОСОБ ПРИНЯТИЯ РЕШЕНИЙ

Это потрясающее открытие имеет колоссальные перспективы.

Оно может принципиально изменить способ принятия решений в бизнесе, социальной сфере, госуправлении и даже в организации государственной власти.

Повышение качества управления (важнейший фактор в конкурентной борьбе) - это улучшение соотношения удачно принятых (то есть правильных) решений к общему количеству принимаемых решений.

Сегодня, согласно McKinsey, как минимум, половина управленческих решений оказываются не верными, не смотря на все усилия науки и управленческих практик - см. например, здесь, здесь, здесь и здесь.

И хотя человечество уже вплотную подошло к необходимости включения в процесс принятия решений «социального интеллекта» («social intelligence»), методы краудсорсинга, «интеллекта роя» и пр. пока что не смогли изменить удручающую ситуацию с неумением людей найти оптимальную схему принятия сложных решений.

Прорыв произошел довольно неожиданно. На стыке нейронауки, теории информации, теории коллективного поведения и статистической физики удалось построить и верифицировать на большом объеме экспериментальных данных динамическую, стохастическую, распределенную модель принятия решений.

   Вопросы, поставленные авторами исследования, были достаточно сумасшедшими, равно как и 100%но научными:
-- как принимаются решения мозгом? 
-- на уровне отдельных нейронов или огромной сетью коммуницирующих нейронов?
-- какова схема этого - как это происходит, и как организован процесс принятия решений?

Природа, в ходе эволюции, смогла создать так и не превзойденные современной наукой механику и биохимию живых существ. Логично предположить, что и в вопросе поиска наилучшей схемы принятия решений нейронами головного мозга природа опережает достигнутый уровень развития науки.

Новое исследование Центра Биосоциальных Сложных Систем и «Института сумасшедших идей» в Сата-Фе не только определило схему принятия решений нейронами головного мозга, но и доказало, что эта схема является оптимальной для любых коллективных вычислений, производимых сетью интеллектуальных агентов.

Эта схема, названная «кодирующая двойственность» состоит их 2х этапов.

— Первый этап более всего похож на то, что я, в свое время, назвал термином синтеллектуальный краудсорсинг - отличающийся от традиционного краудсорсинга, в первую очередь, ограничением на взаимодействие интеллектуальных агентов в начальной фазе процесса принятия решения.
Цель данного этапа – накопление информации в условиях подавления информационного шума.

— Второй этап – это «формирование консенсуса», в ходе которого информация быстро распространяется от «знающих» нейронов (имеющих доступ к информации) к множеству остальных участвующих в схеме нейронов, резко увеличивая этим избыточность в системе.

Принципиальным для эффективности схемы является то, что этапы накопления и консенсуса, отличаются разными временными шкалами.


#Нейронаука #ПринятиеРешений #Краудсорсинг

Краудсорсинг + Машинное обучение = Страшная сила
В России
1) всевозможные т.н. «краудсорсинговые платформы» для общественных голосований и сбора мнений превратились в инструмент профанации и манипуляций;
2) разнообразные «технологии коллективного прогнозирования (рынки предсказаний)» не многим превосходят в своих прогнозах гадалок из объявлений в желтой прессе.
Причина этого в том, что в России, в отличие, например, от машинного обучения (хвала Яндексу и его соратникам), краудсорсинг и рынки предсказаний используются на доисторическом уровне, - то есть так:
— как их себе представляли лет 20 назад (типа «мудрость толпы» всех победит),
— как они правильно работать не могут в 9 случаях из 10 (что доказано и объяснено в десятках зарубежных исследований последних лет).
Почему это произошло, я здесь разбирать не буду. Это долго для формата короткого поста. Да и не нужно о грустном перед выходными.

Лучше в качестве иллюстрации продолжающегося бума зарубежных исследований в этой области, приведу новую великолепную работу, решающую доселе нерешаемую задачу «спасения коллективной мудрости», когда среднее мнение группы ошибочно (как оно в жизни, обычно, и бывает).
https://goo.gl/BMt4Xx
Ценность полученных здесь результатов трудно переоценить.
Скажу лишь, что эта работа – серьезное основание задуматься о переводе всевозможных всенародных голосований (вплоть до выборов верховной власти и национальных референдумов) из офлайна в онлайн.
Новая методика агрегации множества мнений для принятия решений (вкл. прогнозирование) разработана на стыке наук о коллективном поведении животных, психологии и машинного обучения.

Методика основана на:
✔️ т.н. «гипотезе многих глаз» (Many Eyes Hypothesis) - механизме оптимальной коллективной бдительности живых существ, минимизирующем потери при нападении хищников;
✔️ включении в обучающий контур методики машинного обучения;
✔️ расчете и анализе: гомогенности распределения знаний среди участников «толпы», значимости «толстого хвоста» распределения вероятностей и степени распространенности предубеждений.

Методика выделяет в «толпе» т.н. «информированное меньшинство», извлекает максимум полезной информации из коллективного мнения «неинформированного большинства» и, применяя механизм «многих глаз», не только радикально решает проблему «безумия толпы» (падение точности ответов/предсказаний при росте численности группы), но и позволяет гарантированно находить максимально корректные ответы/предсказания в тех доменах знаний/практик, на которые предварительно натаскана система машинного обучения.

Это означает, что для получения оптимального агрегатора мнений толпы, сначала нужно натренировать систему машинного обучения. Но это естественная плата для любого применения машинного обучения. Зато каков результат!

Новая методика – это уже 3я революция в данной области за год!
О первых двух писал здесь https://goo.gl/Wo6FNb и здесь https://goo.gl/eEnVp8
#Краудсорсинг #РынкиПредсказаний

Упертые несогласные кардинально повышают качество коллективных решений.
Этот 3й за полгода удивительный научный прорыв https://goo.gl/eqdpo6 подводит нас все ближе к открытию нового класса законов природы.

1) В июльском посте «Найден оптимальный способ принятия решений» https://t.me/theworldisnoteasy/282 я рассказал о прорывном открытии на стыке нейронауки, теории информации, теории коллективного поведения и статистической физики.
Исследователям Центра Биосоциальных Сложных Систем (С4) удалось построить и верифицировать на большом объеме экспериментальных данных динамическую, стохастическую, распределенную модель принятия решений.
С помощью этой модели была выявлена схема организации процесса принятия решений в мозге огромной сетью коммуницирующих нейронов, названная авторами «кодирующая двойственность».

2) А в ноябре состоялся другой научный прорыв, о котором я писал в посте «На пороге открытия нового класса законов природы» https://t.me/theworldisnoteasy/357.
Центр С4 опубликовал революционные результаты нового исследования, объясняющего, зачем адаптивные системы организуются во все более сложные укрупняющиеся структуры (от колоний бактерий до государств у людей).
Было показано, что создание иерархических многоуровневых структур – это закон природы, типа 2го закона термодинамики для живых систем. Это происходит для повышения эффективности обработки информации при коллективных вычислениях, осуществляемых элементами системы в условиях большой информационной зашумленности и разброса мнений.
Цель всего этого – улучшение предсказаний будущего, обеспечивающее максимальную адаптационную способность системы.

3) 1ое прорывное исследование открыло общую схему организации процесса принятия коллективных решений в сетях нейронов.
2й революционный прорыв распространил эту схему на принятие коллективных решений во всей живой природе (стая, племя, общество) и выявил ключевой механизм, отличающий процесс коллективного взаимодействия элементов в био-социальных (живых) и физических (неживых) системах. Этот механизм - создание иерархической многоуровневой структуры обработки информации, принятия решений и управления.

Только что опубликованное 3е исследование, с помощью еще более сложной и точной модели, выявило основной модельный фактор, повышающий качество коллективных решений, вырабатываемых вышеупомянутым механизмом, реализующим вышеупомянутую схему. После чего выявленный модельный фактор был проверен в полевых условиях на процессах принятия решений в сообществах обезьян (в этом смысле, жутко похожих на нас).

Выявленным ключевым фактором оказалась численность упертых несогласных, - имеющих собственное мнение, не вписывающееся в агрегированный итог иерархического сбора мнений, и не готовых от него быстро отказаться даже под угрозой трепки от более сильных вожаков, признаваемых большинством за власть.
Чем больше упертых несогласных – тем выше качество коллективных решений. И похоже, это новый закон природы.

P.S. Снаряды ложатся все кучнее. Революционное открытие прошлого года в области эффективности краудсорсинга говорит, по сути, о том же - наибольшее вознаграждение в краудсорсинге должно выдаваться упертым несогласным, оказавшимся в итоге правыми (см. «Особое мнение – 2я революция в краудсорсинге» https://t.me/theworldisnoteasy/243)

Новое исследование https://goo.gl/6C7xB8 (сложно и за пейволом; кому нужен текст, пишите)
Популярно о нем: https://goo.gl/EN3J2u и https://goo.gl/pWdtVJ (оба по 1 мин)
Эссе об этом направлении работ С4 «Как природа решает проблемы с помощью вычислений» https://goo.gl/3b71TR (5 мин)

#ЭволюционнаяБиология #КоллективныеВычисления #Нейронаука #ПринятиеРешений #Краудсорсинг

Черные лебеди, как новый закон природы.
Важнейшим последствием продолжения прорывной серии открытий центра С4 (о чем я писал вчера), может стать выработка стратегий предотвращения «Черных лебедей».
И поскольку у вас могут не дойти руки:
— до рекомендованного мною вчера эссе https://goo.gl/3b71TR
— до научных статей C4 https://goo.gl/DMjYRg
— до превосходных публичных лекций С4 https://goo.gl/mXaM8q , —
попробую выжать «сухой остаток» из этих сотен страниц и десятков часов видео на 2 мин. вашего чтения.

I) О «Черных лебедях» и коллективном поведении.
«Черные лебеди» возникают в результате коллективного поведения людей в предкритических ситуациях. Это относится к любым «Черным лебедям», - непредвиденные глобальные обвалы финансовых рынков, национальные и глобальные экономические кризисы, эпидемии схлопывания политических режимов, типа «Арабской весны».

Ключевых факторов того, взлетит ли новый «Черный лебедь» или все как-то утрясется без катастроф, два:
1) насколько близко подошла система к критической (переломной) точке - фазовому переходу системы;
2) в какую сторону: к критической точке или от нее подталкивает систему коллективное поведение.
Это похоже на толпу у обрыва над пропастью.
— Как поведет себя толпа?
— Будет ли она в результате сотен индивидуальных действий еще ближе приближаться к краю, а потом и просто выдавливать в пропасть людей?
— Или сумеет самоорганизоваться, начнет пятиться от края и тем самым предотвратит катастрофу?

Понять степень близости системы к критической точке – задача междисциплинарных исследований в соответствующей области: финансы и т.д. Этим занимаются в исследовательских центрах типа NECSI.

Понимание того, по каким схемам и с помощью каких механизмов формируются коллективные: поведение, действия, принятие решений – это задача исследований центра С4.

II) О большой войне, как новом законе природы
Исследования на матмоделях с проверкой на обезьянах позволило понять, как социальные и другие био-системы переходят из состояния А в Б. Например:
— Коллективное вычисление, выясняющее, кто в обезьяньей стае власть, требует множества драк с участием от 2х до 30+ особей.
— Маленькие драки часты, большие - редки.
— На модели с проверкой на практике удалось собрать данные о решениях отдельных особей присоединиться к драке.
— На основе этого определили число обезьян, чья склонность присоединиться к драке должна увеличиться, чтобы приблизить систему к критической точке (тотальная потасовка с непредсказуемым для стаи результатом).
— Оказалось, что требуется всего 3-5 особей, чтобы подтолкнуть систему к краю пропасти.
— Дальше определили, как самые статусные индивиды способны чуть ли ни в одиночку довести до тотальной драки.

И вот тут откровение!
Выяснилось, что катастрофа тотального боя как бы притягивает участников. А его последствия, при всей катастрофичности, позволяют решить иначе не решаемую задачу:
✔️ полностью переконфигурировать стаю в ситуации, когда окружающая среда меняется от известной до неизвестной.
Т.е. вот она причина того, что большой войны оказывается не миновать.
Оказывается, что «Черные лебеди» прилетают к нам не по собственной воле.

Это наше коллективное рассогласование с кардинально изменившейся средой так меняет наше поведение, что мы сами толкаем ситуацию в пропасть.

И это, похоже, еще один новый закон природы.
#ЭволюционнаяБиология #КоллективныеВычисления #Нейронаука #ПринятиеРешений #Краудсорсинг #ЧерныйЛебедь

Новое исследование 5ти университетов США и Германии совместно с 2мя институтами (Санта-Фе и Макса Планка) – это очередной важный прорыв в области технологий повышения коллективного интеллекта.
Мудрость толпы (явление, известное и описанное давным-давно и ставшее страшно популярным после одноименной книги Шуровецки) лежит в основе краудсорсинга – самого на сегодня проработанного класса технологий построения и эксплуатации коллективного интеллекта для принятия решений.

Последние 2 года стали для краудсорсинга переломными. Были опубликованы 4 прорывные исследования, способные произвести революцию в краудсорсинге и, кардинально повысив его эффективность, превратить коллективный интеллект в признанный механизм принятия сложных решений в XXI веке.

Но не хватало последнего звена – экспериментального подтверждения матмодели. Как это было до 1919 г., когда предсказанное Эйнштейном гравитационное отклонение света было подтверждено.

И вот последнее звено, наконец, получено в 5ом прорывном исследовании краудсорсинга.

О предыстории и сути результатов нового исследования я написал здесь https://goo.gl/DkV42L (на 4 мин. чтения), заодно вспомнив, что прорыв в повышении эффективности краудсорсинга стал довольно редким примером хотя бы временного превосходства российской коммерческой IT технологии над западной.


#Краудсорсинг #КоллективныйИнтеллект

ЦРУ создает кентавров для предсказания будущего.

Эта тема — одна из моих любимых. И уже не первый месяц, как я собираюсь начать о ней писать.

Хотя не совсем так. Кое-что я уже про это писал. И даже не раз. Но не системно, а как-то по касательной. Как бы подступаясь к этой многогранной истории с разных сторон:
— писал об интеллектуальных кентаврах — симбиозе интеллекта человека и компьютера, — альтернативе мейнстриму ИИ технологий, плодящему «бездумные машины»;
— о том, как устроен интеллект человека, и в чем его принципиальное отличие от интеллекта компьютера;
— о возможности предсказания будущего;
— о роли случайности.

Наверное, наиболее проницательные из моих читателей уже поняли, куда я клоню.
К тому, что всё вышеперечисленное — грани одной комплексной темы: взаимосвязи интеллекта (человеческого, машинного, кентаврического) и предсказаний будущего. Но как они связаны — интеллект и предсказания?
Полагаю, хватить дробить эту тему. Пора попытаться нарисовать общую картину.

Но такой рассказ в один или даже пару постов не втиснуть. Слишком много здесь захватывающих, крайне малоизвестных и интригующих поворотов. Хочу попробовать редкий для е-каналов жанр — постосериал, еженедельно публикуя продолжение одной большой истории.
Ну а начну с прояснения заголовка. Как в этой теме сплелись кентавры и предсказания будущего, объясню чуть позже. А начну с интриги, — при здесь ЦРУ, да еще и на ключевой позиции.

Тегов у этого постосериала будет много:
#ИнтеллектКентавра #AI #ИИ #IA #AIA #Краудсорсинг #РынкиПредсказаний #АльтернативныйИИ #Прогнозирование #Будущее #ПринятиеРешений #Случайность #Память #КогнитивныеСистемы #Нейронаука #IARPA

Мда… И обо всем этом я собираюсь написать в одном постосериале? … Ну хотя бы попробую 😊
Вот 1й пост 1го сезона нового постосериала. https://goo.gl/2AemSJ

Проект «Карта будущего»
2й пост 1го сезона постосериала «ЦРУ создает кентавров для предсказания будущего»

Соперничество между военными и разведкой в США еще круче, чем соперничество между КГБ и МВД (во всех их исторических ипостасях). Т.е. было всегда и ныне процветает, касаясь, казалось бы, самых экзотических и неожиданных областей.
Самым ярким примером такого соперничества в последние десятилетия стала «30летняя война» Министерства обороны США и ЦРУ за первенство в обладании технологии предсказания будущего.

В 1й серии этого постосериала было рассказано, что:
✔️ предсказание будущего — это вовсе не шаманство, а острая необходимость для принятия решений в любом мало-мальски ответственном деле;
✔️ не смотря на крайнюю сложность более-менее точных предсказаний, людям все равно приходится делать предсказания каждый раз, когда нужно принимать решения — т.е. от предсказаний все равно никуда не денешься, и потому задача повышения точности предсказаний — крайне актуальная, вполне практическая и высокоприоритетная;
✔️ существуют 2х основных направления в области исследования методов и технологий повышения точности предсказаний:
— поиск и выявление супер-предсказателей;
— агрегация информации от многих предсказателей с использованием рыночных механизмов — рынков предсказаний.

Во 2ом посте будет рассказано о генеральном сражении «30летней войны» Министерства обороны США и ЦРУ за первенство в обладании технологией предсказания будущего.
Это генеральное сражение произошло 15 лет назад. Наступающей стороной было Министерство обороны США, а победителем стало ЦРУ.
Ну а главным героем этой битвы, во многом определившим направление исследований предсказания будущего на годы вперед, стал адмирал Пойндекстер — ключевая фигура наиболее хитроумных спецопераций американских военных, прозванный за это «Адмирал-затейник», а также:
— изобретатель ставшей сегодня широко известной технологии создания «Ситуационных центров»,
— отец стратегии информационных войн, программы тотального прослушивания и контртеррористических информационных операций,
— а ко всему прочему, страстный приверженец идеи необходимости поиска методов улучшения предсказаний будущего, как основного средства повышения национальной безопасности США.

Продолжить чтение в Instant View на Medium
https://goo.gl/9J2321

#ИнтеллектКентавра #AI #ИИ #IA #AIA #Краудсорсинг #РынкиПредсказаний #АльтернативныйИИ #Прогнозирование #Будущее #ПринятиеРешений #Случайность #Память #КогнитивныеСистемы #Нейронаука #IARPA

Предсказания становятся приоритетом.
3й пост постосериала «ЦРУ создает кентавров для предсказания будущего».

Новый этап исследований и разработок по предсказанию будущих событий для обеспечения национальной безопасности США возглавила разведка. Он продолжался до прошлого 2017 года и отличался от 1го этапа двумя принципиальными моментами:
1) Законодательный запрет на игру на деньги в области предсказаний, заставил сместить фокус исследований с рынков предсказаний на поиск супер-предсказателей и ряд других методов повышения эффективности предсказаний «коллективного интеллекта».
2) Объемы финансирования и, соответственно, число и разнообразие проектов качественно выросло после оглашения в 2004 результатов работы комиссии по теракту 9/11. Разведсообщество было поставлено перед фактом – делайте, что хотите, но такого повториться не должно.
Этот этап исследований можно условно назвать «Поиск максимума человеческих возможностей в предсказаниях». Об этом и будет рассказ.

Продолжить чтение в Instant View на Medium
https://goo.gl/4Y1Kp1

Предыдущие посты постосериала:
№1 https://goo.gl/2AemSJ
№2 https://goo.gl/9J2321

#ИнтеллектКентавра #AI #ИИ #IA #AIA #Краудсорсинг #РынкиПредсказаний #АльтернативныйИИ #Прогнозирование #Будущее #ПринятиеРешений #Случайность #Память #КогнитивныеСистемы #Нейронаука #IARPA

Не знаю, как читать, но писать о том, о чем в мире очень мало кто знает, - весьма увлекательно. Хочется писать и писать. Но даже лонгрид не резиновый.
Ну а как кратко описать, о чем этот лонгрид – вообще загадка.
Попробую последовать с детства любимому Жюлю-Верну.

Краткое содержание лонгрида про «топор под компасом американской разведки» и про то, кто кого сборет - краудсорсинг против рынков предсказаний:

Бомба замедленного действия. — Таинственная смерть на Эвересте. — Триумф и крах Intrade. — Упреждающая разведка. — ЦРУ спешит на помощь. — Результативность прогнозов растет. — Но точность хромает. — Два сокрушительных удара. — Черные лебеди не ловятся. — Требуются кентавры.

Мой новый пост https://goo.gl/ggcXCo

#ИнтеллектКентавра #AI #ИИ #IA #AIA #Краудсорсинг #РынкиПредсказаний #АльтернативныйИИ #Прогнозирование #Будущее #ПринятиеРешений #Случайность #Память #КогнитивныеСистемы #Нейронаука #IARPA

Коллективный разум побеждает глубокое обучение.
Уже понятно, что компьютеры сильнее человека, даже если этот человек – чемпион мира (шахматы, го и будет много чего еще). Но каков будет результат соревнования компьютеров с коллективным человеческим разумом, - до последнего времени было не понятно. И вот первый замечательный результат – коллективный разум оказался сильней.

В опубликованном вчера исследовании «Opinion Mining From Social Media Short Texts: Does Collective Intelligence Beat Deep Learning?» попытались с помощью краудсорсинга превзойти наилучшие компьютерные результаты, достигаемые глубоким обучением в области майнинга мнений в коротких сообщениях Твиттера и Фейсбука. И авторам это удалось.
Майнинг мнений – это по сути анализ тональности (сентимент-анализ) коротких текстов - твиттов и постов. Результат анализа – понимание настроения авторов в момент написания текстов и/или их отношения к тому, о чем они написали в своих текстах.
По сути – это задача классификации текста. Её можно решать по-разному. Например (и это сегодня наиболее распространенный подход), - анализ лексикона текстов с выделением в нем эмоционально окрашенных терминов (тегов, ключевых слов), показывающих полярность настроения (типа, отличный и ужасный).
Подход, основанный на лексиконе, довольно эффективен для классификации коротких текстов на два разных класса, например, позитивные и негативные настроения. Но по мере включения новых категорий эффективность классификации резко падает. Подходы машинного обучения используют пары текстов и соответствующие метки для обучения моделей классификации.

Авторам исследования удалось эмпирически доказать, что созданные коллективным разумом толпы индексы, названные авторами «лексиконом толпы» и основанные на тэгах, выделенных коллективным разумом, могут эффективно использоваться для обучения моделей классификации настроений для коротких текстов.
Более того! Эти модели, как минимум, так же эффективны, как и модели, разработанные с помощью глубокое обучение или даже лучше.

Особенно замечательно, что масштабированием (увеличением вычислительной мощности компьютеров) ситуацию принципиально не изменить, поскольку для коллективного разума краудсорсинговой платформы нарастить число участников куда проще и дешевле.
Таким образом показано, что при решении интеллектуальных задач, в основе которых есть хотя бы минимальное извлечение смысла (типа выявление новых пар полярно эмоционально окрашенных слов), коллективный разум оказывается сильнее машинного.
Так что эволюция не ошиблась, выбрав Homo Sapience. Хоть в играх человек слабее машин, но по жизни без понимания смысла приходится туго. И здесь человеческий разум сильнее. Если не индивидуальный, так коллективный.
https://www.frontiersin.org/articles/10.3389/frobt.2018.00138/full
#Краудсорсинг #СентиментАнализ