Малоизвестное интересное
62.9K subscribers
78 photos
1 video
11 files
1.74K links
Авторский канал Сергея Карелова о самом важном на фронтирах науки и технологий, что кардинально изменит людей и общество в ближайшие 10 лет.




Рекламы, ВП и т.п. в канале нет.
Пишите на @karelovs
Download Telegram
Первая победа ботов при национальном голосовании людей.

Новое исследование механизмов влияния социальных ботов на результаты референдума об отделении Каталонии, выполненное под руководством проф. Эмилио Феррара, позволило не только уточнить масштаб этого влияния, но и понять детали технологии.
https://goo.gl/NtbN4i

✔️ Масштаб оказался беспрецедентным. Доля соцботов среди участников соцсети, активно обменивавшихся информацией о референдуме в его преддверии, оказалась в 1,5+ раза выше, чем на президентских выборах в США и почти в 2 раза выше, чем на президентских выборах во Франции.

✔️ Примененная технология влияния ориентирована на создание инфокаскадов, позволяющих меньшинству наиболее влиятельных участников сети (т.н. инфлюэнсеров) эффективно изменять преференции большинства, путем ретрансляции фейковых новостей, идеологических мемов и сливного компромата.

✔️ Сочетание увеличенного масштаба и технологически верного механизма влияния:
— позволило осуществить «переломный момент» в предпочтениях участников референдума (что зафиксировано проведенным исследованием в районе полночи 1го октября);
— внесло серьезный (если не решающий) вклад в 90%ный результат голосования за независимость Каталонии.

Результаты всего вышеназванного можно резюмировать так.

1) Это 1я несомненная победа ботов в истории человечества при голосованиях национального уровня (на выборах в США это не удалось, т.к. по числу голосов избирателей Трамп проиграл).

2) Это 1я убедительная победа неизвестного оператора Частной Ботовой Компании (ЧБК), предоставляющей армию соцботов правого толка, когда требуется «потопить» левого кандидата.

3) Это 1я выигранная электоральная гибридная война, в которой соцботы правого толка работают «рука об руку» с инфлюэнсерами, ровно так же, как это делается в маркетинге при продвижении продукции, услуг и брендов.

Кроме того, следует отметить еще 3 важных момента.

А) Гибридность позволяет повысить эффективность «классической формы» технологии сетевого влияния, описанной мною в посте «Новая модель власти над умами» https://goo.gl/uRTSKU
Гибридность подразумевает:
— использование соцботов исключительно для «наброса г-на на вентиляторы»;
— в качестве же «вентиляторов» выступают инфлюэнсеры («площадь разброса» которых, как показано в исследовании, несоизмеримо шире, чем у ботов).

Б) Здесь же кроется и уязвимость гибридного варианта. Вычислить, кто стоит за соцботами ЧБК, почти невозможно. Зато инфлюэнсеры все на виду.
Следовательно, именно в нейтрализации инфлюэнсеров – путь к снижению манипуляций при голосованиях.

В) Убедительных доказательств, кто является оператором ЧБК, пока нет. Однако.
— Хотя Феррара и не называет российские спецслужбы в качестве оператора ЧБК, но после того, как те же соцботы, что работали против Клинтон, атаковали Макрона, Феррара предположил наличие «черного рынка» с политическими ботами правого толка, которые могут находиться в спячке и терпеливо ждать своего часа, когда потребуется «потопить» того или иного кандидата https://goo.gl/UKBjTD
— Другие весьма влиятельные лица, например, директор АНБ Майк Роджерс, на основании результатов Феррара, заявляют весьма определенно: оператор ЧБК - российские спецслужбы https://goo.gl/nXA9UG
— О влиянии «Руки Кремля» на результаты референдума по Каталонии написала одна из самых крупный газет Испании El País под заголовком “Российское вмешательство в каталонский кризис”. Как показало расследование, в качестве «вентиляторов», на которые боты набрасывали разнообразное г-но, выступали самые крутые инфлюэнсеры - Джулиан Ассандж и Эдвард Сноудэн https://goo.gl/nsNTja

#Соцботы
Эволюция мема.
На примере 2х кейсов - влияние на выборы и провокация волнений в США.

1й кейс – эволюция мема, спровоцировавшая вооруженные волнения в США, - показан в только что закончившемся 7ом сезоне сериала Homeland (Родина). Этот пока еще не материализовавшийся кейс основан на вполне реальном 2ом кейсе – уже материализовавшемся на последних президентских выборах в США.
2й кейс – влияние на президентские выборы путем вброса мемов, эволюционирующих при активной поддержке соцботов, детально разобран в совместном отчете USC Dept. Of Political Science и USC Information Sciences Institute. Это исследование показало 30ти кратное превосходство в эффективности влияния соцботов, работавших на поддержку Трампа и названных в отчете «Русские тролли».

Поскольку каждый из желающих может сам и фильм посмотреть, и отчет прочесть, я лишь попробую дать резюме обоих кейсов в виде а ля комикс – в картинках с пояснениями на 4 мин. чтения
https://goo.gl/xbvtsB

#Соцботы #Выборы #СоциальноеЗаражение #ФейковыеНовости #Каскады
СОИ для Интернета уже создана.
Технологии для создания СОИ (Стратегической Оборонной Инициативы США - широкомасштабной системы противоракетной обороны с элементами космического базирования, исключающей или ограничивающей возможное поражение наземных и морских целей из космоса) разрабатывают уже 35 лет. Но так пока и не удалось разработать технологию, способную выполнять поставленную перед СОИ цель.

Интернет технологии развиваются на 2 порядка быстрее. И потому технология обнаружения и противодействия вражескому вторжению в Интернете была разработана в США всего за несколько месяцев после истории, которую там называют «Вторжение русских троллей» (влияние на выборы соцботов).
Про эту историю я писал уже не раз. Но, в основном, «беллетристику», живописующую сам факт вторжения, - как оно видится глазами исследователей и ЦРУшников.

Не удивительно поэтому, что не мало моих читателей, по-прежнему, продолжают считать эту историю надуманной. Где, мол, технико-тактические доказательства:
— как вторжение производилось?
— какие результаты имело?
— и главное, - если это работает, то как этому можно технологически противостоять?

Конкретные профессиональные ответы на эти 3 вопроса изложены в прекрасном посте Уильяма Лиона - Developer Relations Engineer в Neo4j и глава Neo4j Data Journalism Accelerator Program – «The Story behind Russian Twitter Trolls: How They Got Away with Looking Human – and How to Catch Them in the Future» https://goo.gl/b752YF (на 5 мин чтения).

Для желающих разобраться со всеми технологическими деталями в посте приведены необходимые гиперссылки на материалы технического расследования и даже самой базы данных (вплоть до таблицы «поименного» анализа самых крутых троллей https://goo.gl/aXHH3o). Эти материалы, как отмечает Лион, стали тех-обоснованием обвинительного акта, выдвинутого прокурором Мюллером.

Так что самые технически продвинутые читатели могут все самостоятельно проверить, разобраться и понять.

Ну а для не столь продвинутых – резюме.
✔️ Технология противодействия вторжению соцботов в США разработана.
✔️ Ее глобальное развертывание на национальном уровне – подъемная, хотя и не простая задача.
✔️ По известному принципу «противостояния щита и меча», теперь ход снова за мечом.

#Соцботы #Каскады
Техно-методами наступающую тьму фейковой инфореальности не остановить.

Это 1й пункт звучащего приговором резюме цикла новых исследований.

2й и 3й пункты этого резюме подстать.

2) Фейковая инфореальность имеет высокие шансы стать доминирующей уже в ближайшее десятилетие, что будет иметь радикальные последствия для политики, культуры и образования.

3) Ключевой и пока что непреодолимой силой, толкающей мир в новые темные времена, является своеобразная цепная реакция, в основе которой:

✔️ многочисленные “тараканы” в наших головах — наличие у большинства из нас разнообразных когнитивных искажений и предубеждений на подсознательном уровне;

✔️ многократный рост размеров этих «тараканов» в результате «облучения сетевой заразой» — искусственно порождаемыми вирусными мемами.


Поэтому, если мы хотим выжить в этой кислотной инфосреде и при этом не выжить из ума, погрузившись в фейковую инфореальность, нам необходимо:

— знать и понимать механику, порождающую фейковую инфореальность;
— найти и освоить инструментарий для борьбы с этой механикой, — типа осинового кола или серебряных пуль для изведения вампиров.

Об этом мой новый пост https://goo.gl/H8XkZD

#Соцботы #ФейковыеНовости #Каскады #СоциальноеЗаражение
Новый виток войны е-Добра и е-Зла.
В её основе MIP - методика идентификации пропаганды.

Первым полем битвы е-Добра с е-Злом, как и ожидалось, оказались социальные сети.
Как обычно, первый удар нанесло е-Зло с целью взять под контроль новостную повестку человечества.

Инструментом е-Зла стали соцботы, искажающие повестку в нужную сторону, раздувая одни новости (в том числе фейковые) и тем самым оттирая внимание от других.
Боты е-Зла преуспевают. На прошлой неделе, среди самых обсуждаемых тем в Twitter, до 60% твитов сгенерировали соцботы.
Twitter, потративший последний год на борьбу с ботами, с треском проигрывает этот бой.
Боты е-Зла научились эволюционировать.
Теперь они не просто выдают себя за людей (что худо бедно научились распознавать средства ПБО (противоботовой обороны) Twitter, а вовлекают в свои инфокаскады людей, прячась за их спинами и тем самым скрываясь от ПБО.

Как всегда, силы е-Добра неизмеримо малочисленнее. Но это вовсе не значит, что слабее. Доблести, отваги и креатива им не занимать.
Организованный двумя студентами UC Berkeley стартап Robhat Labs, имеет сегодня в штате всего восьмерых. Но они сумели мобилизовать на бой с ботами наиболее изысканный машинный интеллект – машинное обучение:
- на основе машинного обучения была разработана методология, выявляющая ботов по паттернам их поведения в сети;
- первый продукт команды, расширение Chrome под названием BotCheck.me позволяет пользователям выявлять в своей ленте наиболее вероятных ботов;
- второй инструмент getsurfsafe.com помогает детектировать фейковые новости;
- третий - запущенный вчера Factcheck.me – это Шерлок Холмс в расследовании поведения ботов. Он умеет даже выявлять ботов-провокаторов, подстрекающих людей к распространению нужного е-Злу контента. А еще он ловко определяет картинки-завлекатели (amplified images) и вирусные ссылки.

Если хотите быть на стороне е-Добра, у вас теперь есть неплохой инструментарий.

Подробней:
- о том, как боты разбушевались на прошлой неделе
- методика идентификации пропаганды от Robhat Labs
- о вчерашнем запуске Factcheck.me

О становлении е-Зла также см. посты канала по тегу
#Соцботы
В США началась ИИ-национализация.
Прошедшие в США предварительные выборы, во многом, репетиция к выборам 2020.
По результатам этой репетиции можно сделать 2 ключевых вывода.
✔️ Влияние на прошедшие выборы киберкаперов (киберкорсаров, киберприватиров – все 3 слова обозначают одно и то же: пиратов 21 века, работающих на частные организации, которым государство заказывает хакерские атаки на своих противников — правительства других стран, политических оппонентов или крупные корпорации) удалось минимизировать.
✔️ Это стало, в частности, возможным благодаря тому, что Facebook и Twitter легли под правительство США, признав уже не теоретически, а на практике приоритет госцелей в вопросах нацбезопасности.

Оба вывода следуют из анализа «Facebook's Secret Weapon for Fighting Election Interference: The Government», позавчера вышедшего на Bloomberg.
Из анализа также следует.
1) Все разговоры о приватности и независимости соцсетевого бизнеса от государства закончены.
2) Теперь для Facebook и Twitter отношения с правоохранительными органами «имеют решающее значение», - считает проф. Эмилио Феррара – ключевой спец по борьбе с соцботами на выборах – см. «Первая победа ботов при национальном голосовании людей».
3) У Facebook (и скорее всего, у Twitter – об этом впрямую не сказано) теперь «горячие линии» связи не только с АНБ и ФБР, но и со всеми избирательными комиссиями. И сейчас стоит задача довести к 2020 работу «горячий линий» до совершенства, как по оперативности, так и по эффективности.
4) Facebook обнаруживает и блокирует экаунты киберкаперов на основе инфы от разведки. «Работая с правительством для обмена информацией об угрозах и злоумышленниках, мы можем быстрее выявлять и решать проблемы», - говорится в заявлении Facebook. «Это особенно важно, когда речь идет о иностранном вмешательстве, поскольку правительство по этим вопросам имеет куда более широкий доступ к разведданным, чем компании».
5) Несколько попыток киберкаперов из России и Ирана все же были обнаружены (и пресечены) во время прошедших промежуточных выборов.
6) Отстроенные спецслужбами США, совместно с Facebook и Twitter, средства борьбы с киберкаперами пока далеко не идеальны. Причина в том, что в этот раз киберкаперы в значительной степени затаились и не продемонстрировали своё оружие в полном объеме, припасая его на 2020.

Главный вывод из происходящего:
✔️ ИИ-национализация, уже идущая пару лет в Китае, началась и в США.

Напомню, что «ИИ-национализация» подразумевает:
- интеграцию ресурсов государства и частных компаний,
- выравнивание скоростей внедрения ИИ-инноваций,
- рефокусировку стратегических целей бизнеса на получение
государством экономических, геополитических и военных
преимуществ на международной арене.
Подробней см. «Впереди ИИ-национализм и ИИ-национализация»

В продолжение темы также см. посты канала по тэгам:
#соцботы #выборы
Новые убедительные доказательства об изнасиловании соцботами нашего здравого смысла.
Тщательный всесторонний анализ пула из 14 млн твитов ставит точку в обвинительном заключении против социальных ботов (соцботов).
1) Именно соцботам мир обязан превращению нашей медиасреды в фейковую инфореальность. Без них и только силами людей было бы невозможно достижение сегодняшнего уровня доминирования фейковых новостей над фактчекинговой правдой.
2) Сила соцботов не только в их способности генерировать вирусные каскады сообщений, но и в умении ловко манипулировать людьми путем использования когнитивных предубеждений и слабостей последних.
3) По сути, инфовойна е-Зла и е-Добра не просто уже идет, а почти что неостановима, т.к. её супероружием – соцботами – уже пользуются ВСЕ конфликтующие стороны.
Остановить скатывание к 100%но фейковой инфореальности может лишь «договор о взаимном контроле» над этим типом «супер-инфо-вооружений».

В качестве тизера два поразительных примера:
А) Соцботы уже довели людей до крайней степени кретинизма, когда среди фейковых новостей самыми виральными становятся наиболее идиотские.
Б) Основным инструментом распространения фейковой заразы для соцботов становятся «люди-супер-распространители» - самые популярные люди в сети, играющие для соцботов роль «полезных е-идиотов»

В только что опубликованном отчете The spread of low-credibility content by social bots еще много интересных графиков, а интерактивная версия доступна здесь.

Предысторию вопроса см. по тэгу
#Соцботы
​​Страшные плоды новой эры эволюции на Земле.
«Аллергия» на качественный контент, «астма» от факт-чекинга, бото-терроризм.

Поворотным моментом в эволюции был переход от биологической (генной) эволюции к генно-культурной коэволюциию. В его процессе у наших предков развился символический язык, позволивший создать символическую культуру, сформировавшую затем наш разум и общество.
В созданном таки образом новом мире развитие людей все меньше зависело от эволюции генов, и все больше - от нарастающего влияния эволюции мемов.
Так продолжалось несколько десятков тысяч лет, сформировав цивилизацию на Земле со всем, что люди знают и умеют. Но несколько лет назад «эпоха цивилизации людей» закончилась, и начался новый переход.

В его основе следующее.
1) Изменение информационной среды генно-культурной коэволюциии: от материальной к электронной – попросту говоря, это Интернет.
2) Вместо одного носителя культуры – человека, новую электронную информационную среду теперь населяют два носителя культуры: люди и боты.

Итогом названных кардинальных изменений стало то, что будущее новой «цивилизации 2х носителей культуры» теперь зависит от результатов их сетевых взаимодействий.

По каким законам будет происходить процесс сетевых взаимодействий 2х носителей культуры, пока никому не известно. Но ясно одно, - влияние на развитие мировой сети идей (знаний, мемов, мифов …) будут оказывать оба носителя культуры. Но это еще не все.

Грандиозным изменением расклада эволюционных сил может стать вот что:
- 1й носитель культуры (человек) пока что воспроизводится по старинке - биологически;
- а 2й носитель культуры вполне рукотворный, и его созданием будут заниматься кто угодно и, в том числе, преступники, тоталитарная власть, сумасшедшие маньяки …

Это значит, что распространение новостей, формирование приоритетов популярности и важности тем, влияние на рейтинги поп-звезд и политиков … и много что еще, будет формироваться в инфосети в процессах взаимодействия людей и ботов. Причем среди обоих будут злонамеренные. Но способы воспроизводства, потенциал влияния и, главное, возможности детектирования и блокировки у людей и ботов несравненно разные. Как это будут работать, и что из всего этого получится, совершенно непонятно.

Немногие проделанный эксперименты, например, показывают следующее:
А) Вирусность распространения высококачественной и низкопробной инфы, распространяемой факт-чекинговыми и отстойными источниками, примерно одинаковая.
Б) Без ботов невозможно достичь одинаковой популярности низко- и высококачественных мемов. Однако, при наличии ботов с низкой инфильтрацией и низким уровнем обмана, вполне возможно обеспечить одинаковую популярность полярных по качеству мемов.
В) Зловредные боты, подобно микробам, становятся более опасны в грязной среде. Чем больше в инфосети грязи, тем большее влияние на людей оказывают боты. Но возможно и обратное. Также как излишнее оберегание детей от грязи и микробов может со временем обернуться для них аллергией и астмой, так и с излишней стерильностью инфосети (например, «суверенной») возможно возникновение «аллергии» на качественный контент и астмы от факт-чекинга.
Г) Инфильтрация ботов является доминирующим фактором подавления качества сетевой инфы. Когда боты оказывают влияние всего лишь на 1% людей в мире, происходит резкий переход к подавлению качества (см. рисунок). И если проникновение не ниже этого критического порога, боты даже не нацеливаются на влиятельных пользователей, а наносят максимальный урона, выбирая среди людей случайные жертвы.

Последнее – жуткий пример «бото-терроризма», действующего по принципу «взорви доверие первого попавшегося, а остальные испугаются и сами поверят».

Жаль, что все исследования идут лишь на моделях и старой статистике. Эксперименты с влиянием ботов на реальных людей сдерживаются по этическим причинам, как и генетические эксперименты.
Но боюсь, что к Китаю это не сильно относится.
Подробней – Information Pollution by Social Bots

#Соцботы
​​Кардинальный скачок эскалации войны е-добра и е-зла.
В Твиттере уже воюют целые «ЧВК социохакинга»

Еще 5 лет назад я писал, что с переходом человечества в цифровую реальность, первым же полем битвы е-добра с е-злом оказываются социальные сети. И по аналогии с материальным миром, первый удар, как обычно, наносит е-зло. Его цель - взятие под контроль новостной повестки человечества.
Стратегическим оружием е-зла являются соцботы - аккаунты в соцсетях, контролируемые алгоритмами. Они а) искажают инфоповестку в нужную сторону, раздувая одни новости (в том числе фейковые) и тем самым оттирая внимание от других; б) распространяют дезинформацию и рассылают спам; в) усиливают значимость в сети определенных нарративов.
Эти боты е-зла научились эволюционировать. Теперь они не просто пытаются выдавать себя за людей (что худо-бедно научились распознавать средства ПБО (противоботовой обороны), но и научились вовлекать в свои инфокаскады людей. Прячась за их спинами от ПБО, соцботы эффективно отрабатывают стратегию сбивания людей в стада своих и чужих.

И все же главный недостаток соцботов – недостаток их интеллекта, - до последнего времени не позволял им создавать реалистичные персоны, размещать убедительный контент или автоматически вести естественные диалоги с другими аккаунтами. Недавний скачок в развитии и широком внедрении больших языковых моделей (LLM) полностью поменял эту картину. Теперь злоумышленники могут легко использовать языковые модели для значительного расширения возможностей соцботов по всем параметрам.

И пока исследователи, политики и журналисты спорят о рисках развития ИИ, способах его морального воспитания и контроля на ним, - предприимчивые агенты е-зла ужу вовсю используют новое поколение соцботов на основе LLM.

Обсерватория социальных сетей OSoMe (об их новых инструментах Каскадометр, Трендометр и Ботометр - своего рода Рентген, УЗИ и МРТ социальных сетей, я писал год назад) только что опубликовала результаты исследования «Анатомия вредоносного социального ботнета на базе ИИ». Результаты, увы, печальные.

✔️ С помощью эвристики, исследователи обнаружили в соцсети Twitter (новое название — X) целую “ЧВК социохакинга” Fox8 – плотно сбитый кластер из 1140 поддельных алгоритмических персон, работающих на основе ChatGPT:
— генерирующих контент, не отличимый от контента людей;
— демонстрирующих единую сложную модель поведения (следуют единой вероятностной модели, определяющей типы и частоту их активности):
— коллективно преследующих единые цели на основании инструкций по созданию различного контента, получаемых ими от неизвестных операторов;
— координирующих и синхронизирующих свои действия по продвижению подозрительных сайтов и распространению вредоносных комментариев;
— успешно обходящих все традиционные средства ПБО.

✔️ Fox8, скорее всего, является лишь вершиной айсберга “ЧВК социохакинга”: операторы других “ЧВК” на основе LLM, могут быть не столь беспечны.

✔️ Как либо препятствовать беспределу “ЧВК социохакинга” в Twitter (теперь это X) будет сложно. Ведь Twitter приостановил бесплатный доступ к API для исследователей. И теперь повторить анализ, проведенный OSoMe, или найти новые “ЧВК социохакинга” на базе LLM, может оказаться невозможным.

Также см. мои предыдущие посты по тэгам:
#Соцботы #Социохакинг #Дезинформация #Манипулирование