Те с кем общался офлайн, знают что один из моих тейков - работать в ML/AI - ближайшее что есть к экспериментальной эпистемология (методов познания). Создавая разные системы в которых "зашиты" те или иные принципы или методологии познания и давая им возможность взаимодействовать с реальностью в видео данных или доступа к сенсорам/интернету можно увидеть какого рода модели мира они создают. Если раньше ML инженеры и исследователи задавали базовые принципы познания в виде кода или внутренних ограничений, то теперь это вышло на системный уровень, эмулируя в том числе методы познания у людей. Примеры: сократовский метод [1], и критический анализ [2].

Лично для меня это самое интересное что происходит в последнем витке AI весны/хайпа.

[1] https://princeton-nlp.github.io/SocraticAI/

[2] https://twitter.com/DrJimFan/status/1649458857343864833?s=20

"смартфоны делают нас тупее", может лучше "письменность делает нас тупее".

Кажется что даже "тупой" с доступом к текстам от тысячи людей , имеет возможности делать выводы лучше чем, самый "умный" но только разговаривая или получая информацию по цепочке пересказов.

Но зато какой оратор этот чел может быть который не читает а все только через речь или прямой опыт узнал.

Re: When you lose the ability to write, you also lose ...

This reads like Plato's warning (through Socrates' words) 2,400 years ago that writing will make people forgetful:

"For this invention [writing] will produce forgetfulness in the minds of those who learn to use it, because they will not practice their memory. Their trust in writing, produced by external characters which are no part of themselves, will discourage the use of their own memory within them. You have invented an elixir not of memory, but of reminding; and you offer your pupils the appearance of wisdom, not true wisdom, for they will read many things without instruction and will therefore seem to know many things, when they are for the most part ignorant and hard to get along with, since they are not wise, but only appear wise." [1]

[1] Phaedrus 275a-b, http://www.perseus.tufts.edu/hopper/text?doc=Perseus%3Atext%3A1999.01.0174%3Atext%3DPhaedrus%3Asection%3D275a

ly3xqhl8g9, 6 hours ago

- Задумался о том какие вообще проэкты появятся для того что бы трассировать информацию в интернете для того что бы можно было установить источники и убедиться в том на что они ссылаются или какие данные используют для получения своих выводов. Все еще существует "академический интернет" - контент в котором принято ссылаться на источники это книги, научные статьи, блоги, и даже часть твиттера и реддита.
- Вот фанаты децентрализации что то интересное начали делать под названием Noosphere. Как заявляют авторы, это что то вроде распределенной Википедии, этот проект кажется вдохновлен взрывом Personal Knowledge Management систем, таких как Logseq (которым я недавно начал пользоваться активно и мне очень нравится), Obsidian, Roam Research, Athena Research, Mem.ai и Notion.
- Проблемы с достоверностью и качеством информации в интернете увеличивалось многие годы, но сейчас эпоха LLM моделей и Чатботов на их основе катализируют разработку ответных решений для тех кому очень важна корректность информации. Для того что бы создавать качественные рабочие модели нельзя их наполнять мусором. Garbage In Garbage Out.

В догонку к предыдущему посту. Про то что "академический интернет" тоже сильно атакован и будет ещё хуже благодаря LLM-кам в руках не благонамеренных акторов.

Generative AI & Research Integrity. Часть 1.
#science #ml #chatgpt

В продолжение поста про Elsevier и антифрод в науке расскажу чуть подробнее про paper mills (но не слишком подробно ибо NDA). Также о том, где тут GAI (Generative AI). Это расширенная версия первой трети моего доклада на DataFest 2023 (слайды, видео еще не дали).

Paper Mills – довольно организованный бизнес, удовлетворяющий потребность исследователей регулярно публиковаться, даже когда ничего стоящего под рукой нет. Оверфит на индекс Хирша и парадигма “publish or perish” этому всячески помогают.

Схем много, классическая: есть организация с широкой сетью издателей (editors) и рецензентов (reviewers), которые с этой организацией в сговоре. Далее идут манипуляции на этапе рецензии статьи: издатель принимает статью, несмотря на негативные рецензии, либо находит рецензентов из своего “кружка” – так или иначе, некачественную статью принимают. Попутно видно много всякого другого фрода: издатели форсят ссылки на самих себя, проталкивают цитирование нерелевантных статей и т.д. Есть публичный ресурс PubPeer, где кто угодно может выразить сомнения по поводу легитимности любой научной статьи. Вот очень показательный пример – в статье куча нерелевантных ссылок на Guest Editors, а также вдруг автор Di Wu выбрала имейл eryueh12@163.com. Хм…

Пример такой Paper Mill (Натёкин внезапно пришел послушать мой доклад на фесте, он предложил неплохой аналог термина на русском: изба-писальня): 123mi.ru. Полюбуйтесь на красавцев: продают авторство, обещают опубликоваться в любом из топовых журналов. На вкладке “Наши рецензенты” – список из >1k универов, в том числе весьма уважаемых. Иронично, что есть вкладка про мошенников (остерегайтесь!). Про эту избу-писальню уже в 2019-ом было разоблачение. Ничего, выжили, оперируют, сидят в Москве-Сити.

Классически с Paper Mills борются вручную: у паблишеров есть команды Research Integrity / Publication Ethics, и там аналитики вручную исследуют стремные случаи. Хорошо если Excel, чаще просто тычут в кнопки имеющихся инструментов типа Editorial Manager. Понятно, что это вообще не масштабируется. Крупные научные паблишеры начали применять Data Science, чтоб масштабированно находить фрод в статьях/процессах рецензирования и т.д. Вот я как раз тащу эту инициативу в Elsevier. Паблишеров активно критикуют за profit margins и то, какое говно они публикуют, кто-то должен с этим что-то делать. Так что как я занялся Research Integrity, то и успокоился насчет собственной миссии при работе на паблишера.

Мы написали небольшую либу, которая считает разные признаки статей, пришедших из paper mills. Вот тут как раз NDA, нельзя помогать читерам, рассказывая, как ты с ними борешься. Но из общеизвестного и интуитивно понятного: можно ловить подозрительно продуктивных авторов и рецензентов, посмотреть на авторов, возникающих “ниоткуда” уже после того, как статья принята (это индикатор authorship for sale – многомиллионного бизнеса, статья в Nature) и т.д. Мы плодим отчеты, подсвечивающие тысячи подозрительных статей и (пока) около пары десятков признаков. Собственно, боттлнек теперь – кожаные мешки, анализирующие такие случаи. Благо, мы осветили проблему на уровне CEO, теперь нанимаем кучу аналитиков в команду Research Integrity. Тут непаханое поле, и data engineering, и аналитиков организовать, и просто процессы оптимизировать. Также бэклог исследований огромный, штук 40, от простых вещей до мини-проектов – фантазия читеров очень богата.

Продолжение ⬇️

Generative AI & Research Integrity. Часть 1. (продолжение)
#science #ml #chatgpt

Самой собой, LLM-ки начинают выводить проблему на новый уровень. Недавно была громкая история с испанцем Rafael Luque, который не долго думая плодил статьи с chatGPT и продавал соавторство в них. Видать, неплохо заработал. Он “всего лишь” потерял должность в университете Кордобы, при этом его аффилиация с РУДН остается, а также появляются новые. Полагаю, персонаж продолжит заниматься доходным бизнесом. Кстати, поймали Рафу не детектором chatGPT-контента (такие детекторы обсудим в третьей части), а проще: среди признаков – нерелевантные ссылки на другие работы, а также “tortured phrases” (не буду раздувать пост, про tortured phrases отдельно расскажу) – когда вместо “image recognition” вдруг “image acknowledgement”, а вместо “quantum gates”, по заветам нашего лучшего друга Сиража Раваля – ”quantum doors”.

Пожалуй, самые громкие истории вокруг research Integrity связаны с манипуляциями изображений – подтасовками western blots (молекулярные биологи так определяют в образце белки). Есть “сыщики” типа Elizabeth Bik с орлиным взглядом, умеющим находить пересекающиеся куски изображений и, в целом, визуальный плагиат. Элизабет лично обнаружила манипуляции в более 10к статей. Любители computer vision, тут есть где разгуляться, это еще в целом не решенная проблема. Некоторые инструменты есть (Proofig, ImageTwin), но они далеки от идеала. И понятно, что Stable Diffusion также выводит на новый уровень и манипуляции, и борьбу с ними. Гонка вооружений.

Всяческих манипуляций, конечно же, еще множество. Во второй части расскажу про наш опыт детекции ML-генерированного контента (на основе этого поста). В третьей поговорим про chatGPT-детекторы в духе этого поста.

В продолжение темы, анализ данных и алкоголь. Вот результаты тестирования 20-ти видов лаггеров из разных стран.

Какая прекрасная история в коротком изложении, процитирую дословно Newsru.co.il

Полицейские, бойцы полицейского спецназа и пограничники провели спецоперацию в квартале Джуариш в Рамле в рамках борьбы с преступностью в арабском секторе. В ходе этой операции были демонтированы десятки камер наблюдения, установленных на улицах города криминальными элементами. [1]

Жаль лишь что информации категорически мало, а тут интересны подробности и важен сам по себе факт что организованная преступность на месте не следит: ставит камеры, использует OSINT, а там глядишь и нейросети начнут применять и специальные ИИ инструменты. В самом деле если есть edutech, fintech, govtech, то обязательно будет и crimetech.

Ссылки:
[1] https://txt.newsru.co.il/israel/25jun2023/ramla_police_004.html

#privacy #security #crime #israel

Лекция артиста который делает visuals для Aphex Twin-а. В том числе на последнем живом выступлении на Field day неделю назад.

PS: я к этим спорам подхожу со стороны "вообще пофиг" я пришел сюда обсуждать "поведение" систем.

Cory Doctorow в интервью - хорошо поясняет проблемы вызванные ограничением интероперабельности на крупных платформах и сервисах (Google, Microsoft, Amazon). Я об этом часто думаю, и делаю пару Open Source проектов для борьбы с этими ограничениями.

"Then there’s the third kind of interop, the kind of chewy, interesting, lots-of-rich-Internet-history interop, which is adversarial interoperability, which in the book we call “comcom,” short for competitive compatibility. It’s the interop that’s done against the wishes of the original equipment manufacturer: scraping, reverse engineering, bots, all of that gnarly stuff done in the face of active hostility."

Стоит почитать его новую книгу https://craphound.com/category/internetcon/

Negawatt power - is investment to reduce electricity consumption rather than investing to increase supply capacity. In this way investing in negawatts can be considered as an alternative to a new power station and the costs and environmental concerns can be compared.

Интересная концепция, можно ли иметь какой либо рынок с негативным величинами? В некотором смысле Carbon credits - попытка сделать рынок с негативными событиями, или "отрицательный выброс углерода", но такой рынок очень хорошо подходит для отмывания негативных экстерналий и морального лицензирования, на границе со скамом. Есть что то точно связанное с Opportunity cost , потому что энергия в данном случае не единственная величина учитываемая в транзакции. Похоже что все проблемы возникают от упрощения целевой функции, тебе самые проблемы алайнмента.