Похожим образом распределены ответы на вопрос о возможности уничтожения человечества искусственным интеллектом. Уничтожение человечества по мнению примерно 35% студентов будет связано с тем, что ИИ сочтет людей угрозой.

Возможно, люди сами о себе не очень хорошего мнения (не умеем в отношения, всё время создаем оружие, плохо распоряжаемся данными) и транслируют это мнение, когда говорят о страхе перед ИИ 🤔

К вопросу о замене людей искусственным интеллектом. В 2023 году The Harris Poll провели опрос американцев на предмет того, что они думают о замене судей на роботов. 79% опрошенных считают, что суды несправедливы, причем 58% либо столкнулись с несправедливостью сами, либо слышали о ней из рассказов знакомых. 43% респондентов предпочли бы видеть ИИ в качестве судьи по своему делу.
В исследовании 2011 года «Extraneous Factors in Judicial Decisions», проведенном над израильскими судьями, авторы показали, что на вынесение приговоров влияют разные внешние факторы, например, обеденный перерыв. Феномен получил название «эффект голодного судьи» («hungry judge effect»). У него есть критики, которые считают, что влияние эффекта переоценено, однако сложно отрицать, что человек не может быть совершенно объективен. По этой причине некоторые люди считают, что ИИ справится лучше (но мы-то знаем, что и это не так).

У меня скоро будет пост на vc про ресурсы, с которых можно начать знакомиться с ИИ. Оставлю здесь для затравки некоторые штуки, которыми периодически пользуюсь под разные задачи (кроме ChatGPT, про который уже и так много написано):
- Нейрохолст для генерации картинок с помощью трех нейросетей: Холст, DALL-E 3 и Midjourney v6. Он вообще платный, но после регистрации вам дается небольшой запас внутренней валюты на несколько бесплатных тестов. Проводила в нем небольшие эксперименты, мне пока всё понравилось;
- Perplexity для поиска литературы. Есть платная версия Pro, которой можно пользоваться бесплатно, но число запросов ограничено: можно сделать пять запросов, потом подождать четыре часа и сделать еще пять и т.д. Не могу сформулировать свое отношение: вроде бы потенциально полезный инструмент, но пока выглядит сыровато, если честно. Хотелось бы наблюдать развитие работы с запросами;
- PaLM – многофункциональный помощник. Я в нем картинки иногда делаю для личного пользования. Получается здорово;
- Notability – это мобильное приложение для записи конспектов. ИИ там распознает почерк и позволяет искать по рукописному конспекту (моя мечта со школы, если честно). Как человек, который постоянно учится и предпочитает всё писать от руки, я им довольна (хотя у меня такой почерк, что ИИ не всегда с ним справляется; я тоже не всегда справляюсь);
- встроенный помощник в Google Colab для дебаггинга функций. Это на случай, когда лазать по Stackoverflow нет времени или желания.

#инструменты

В свежем (опубликовано в апреле этого года) исследовании Honor отношения россиян к ИИ выяснилось, что мы большие любители технологий: аж 82% жителей крупных городов в возрасте от 14 до 59 лет относятся к ИИ позитивно. 62,3% стали использовать ИИ чаще, чем в 2023 году.
В выборку попали только города-миллионники, там живет около четверти россиян, если верить Википедии.
Еще один опрос был проведен по заказу ВТБ, он тоже вышел в апреле. Там взяли выборку от 18 до 60 лет и города с населением свыше 100 тысяч человек. Получилось, что 66% опрошенных интересуются ИИ, но только 48% (от общего числа, не из тех 60%) смогли выбрать корректное определение ИИ из предложенных. 39% боятся, что их заменит ИИ на рабочем месте (достаточно среднемировой показатель, если судить по тем исследованиям, которые попадались мне на глаза). Еще боятся, что ИИ выйдет из-под контроля и уничтожит человечество, будет использоваться мошенниками и всё такое.
В общем, результаты не то чтобы шокируют, но следить за общественным мнением интересно (и важно).
К области ИИ сейчас много интереса и, как это обычно бывает, очень много мифов. Чтобы не попасть под их влияние, нужно изучать технологию самостоятельно и искать надежные источники. Чем мы, собственно, тут и занимаемся.

Список моих больших постов на vc:
1. Небольшой кейс с написанием кода исключительно силами ChatGPT
2. Промпт-инжиниринг
3. Про ИИ, который отнимает работу (или нет)
4. GPT изнутри
5. Доступные ресурсы для использования ИИ под разные задачи
6. Разведочный (исследовательский поиск) - про один из аспектов развития поисковых систем
7. Мой опыт работы и обучения
8. Как нейросети работают с изображениями
9. Почему ИИ сложнее, чем кажется
10. Generative adversarial networks
11. Когнитивные искажения
12. Про любимую летнюю школу
13. LlaMA
14. Toolformer (про обучение языковых моделей пользоваться разными инструментами)
15. LLaVA (мультимодальная модель)
16. Искажения памяти (у людей)
17. Работа с изображениями, на этот раз про трансформеры
18. BERT
19. ИИ в оптимизации поисковых систем
20. Рекомендательные алгоритмы
21. ИИ-агенты
22. ИИ-ученый
23. RLHF
24. Ответственный подход к ИИ
25. LangChain и LangFlow
26. Оценка способностей нейросетей к рассуждению
27. Chinchilla и уменьшение больших моделей
28. Machine UnLearning
29. Модели пространства состояний
30. Про волшебные сказки
31. Про безответственный подход к ИИ
32. Tiny Troupe
33. Интерпретируемость и объяснимость ИИ
34. Языковые модели + эволюционные алгоритмы
35. Диффузионные модели
36. CAMEL
37. Объединенные модели
38. Теория разума в больших языковых моделях
39. Подходы к улучшению ИИ
40. Кооперация человека с ИИ
41. Инженеры-призраки
42. Магистратура
43. Модели пространства состояний, часть 2
44. Thought rollback
45. Проблемы с оценкой безопасности
46. Проблемы оценки теории разума
47. Полезность объяснений ИИ
48. Персонализация и искажения
49. NeRF
50. Чего ИИ не умеет
51. Надежность ИИ-агентов
52. Личный бренд
53. Графовые нейронные сети
54. ПО с открытым исходным кодом
55. Аблитерация
56. "Сильный ИИ". Современное состояние и развитие
57. Социальные связи
58. Как люди используют ИИ
59. Правовое регулирование ИИ (подробно)
60. ИИ и воображение
61. Вайб-кодинг
62. Про создание безопасных языковых моделей
63. Прямая оптимизация предпочтений
64. Невзламываемые модели, часть 1
65. Невзламываемые модели, часть 2
66. ИИ шантажирует разработчиков
67. WEIRD AI
68. Теория охоты на информацию
69. Сложные нейросети мозга
70. Социальное обучение
71. (Не)достижимость сверхинтеллекта
72. Обучение в контексте
73. Эссе про этику в ИИ
74. Модели в гармонии

#лонгрид

После лекции можно автоматически сгенерировать тест на выбор из нескольких вариантов ответов, чтобы проверить свои знания.
А еще можно сгенерировать карточки по материалам лекции.
Бесплатная версия приложения позволяет записать только два часа лекций в месяц, создать тест из пяти вопросов и отправить только 10 сообщений в чат-бот. Платная версия начинается с 9 долларов в месяц, если платить помесячно, или с 48 долларов в год при покупке годовой подписки. Это тариф Pro, он рассчитан на 15 часов лекций в месяц, что всё равно маловато, конечно.
Безлимит стоит 13 долларов в месяц / 108 в год.
Я как раз купила безлимит и активно тестирую. Недели через три-четыре, после полноценного теста на больших серьезных лекциях хочу сделать пост побольше

Многие авторы изображений недовольны (объяснимо) тем, что на результатах их труда авторы генеративных моделей обучают эти модели рисовать. Главная проблема в том, что без спроса и должного уважения к авторским правам. Пока законодательное регулирование подтягивается, специалисты из Университета Чикаго придумали Glaze.
Glaze – это инструмент, с помощью которого в изображения вносятся невидимые глазу изменения, которые мешают модели воспринимать важные для обучения параметры. Особенное внимание авторы уделяют проблеме мимикрии ИИ под стиль автора (style mimicry), потому что стиль – это основная ценность работы художника, и его кража наносит наибольший ущерб.

Решения, позволяющие защитить произведения искусства от использования для обучения нейросетей, появились раньше, но они меняют все параметры изображения, в то время как Glaze определяет параметры, относящиеся непосредственно к авторскому стилю, что делает его эффективнее с точки зрения затрат на искажение параметров.
Чтобы сконцентрироваться именно на стилевых особенностях, не затрагивая, например, расположение объектов на изображении, авторы используют другую нейросеть, которая создает копию исходного изображения, но в другом стиле. Допустим, исходное изображение – портрет в стиле реализм. С помощью нейросети его видоизменяют так, чтобы он выглядел как картина Ван Гога.

Затем математическое представление стилевых особенностей автора оригинального изображения «подгоняется» под стилевые особенности Ван Гога. В результате получается набор операций, которые описывают переход от оригинала к Ван Гогу, грубо говоря. Дополнительное ограничение – новое изображение не должно заметно отличаться от оригинала (то есть, изменения в итоге получаются настолько крошечными, что зритель не поймет, что были внесены изменения).
Набор операций применяется к оригиналу. Человек не видит разницы, но если такое изображение попадется нейросети, она не сможет воспроизвести уникальный авторский стиль, а будет «видеть» картину, похожую на картину Ван Гога.
Glaze доступен без VPN, можно смело тестировать.

Обещанный дополнительный материал к посту про разведочный (он же исследовательский) поиск. «Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks» – это статья, которая положила начало RAG. В ней авторы указывают на недостатки предшествующих моделей применительно к задачам, которые требуют глубоких и актуальных знаний предметной области (Knowledge-Intensive Tasks).
Они предлагают использовать непараметрическую память (non-parametric memory) совместно с параметрической (parametric memory). Параметрическая память содержит знания, полученные моделью в процессе обучения. Плюсы такого подхода в том, что такие знания быстро извлекаются, а минусы – в том, что они быстро устаревают.
Непараметрическая память относится к знаниям из внешних источников. Плюс в том, что они поддерживаются в актуальном состоянии, и не нужно заново обучать модель, чтобы у нее была актуальная картина мира. Минус, соответственно, в более низкой скорости по сравнению с параметрической памятью. Кроме того, модели с непараметрической памятью нужно постоянно обращаться к внешним источникам, что делает ее сложнее.
Два подхода скомбинировали и получили хорошие результаты на различных тестовых заданиях. Еще модель, использующая RAG, страдает от галлюцинаций в меньшей степени, чем ее предшественники.
RAG-модели представлены в статье в двух видах: RAG-Token и RAG-Sequence. Их отличие заключается в том, как они используют документы, найденные во внешних источниках. Если точнее, как они генерируют текст ответа на запрос с использованием этих документов. RAG-Token генерирует ответ токен за токеном. Она собирает документы из внешнего источника, отбирает из них n релевантных, генерирует токен. Потом этот сгенерированный токен используется для того, чтобы переоценить релевантность документов, снова выбрать n и сгенерировать новый токен.
RAG-Sequence собирает набор документов и использует его для генерации последовательности из нескольких токенов. Это снижает вычислительную сложность, но делает процесс генерации не таким гибким, как в случае RAG-Token.

Я сейчас учусь в одной классной летней школе, про которую расскажу обязательно подробнее через некоторое время. Школа называется Neuromatch Academy, там можно за божеские деньги пройти очень крутые насыщенные курсы. В прошлом году я проходила курс Computational Neuroscience, а в этом взяла Deep Learning.
Оба курса рассчитаны на три недели активной учебы по восемь часов с понедельника по пятницу. Полтора часа теории, час перерыва, потом еще полтора часа теории, снова перерыв и три часа проектной работы. Теория – это не лекции, где вы выступаете в роли пассивного слушателя, а активное обсуждение с одногруппниками и преподавателем заранее изученного материала с решением задач. Проект – почти полноценная исследовательская работа, по которой некоторые потом пишут статьи в хорошие научные журналы (мне пока не довелось, увы).
И на теории, и на практике нужно присутствовать, так что совмещать с работой сложно. Зато есть выбор из пяти временных слотов, в которые будет проходит ваше обучение. Я оба раза выбрала себе слот так, чтобы начинать учиться в 20:00 по Москве (заканчиваю, соответственно, в 4:00 утра). Это физически непросто, но на три недели меня хватает.
Материал очень здорово структурирован, преподаватели активно помогают погрузиться в процесс и терпеливо отвечают на вопросы (я как-то даже с вопросами по текущей своей работе докопалась – помогли).
Если есть возможность и желание, от души рекомендую рассмотреть такой интенсив. В прошлом году заявки принимались до начала или середины апреля, в этом – в конце марта, но сама учеба начинается в июле.
Если с английским у вас не очень, можно выбрать себе русский в качестве языка обучения (или французский там, мало ли какие у вас предпочтения). Если не умеете программировать или не обладаете достаточным запасом знаний математики – вам дадут хорошие вводные материалы с нуля.
Как бы там ни было, я уже набрала тонну материала для будущих постов. 26 числа последний день учебы, потом я немного оклемаюсь после этого марафона и буду делиться.

В посте про личный опыт пообещала собрать любимые книжки (они на разную тему и разного уровня сложности):
- Д. Осинга. Глубокое обучение: готовые решения;
- К. О‘Нил, Р. Шатт. Data Science. Инсайдерская информация для новичков. Включая язык R;
- Дж. Вандер Плас. Python для сложных задач: наука о данных и машинное обучение;
- Д. Грас. Data Science. Наука о данных с нуля;
- П. Брюс, Э. Брюс. Практическая статистика для специалистов по Data Science;
- Р. Митчелл. Скрапинг веб-сайтов с помощью Python;
- А. Бьюли. Изучаем SQL.

ИИ – это не только математика и программирование. Значительная часть работы состоит в том, чтобы анализировать данные и формулировать гипотезы, поэтому важно также изучать работу собственного мозга и особенности мышления. Можно начать с этих книг:
- Д. Канеман. Думай медленно… Решай быстро;
- Д. Халлинан. Почему мы ошибаемся?;
- С. Кин. Дуэль нейрохирургов. Как открывали тайны мозга и почему смерть одного короля смогла перевернуть науку.

Последняя книга немного больше про физиологию мозга, мышлению там посвящены четвертая и пятая части. Однако физиология мозга нам тоже важна. Вводные курсы по ИИ часто начинаются с рассказа об устройстве наших нейронов. Кроме того, многие идеи, реализованные в нейросетях, позаимствованы из физиологии мозга, так что стоит взять ее изучение на заметку.