После лекции можно автоматически сгенерировать тест на выбор из нескольких вариантов ответов, чтобы проверить свои знания.
А еще можно сгенерировать карточки по материалам лекции.
Бесплатная версия приложения позволяет записать только два часа лекций в месяц, создать тест из пяти вопросов и отправить только 10 сообщений в чат-бот. Платная версия начинается с 9 долларов в месяц, если платить помесячно, или с 48 долларов в год при покупке годовой подписки. Это тариф Pro, он рассчитан на 15 часов лекций в месяц, что всё равно маловато, конечно.
Безлимит стоит 13 долларов в месяц / 108 в год.
Я как раз купила безлимит и активно тестирую. Недели через три-четыре, после полноценного теста на больших серьезных лекциях хочу сделать пост побольше

Многие авторы изображений недовольны (объяснимо) тем, что на результатах их труда авторы генеративных моделей обучают эти модели рисовать. Главная проблема в том, что без спроса и должного уважения к авторским правам. Пока законодательное регулирование подтягивается, специалисты из Университета Чикаго придумали Glaze.
Glaze – это инструмент, с помощью которого в изображения вносятся невидимые глазу изменения, которые мешают модели воспринимать важные для обучения параметры. Особенное внимание авторы уделяют проблеме мимикрии ИИ под стиль автора (style mimicry), потому что стиль – это основная ценность работы художника, и его кража наносит наибольший ущерб.

Решения, позволяющие защитить произведения искусства от использования для обучения нейросетей, появились раньше, но они меняют все параметры изображения, в то время как Glaze определяет параметры, относящиеся непосредственно к авторскому стилю, что делает его эффективнее с точки зрения затрат на искажение параметров.
Чтобы сконцентрироваться именно на стилевых особенностях, не затрагивая, например, расположение объектов на изображении, авторы используют другую нейросеть, которая создает копию исходного изображения, но в другом стиле. Допустим, исходное изображение – портрет в стиле реализм. С помощью нейросети его видоизменяют так, чтобы он выглядел как картина Ван Гога.

Затем математическое представление стилевых особенностей автора оригинального изображения «подгоняется» под стилевые особенности Ван Гога. В результате получается набор операций, которые описывают переход от оригинала к Ван Гогу, грубо говоря. Дополнительное ограничение – новое изображение не должно заметно отличаться от оригинала (то есть, изменения в итоге получаются настолько крошечными, что зритель не поймет, что были внесены изменения).
Набор операций применяется к оригиналу. Человек не видит разницы, но если такое изображение попадется нейросети, она не сможет воспроизвести уникальный авторский стиль, а будет «видеть» картину, похожую на картину Ван Гога.
Glaze доступен без VPN, можно смело тестировать.

Обещанный дополнительный материал к посту про разведочный (он же исследовательский) поиск. «Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks» – это статья, которая положила начало RAG. В ней авторы указывают на недостатки предшествующих моделей применительно к задачам, которые требуют глубоких и актуальных знаний предметной области (Knowledge-Intensive Tasks).
Они предлагают использовать непараметрическую память (non-parametric memory) совместно с параметрической (parametric memory). Параметрическая память содержит знания, полученные моделью в процессе обучения. Плюсы такого подхода в том, что такие знания быстро извлекаются, а минусы – в том, что они быстро устаревают.
Непараметрическая память относится к знаниям из внешних источников. Плюс в том, что они поддерживаются в актуальном состоянии, и не нужно заново обучать модель, чтобы у нее была актуальная картина мира. Минус, соответственно, в более низкой скорости по сравнению с параметрической памятью. Кроме того, модели с непараметрической памятью нужно постоянно обращаться к внешним источникам, что делает ее сложнее.
Два подхода скомбинировали и получили хорошие результаты на различных тестовых заданиях. Еще модель, использующая RAG, страдает от галлюцинаций в меньшей степени, чем ее предшественники.
RAG-модели представлены в статье в двух видах: RAG-Token и RAG-Sequence. Их отличие заключается в том, как они используют документы, найденные во внешних источниках. Если точнее, как они генерируют текст ответа на запрос с использованием этих документов. RAG-Token генерирует ответ токен за токеном. Она собирает документы из внешнего источника, отбирает из них n релевантных, генерирует токен. Потом этот сгенерированный токен используется для того, чтобы переоценить релевантность документов, снова выбрать n и сгенерировать новый токен.
RAG-Sequence собирает набор документов и использует его для генерации последовательности из нескольких токенов. Это снижает вычислительную сложность, но делает процесс генерации не таким гибким, как в случае RAG-Token.

Я сейчас учусь в одной классной летней школе, про которую расскажу обязательно подробнее через некоторое время. Школа называется Neuromatch Academy, там можно за божеские деньги пройти очень крутые насыщенные курсы. В прошлом году я проходила курс Computational Neuroscience, а в этом взяла Deep Learning.
Оба курса рассчитаны на три недели активной учебы по восемь часов с понедельника по пятницу. Полтора часа теории, час перерыва, потом еще полтора часа теории, снова перерыв и три часа проектной работы. Теория – это не лекции, где вы выступаете в роли пассивного слушателя, а активное обсуждение с одногруппниками и преподавателем заранее изученного материала с решением задач. Проект – почти полноценная исследовательская работа, по которой некоторые потом пишут статьи в хорошие научные журналы (мне пока не довелось, увы).
И на теории, и на практике нужно присутствовать, так что совмещать с работой сложно. Зато есть выбор из пяти временных слотов, в которые будет проходит ваше обучение. Я оба раза выбрала себе слот так, чтобы начинать учиться в 20:00 по Москве (заканчиваю, соответственно, в 4:00 утра). Это физически непросто, но на три недели меня хватает.
Материал очень здорово структурирован, преподаватели активно помогают погрузиться в процесс и терпеливо отвечают на вопросы (я как-то даже с вопросами по текущей своей работе докопалась – помогли).
Если есть возможность и желание, от души рекомендую рассмотреть такой интенсив. В прошлом году заявки принимались до начала или середины апреля, в этом – в конце марта, но сама учеба начинается в июле.
Если с английским у вас не очень, можно выбрать себе русский в качестве языка обучения (или французский там, мало ли какие у вас предпочтения). Если не умеете программировать или не обладаете достаточным запасом знаний математики – вам дадут хорошие вводные материалы с нуля.
Как бы там ни было, я уже набрала тонну материала для будущих постов. 26 числа последний день учебы, потом я немного оклемаюсь после этого марафона и буду делиться.

В посте про личный опыт пообещала собрать любимые книжки (они на разную тему и разного уровня сложности):
- Д. Осинга. Глубокое обучение: готовые решения;
- К. О‘Нил, Р. Шатт. Data Science. Инсайдерская информация для новичков. Включая язык R;
- Дж. Вандер Плас. Python для сложных задач: наука о данных и машинное обучение;
- Д. Грас. Data Science. Наука о данных с нуля;
- П. Брюс, Э. Брюс. Практическая статистика для специалистов по Data Science;
- Р. Митчелл. Скрапинг веб-сайтов с помощью Python;
- А. Бьюли. Изучаем SQL.

ИИ – это не только математика и программирование. Значительная часть работы состоит в том, чтобы анализировать данные и формулировать гипотезы, поэтому важно также изучать работу собственного мозга и особенности мышления. Можно начать с этих книг:
- Д. Канеман. Думай медленно… Решай быстро;
- Д. Халлинан. Почему мы ошибаемся?;
- С. Кин. Дуэль нейрохирургов. Как открывали тайны мозга и почему смерть одного короля смогла перевернуть науку.

Последняя книга немного больше про физиологию мозга, мышлению там посвящены четвертая и пятая части. Однако физиология мозга нам тоже важна. Вводные курсы по ИИ часто начинаются с рассказа об устройстве наших нейронов. Кроме того, многие идеи, реализованные в нейросетях, позаимствованы из физиологии мозга, так что стоит взять ее изучение на заметку.

Дополнительных материалов пост (Часть 1).
На vc писала про сверточные нейросети и упомянула там про ResNet вскользь, тут расскажу побольше.
При увеличении числа слоев в нейросети может возникать проблема деградации: это когда начиная с определенного момента (числа слоев) ошибка, вместо того чтобы снижаться, начинает расти, причем как на тестовой выборке, так и на обучающей. То есть, проблема не в переобучении, когда модель слишком хорошо подстраивается к тренировочным данным и не справляется с тестовыми (тогда ошибка на тренировочной выборке снижается, а на тестовой растет). Проблема в большом числе параметров. С математической точки зрения обучение модели заключается в минимизации функции ошибки. Больше параметров – сложнее функция, сложнее функция – больше локальных минимумов и вероятность застрять в одном из них, так и не добравшись до глобального минимума. Шикарная визуализация этой идеи представлена здесь.
Чтобы решить эту проблему, авторы ResNet предложили использовать остаточное обучение (residual learning).

(Часть 2) Если простыми словами, это работает так: обычно данные передаются от слоя к слою последовательно (вход слоя n – это выход слоя n-1), а ResNet состоит из блоков, в которых выход слоя n-1 пропускает следующий за ним и передается в слой n+1 вместе с выходом слоя n (на скриншоте x – это матрица с входными данными, а F(x) – результат преобразования x в первом слое)
Тогда каждый следующий слой получает информацию о том, что изменилось на предыдущем (то есть, что изменилось при переходе от x к F(x)). Это «что изменилось» и есть остаток.
Функция ошибки сглаживается, процесс обучения становится более стабильным, и это в свое время стало прорывом и помогло нейросетям обойти человека в задаче классификации изображений.

Правовое регулирование ИИ
Правовое регулирование в области ИИ – это недавняя история, во всем мире в последние несколько лет ведутся обсуждения того, что именно регулировать и как. Каких-то строго прописанных законов практически нет (или мне не удалось найти), но есть разные руководящие принципы и инициативы.
- EU AI Act (одобрен в мае 2024 года). Это часть стратегии цифрового развития Евросоюза. Акт делит риски, связанные с ИИ на высокие и недопустимые. Решения, связанные с недопустимыми рисками (биометрическая идентификация и категоризация людей, манипуляция сознанием, социальный скоринг) должны быть запрещены за редкими исключениями (например, биометрическая идентификация может потенциально быть применена для поимки преступников). Решения, связанные с высокими рисками (работа с критической инфраструктурой, медицинские и образовательные решения, решения, связанные с наймом сотрудников, применением закона и пр.) должны сначала пройти проверку регулирующих органов, и только потом могут быть выпущены на рынок. Кроме того, акт предъявляет требования к прозрачности (например, специальную пометку для контента, созданного с использованием ИИ).
- Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence (США, выпущен в октябре 2023 года). Указ также требует прозрачности и дает рекомендации для мер по защите персональных данных. Что отдельно интересно, в течение 120 дней с момента публикации указа Ведомство по патентам и товарным знакам США должно было выпустить руководство для патентных экспертов и заявителей на тему использования генеративного ИИ в изобретениях. В течение еще 270 дней – руководство непосредственно по патентованию, про это надо будет отдельно написать.
- для России нашла такой ресурс. Там перечислены нормативно-правовые акты, актуальные на 2024 год, стандарты, исследования – много всего. Кратко не опишешь, нужно зайти и почитать. На том же портале можно найти Национальную стратегию на период до 2030 года;
- в Китае, кажется, регулирование ИИ достаточно проработанное (ссылка открывается через VPN). Много внимания уделяется рекомендательным алгоритмам и алгоритмам глубокого синтеза (deep synthesis; с их помощью можно создать deep fake).

Я писала пост про Turbolearn (инструмент для конспектирования лекций). Это было в тот момент, когда я его только нашла, и пост получился очень положительный. Сейчас я протестировала его платную версию (взяла безлимитный тариф) в течение трех недель на больших лекциях и хочу закончить тему полноценным уже обзором со всеми недостатками, которые обнаружились в процессе работы.
1) Для расшифровки аудиозаписей там есть два варианта: можно либо прям в веб-приложении записывать аудио, потом расшифровать, либо записать отдельно на диктофон и загрузить. В первый день я попробовала функцию встроенной записи, и она стерлась в процессе обработки. Я потеряла так час лекций (благо это был вводный день, не то чтобы было много новой информации).
2) Написала в поддержку в надежде решить эту проблему, но мне никто так и не ответил. Через неделю написала еще раз, но, видимо, там никого нет. С моей точки зрения, это существенный минус.
3) Приложение должно обрабатывать видео, но не обрабатывает. У меня оно зависало на отметке в 90% готовности, и все на этом. Ждала несколько часов, пробовала перезапускать – ноль реакции. При этом видео были короткие, 10-15 минут.
4) Выгрузить заметки никак вообще нельзя. Кроме меня на курсе учился по меньшей мере еще один человек, который пользовался Turbolearn, мы вместе поискали возможность извлечь заметки на компьютер – не нашли. В итоге я их просто скопировала себе в ворд.
5) Работает только на английском языке, другие не расшифровывает.
Плюсы тоже есть, конечно:
1) Если записывать лекции на свой диктофон, а потом загружать, запись обрабатывается быстро. У меня в день общий объем лекций получался час-два, достаточно быстро они расшифровались.
2) Сильный акцент лекторов или помехи связи он тоже нормально воспринимает и расшифровывает.
3) В общей сложности получилось 167 страниц конспектов хорошего качества. Помимо расшифровки лекций, Turbolearn генерирует в нужных местах примеры кода или таблицы, это потом удобно перечитывать.
4) По истечении тестового периода подписка отменилась без проблем, хотя я видела сообщение по меньшей мере от одного пользователя, у которого подписка не отменялась. Учитывая отсутствие техподдержки, было волнительно, но обошлось.
В целом, у меня скорее положительное впечатление. Если вы учитесь только на английском языке, будет нормально. Но прям советовать не могу.
Осенью пойду опять учиться, на этот раз на русском языке, и протестирую Coconote. Он может быть получше.

#инструменты #обзор

Планы
Я пишу все посты заранее, стараюсь на полторы-две недели вперед (сейчас я в отпуске и напишу побольше). Этот пост я пишу 29 июля, а выложу 9 августа. На этот момент у меня готов большой пост на vc на воскресенье 4 августа. Он лежит и чешется, но я держусь и жду даты запланированной публикации. Когда этот пост выйдет, скорее всего, я уже допишу про когнитивные искажения на 18 августа.
Мне вообще часто сложно удержаться от публикации, уж очень охота поделиться интересным. Но запас по времени нужен, чтобы не сбивать расписание в случае большой загрузки на работе или командировок. Я публикую здесь маленькие посты во вторник и пятницу, большие на vc – по воскресеньям, не хочу допускать простоев.
План по публикациям готов аж до первого ноября включительно. Понятно, что через месяц я могу найти что-то более актуальное и интересное для себя, тогда какие-то публикации подвину, но этот план все равно важен. Он помогает оценить объем тем, которые у меня есть, и я себя спокойнее чувствую, зная, что не нужно искать и что-то новое придумывать.
Идеи для всех постов сначала набиваются в Огромный Список, потом сортируются по датам, исходя из того, что скорее хочется поисследовать (это сложно, потому что все хочется).
Изначально была идея писать по мере собственного желания, но у меня есть склонность сначала работать 25/8, а потом лежать в углу и прокрастинировать, поэтому планирование – мое все.
Напоследок пара спойлеров: в воскресенье на vc будет пост про GAN, на следующей за ним неделе поделюсь тут полезными штуками, у которых есть бесплатные версии (такой пост получился, мне прям хочется его скорее опубликовать). До конца месяца планирую посты про прокрастинацию и научный подход к обучению. В сентябре будет несколько очень крутых и интересных моделей и небольшой заброс про кое-какой проект, которым я занимаюсь в свободное от работы время.