Я сейчас учусь в одной классной летней школе, про которую расскажу обязательно подробнее через некоторое время. Школа называется Neuromatch Academy, там можно за божеские деньги пройти очень крутые насыщенные курсы. В прошлом году я проходила курс Computational Neuroscience, а в этом взяла Deep Learning.
Оба курса рассчитаны на три недели активной учебы по восемь часов с понедельника по пятницу. Полтора часа теории, час перерыва, потом еще полтора часа теории, снова перерыв и три часа проектной работы. Теория – это не лекции, где вы выступаете в роли пассивного слушателя, а активное обсуждение с одногруппниками и преподавателем заранее изученного материала с решением задач. Проект – почти полноценная исследовательская работа, по которой некоторые потом пишут статьи в хорошие научные журналы (мне пока не довелось, увы).
И на теории, и на практике нужно присутствовать, так что совмещать с работой сложно. Зато есть выбор из пяти временных слотов, в которые будет проходит ваше обучение. Я оба раза выбрала себе слот так, чтобы начинать учиться в 20:00 по Москве (заканчиваю, соответственно, в 4:00 утра). Это физически непросто, но на три недели меня хватает.
Материал очень здорово структурирован, преподаватели активно помогают погрузиться в процесс и терпеливо отвечают на вопросы (я как-то даже с вопросами по текущей своей работе докопалась – помогли).
Если есть возможность и желание, от души рекомендую рассмотреть такой интенсив. В прошлом году заявки принимались до начала или середины апреля, в этом – в конце марта, но сама учеба начинается в июле.
Если с английским у вас не очень, можно выбрать себе русский в качестве языка обучения (или французский там, мало ли какие у вас предпочтения). Если не умеете программировать или не обладаете достаточным запасом знаний математики – вам дадут хорошие вводные материалы с нуля.
Как бы там ни было, я уже набрала тонну материала для будущих постов. 26 числа последний день учебы, потом я немного оклемаюсь после этого марафона и буду делиться.

В посте про личный опыт пообещала собрать любимые книжки (они на разную тему и разного уровня сложности):
- Д. Осинга. Глубокое обучение: готовые решения;
- К. О‘Нил, Р. Шатт. Data Science. Инсайдерская информация для новичков. Включая язык R;
- Дж. Вандер Плас. Python для сложных задач: наука о данных и машинное обучение;
- Д. Грас. Data Science. Наука о данных с нуля;
- П. Брюс, Э. Брюс. Практическая статистика для специалистов по Data Science;
- Р. Митчелл. Скрапинг веб-сайтов с помощью Python;
- А. Бьюли. Изучаем SQL.

ИИ – это не только математика и программирование. Значительная часть работы состоит в том, чтобы анализировать данные и формулировать гипотезы, поэтому важно также изучать работу собственного мозга и особенности мышления. Можно начать с этих книг:
- Д. Канеман. Думай медленно… Решай быстро;
- Д. Халлинан. Почему мы ошибаемся?;
- С. Кин. Дуэль нейрохирургов. Как открывали тайны мозга и почему смерть одного короля смогла перевернуть науку.

Последняя книга немного больше про физиологию мозга, мышлению там посвящены четвертая и пятая части. Однако физиология мозга нам тоже важна. Вводные курсы по ИИ часто начинаются с рассказа об устройстве наших нейронов. Кроме того, многие идеи, реализованные в нейросетях, позаимствованы из физиологии мозга, так что стоит взять ее изучение на заметку.

Дополнительных материалов пост (Часть 1).
На vc писала про сверточные нейросети и упомянула там про ResNet вскользь, тут расскажу побольше.
При увеличении числа слоев в нейросети может возникать проблема деградации: это когда начиная с определенного момента (числа слоев) ошибка, вместо того чтобы снижаться, начинает расти, причем как на тестовой выборке, так и на обучающей. То есть, проблема не в переобучении, когда модель слишком хорошо подстраивается к тренировочным данным и не справляется с тестовыми (тогда ошибка на тренировочной выборке снижается, а на тестовой растет). Проблема в большом числе параметров. С математической точки зрения обучение модели заключается в минимизации функции ошибки. Больше параметров – сложнее функция, сложнее функция – больше локальных минимумов и вероятность застрять в одном из них, так и не добравшись до глобального минимума. Шикарная визуализация этой идеи представлена здесь.
Чтобы решить эту проблему, авторы ResNet предложили использовать остаточное обучение (residual learning).

(Часть 2) Если простыми словами, это работает так: обычно данные передаются от слоя к слою последовательно (вход слоя n – это выход слоя n-1), а ResNet состоит из блоков, в которых выход слоя n-1 пропускает следующий за ним и передается в слой n+1 вместе с выходом слоя n (на скриншоте x – это матрица с входными данными, а F(x) – результат преобразования x в первом слое)
Тогда каждый следующий слой получает информацию о том, что изменилось на предыдущем (то есть, что изменилось при переходе от x к F(x)). Это «что изменилось» и есть остаток.
Функция ошибки сглаживается, процесс обучения становится более стабильным, и это в свое время стало прорывом и помогло нейросетям обойти человека в задаче классификации изображений.

Правовое регулирование ИИ
Правовое регулирование в области ИИ – это недавняя история, во всем мире в последние несколько лет ведутся обсуждения того, что именно регулировать и как. Каких-то строго прописанных законов практически нет (или мне не удалось найти), но есть разные руководящие принципы и инициативы.
- EU AI Act (одобрен в мае 2024 года). Это часть стратегии цифрового развития Евросоюза. Акт делит риски, связанные с ИИ на высокие и недопустимые. Решения, связанные с недопустимыми рисками (биометрическая идентификация и категоризация людей, манипуляция сознанием, социальный скоринг) должны быть запрещены за редкими исключениями (например, биометрическая идентификация может потенциально быть применена для поимки преступников). Решения, связанные с высокими рисками (работа с критической инфраструктурой, медицинские и образовательные решения, решения, связанные с наймом сотрудников, применением закона и пр.) должны сначала пройти проверку регулирующих органов, и только потом могут быть выпущены на рынок. Кроме того, акт предъявляет требования к прозрачности (например, специальную пометку для контента, созданного с использованием ИИ).
- Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence (США, выпущен в октябре 2023 года). Указ также требует прозрачности и дает рекомендации для мер по защите персональных данных. Что отдельно интересно, в течение 120 дней с момента публикации указа Ведомство по патентам и товарным знакам США должно было выпустить руководство для патентных экспертов и заявителей на тему использования генеративного ИИ в изобретениях. В течение еще 270 дней – руководство непосредственно по патентованию, про это надо будет отдельно написать.
- для России нашла такой ресурс. Там перечислены нормативно-правовые акты, актуальные на 2024 год, стандарты, исследования – много всего. Кратко не опишешь, нужно зайти и почитать. На том же портале можно найти Национальную стратегию на период до 2030 года;
- в Китае, кажется, регулирование ИИ достаточно проработанное (ссылка открывается через VPN). Много внимания уделяется рекомендательным алгоритмам и алгоритмам глубокого синтеза (deep synthesis; с их помощью можно создать deep fake).

Я писала пост про Turbolearn (инструмент для конспектирования лекций). Это было в тот момент, когда я его только нашла, и пост получился очень положительный. Сейчас я протестировала его платную версию (взяла безлимитный тариф) в течение трех недель на больших лекциях и хочу закончить тему полноценным уже обзором со всеми недостатками, которые обнаружились в процессе работы.
1) Для расшифровки аудиозаписей там есть два варианта: можно либо прям в веб-приложении записывать аудио, потом расшифровать, либо записать отдельно на диктофон и загрузить. В первый день я попробовала функцию встроенной записи, и она стерлась в процессе обработки. Я потеряла так час лекций (благо это был вводный день, не то чтобы было много новой информации).
2) Написала в поддержку в надежде решить эту проблему, но мне никто так и не ответил. Через неделю написала еще раз, но, видимо, там никого нет. С моей точки зрения, это существенный минус.
3) Приложение должно обрабатывать видео, но не обрабатывает. У меня оно зависало на отметке в 90% готовности, и все на этом. Ждала несколько часов, пробовала перезапускать – ноль реакции. При этом видео были короткие, 10-15 минут.
4) Выгрузить заметки никак вообще нельзя. Кроме меня на курсе учился по меньшей мере еще один человек, который пользовался Turbolearn, мы вместе поискали возможность извлечь заметки на компьютер – не нашли. В итоге я их просто скопировала себе в ворд.
5) Работает только на английском языке, другие не расшифровывает.
Плюсы тоже есть, конечно:
1) Если записывать лекции на свой диктофон, а потом загружать, запись обрабатывается быстро. У меня в день общий объем лекций получался час-два, достаточно быстро они расшифровались.
2) Сильный акцент лекторов или помехи связи он тоже нормально воспринимает и расшифровывает.
3) В общей сложности получилось 167 страниц конспектов хорошего качества. Помимо расшифровки лекций, Turbolearn генерирует в нужных местах примеры кода или таблицы, это потом удобно перечитывать.
4) По истечении тестового периода подписка отменилась без проблем, хотя я видела сообщение по меньшей мере от одного пользователя, у которого подписка не отменялась. Учитывая отсутствие техподдержки, было волнительно, но обошлось.
В целом, у меня скорее положительное впечатление. Если вы учитесь только на английском языке, будет нормально. Но прям советовать не могу.
Осенью пойду опять учиться, на этот раз на русском языке, и протестирую Coconote. Он может быть получше.

#инструменты #обзор

Планы
Я пишу все посты заранее, стараюсь на полторы-две недели вперед (сейчас я в отпуске и напишу побольше). Этот пост я пишу 29 июля, а выложу 9 августа. На этот момент у меня готов большой пост на vc на воскресенье 4 августа. Он лежит и чешется, но я держусь и жду даты запланированной публикации. Когда этот пост выйдет, скорее всего, я уже допишу про когнитивные искажения на 18 августа.
Мне вообще часто сложно удержаться от публикации, уж очень охота поделиться интересным. Но запас по времени нужен, чтобы не сбивать расписание в случае большой загрузки на работе или командировок. Я публикую здесь маленькие посты во вторник и пятницу, большие на vc – по воскресеньям, не хочу допускать простоев.
План по публикациям готов аж до первого ноября включительно. Понятно, что через месяц я могу найти что-то более актуальное и интересное для себя, тогда какие-то публикации подвину, но этот план все равно важен. Он помогает оценить объем тем, которые у меня есть, и я себя спокойнее чувствую, зная, что не нужно искать и что-то новое придумывать.
Идеи для всех постов сначала набиваются в Огромный Список, потом сортируются по датам, исходя из того, что скорее хочется поисследовать (это сложно, потому что все хочется).
Изначально была идея писать по мере собственного желания, но у меня есть склонность сначала работать 25/8, а потом лежать в углу и прокрастинировать, поэтому планирование – мое все.
Напоследок пара спойлеров: в воскресенье на vc будет пост про GAN, на следующей за ним неделе поделюсь тут полезными штуками, у которых есть бесплатные версии (такой пост получился, мне прям хочется его скорее опубликовать). До конца месяца планирую посты про прокрастинацию и научный подход к обучению. В сентябре будет несколько очень крутых и интересных моделей и небольшой заброс про кое-какой проект, которым я занимаюсь в свободное от работы время.

В продолжение к посту про когнитивные искажения сегодня напишу про моего главного врага – синдром самозванца (он не только мой, им, кажется, вообще все страдают).
Впервые он был описан в 1978 году в статье «The Imposter Phenomenon in High Achieving Women: Dynamics and Therapeutic Intervention» («Феномен самозванки у успешных женщин: динамика и терапия»). Как можно догадаться из названия, впервые синдром был описан именно на женщинах, которые, несмотря на свои многочисленные достижения, были убеждены в том, что они на самом деле не так умны и талантливы и всего лишь сумели обмануть окружающих и заставить их считать иначе. В той старой статье авторы сомневаются, что синдром характерен для мужчин (или, во всяком случае, столь же распространен).
Сегодня есть разные данные относительно распространенности синдрома по популяции. Среди студентов и выпускников вузов и колледжей, медсестер и представителей профессий из области STEM, образования и бизнеса синдромом самозванца страдают от 56% до 82% людей.
Еще одно большое исследование указывает на то, что синдрому самозванца сильно подвержены эйчары; 54% женщин и 38% мужчин с ним сталкивались. Forbes пишет об исследовании, согласно которому аж 70% людей вообще столкнется с синдромом самозванца хоть раз в жизни.
Синдром самозванца не является заболеванием, это скорее поведенческий феномен и часть опыта очень многих людей. Его можно практически считать нормальным на определенных этапах профессионального развития (но при выраженной интенсивности, которая мешает нормально жить и работать, лучше обратиться за помощью).
Некоторые специалисты выделяют пять типов синдрома самозванца:
- характерный для перфекционистов (ну тут понятно);
- для экспертов (хотят знать о своей области вообще все, малейшая некомпетентность кажется им полным провалом);
- для одиночек (тех, кто считает, что достижение можно засчитать только тогда, когда оно достигнуто исключительно их усилиями; если кто-то помогал, это не считается);
- для гениев (считают, что достижение – это когда все получилось легко и быстро; если пришлось напрягаться – не считается);
- для сверхлюдей (тех, кто привык жонглировать сразу кучей обязанностей и хотят преуспеть везде; если хотя бы в одной области они терпят неудачу, это провал всей жизни).
Если вы себя узнали, возможно, вас утешит тот факт, что синдром самозванца не характерен для новичков и дилетантов. Скорее всего, вы уже чего-то в самом деле достигли. Возможно, теперь пора достичь психолога.

(Иллюстрация сгенерирована с использованием GhatGPT)

Чтобы учиться максимально эффективно по науке, надо сначала побегать, потом поучиться, а затем сразу пойти спать
Ладно, это немного утрированный подход, но в нем есть некоторое здравое зерно. Регулярные тренировки (не только бег, а любые аэробные нагрузки, то есть, то, что мы называем «кардио» – нагрузки с увеличением частоты сердечных сокращений) замедляют процесс потери мозговой ткани, связанный с возрастом, а также помогают улучшить внимание, ускорить процесс обработки информации и более эффективно обучаться. Дело в том, что во время тренировок с повышением пульса к мозгу поступает больше крови, насыщенной глюкозой и кислородом. Кроме того, увеличивается уровень содержания молекул BDNF (brain-derived neurotrophic factor) – эти молекулы подпитывают образующиеся в процессе обучения нейронные связи и делают запоминание информации эффективнее.

В исследованиях с помощью фМРТ обнаружили, что у более активных пожилых людей больше объем гиппокампа, чем у менее активных. Гиппокамп играет очень важную роль в обучении и формировании новых воспоминаний. В частности, пациенты с серьезными повреждениями гиппокампа не могут запомнить, что происходило с ними вчера или несколько часов назад, но помнят события своей жизни, произошедшие до травмы или операции, в результате которых гиппокамп был поврежден.
Положительный эффект регулярных упражнений показан и на детях, и на молодых взрослых. При этом совершенно не нужно каждый день бегать марафоны. В исследованиях участники тренировались по полчаса, из которых пять минут уходило на разминку и еще пять – на заминку и восстановление.
Упражнения, даже невысокой интенсивности, помимо прочего, помогают справиться со стрессом, снизить тревогу и облегчить симптомы депрессии.

Что касается сна, тут все как будто более очевидно. Кто пытался учиться после пары бессонных ночей, понимает, что как минимум недостаток сна точно влияет на достижение успеха в этом направлении.
На самом деле, сон тоже влияет на гиппокамп (не только на него, конечно). Объем информации, которую способен хранить в себе гиппокамп, ограничен – это наша краткосрочная память. Во сне информация из краткосрочной памяти переносится в долгосрочную. Соответственно, недостаток сна снижает способность формировать долгосрочные воспоминания (здесь речь идет скорее о глубокой фазе сна, а вот фаза быстрых движений глаз (REM), по всей видимости, влияет на способность решать сложные задачи).

Теперь практически-полезное: в брошюре Student Sleep Guide собрана полезная информация про стадии сна, их влияние на память и способности к обучению, а еще некоторые практические рекомендации (например, исследователи советуют ложиться в промежуток между десятью вечера и полуночью и стараться спать хотя бы семь часов каждую ночь, обеспечить себя темнотой и тишиной и прибить храпящего соседа табуреткой).
Конечно, нормальное и достаточное время сна может отличаться от человека к человеку. Кому-то будет достаточно спать шесть часов или меньше, кому-то нужно девять часов, это зависит в том числе от неконтролируемых врожденных факторов. Главное, чтобы после сна человек себя чувствовал отдохнувшим и полным сил.
Короче говоря, сначала тренируемся и повышаем уровень глюкозы, кислорода и BDNF в мозгу, потом учимся, потом быстро спать для закрепления материала.

(Изображение сгенерировано с использованием PaLM AI)