Дополнительных материалов пост (Часть 1).
На vc писала про сверточные нейросети и упомянула там про ResNet вскользь, тут расскажу побольше.
При увеличении числа слоев в нейросети может возникать проблема деградации: это когда начиная с определенного момента (числа слоев) ошибка, вместо того чтобы снижаться, начинает расти, причем как на тестовой выборке, так и на обучающей. То есть, проблема не в переобучении, когда модель слишком хорошо подстраивается к тренировочным данным и не справляется с тестовыми (тогда ошибка на тренировочной выборке снижается, а на тестовой растет). Проблема в большом числе параметров. С математической точки зрения обучение модели заключается в минимизации функции ошибки. Больше параметров – сложнее функция, сложнее функция – больше локальных минимумов и вероятность застрять в одном из них, так и не добравшись до глобального минимума. Шикарная визуализация этой идеи представлена здесь.
Чтобы решить эту проблему, авторы ResNet предложили использовать остаточное обучение (residual learning).

(Часть 2) Если простыми словами, это работает так: обычно данные передаются от слоя к слою последовательно (вход слоя n – это выход слоя n-1), а ResNet состоит из блоков, в которых выход слоя n-1 пропускает следующий за ним и передается в слой n+1 вместе с выходом слоя n (на скриншоте x – это матрица с входными данными, а F(x) – результат преобразования x в первом слое)
Тогда каждый следующий слой получает информацию о том, что изменилось на предыдущем (то есть, что изменилось при переходе от x к F(x)). Это «что изменилось» и есть остаток.
Функция ошибки сглаживается, процесс обучения становится более стабильным, и это в свое время стало прорывом и помогло нейросетям обойти человека в задаче классификации изображений.

Правовое регулирование ИИ
Правовое регулирование в области ИИ – это недавняя история, во всем мире в последние несколько лет ведутся обсуждения того, что именно регулировать и как. Каких-то строго прописанных законов практически нет (или мне не удалось найти), но есть разные руководящие принципы и инициативы.
- EU AI Act (одобрен в мае 2024 года). Это часть стратегии цифрового развития Евросоюза. Акт делит риски, связанные с ИИ на высокие и недопустимые. Решения, связанные с недопустимыми рисками (биометрическая идентификация и категоризация людей, манипуляция сознанием, социальный скоринг) должны быть запрещены за редкими исключениями (например, биометрическая идентификация может потенциально быть применена для поимки преступников). Решения, связанные с высокими рисками (работа с критической инфраструктурой, медицинские и образовательные решения, решения, связанные с наймом сотрудников, применением закона и пр.) должны сначала пройти проверку регулирующих органов, и только потом могут быть выпущены на рынок. Кроме того, акт предъявляет требования к прозрачности (например, специальную пометку для контента, созданного с использованием ИИ).
- Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence (США, выпущен в октябре 2023 года). Указ также требует прозрачности и дает рекомендации для мер по защите персональных данных. Что отдельно интересно, в течение 120 дней с момента публикации указа Ведомство по патентам и товарным знакам США должно было выпустить руководство для патентных экспертов и заявителей на тему использования генеративного ИИ в изобретениях. В течение еще 270 дней – руководство непосредственно по патентованию, про это надо будет отдельно написать.
- для России нашла такой ресурс. Там перечислены нормативно-правовые акты, актуальные на 2024 год, стандарты, исследования – много всего. Кратко не опишешь, нужно зайти и почитать. На том же портале можно найти Национальную стратегию на период до 2030 года;
- в Китае, кажется, регулирование ИИ достаточно проработанное (ссылка открывается через VPN). Много внимания уделяется рекомендательным алгоритмам и алгоритмам глубокого синтеза (deep synthesis; с их помощью можно создать deep fake).

Я писала пост про Turbolearn (инструмент для конспектирования лекций). Это было в тот момент, когда я его только нашла, и пост получился очень положительный. Сейчас я протестировала его платную версию (взяла безлимитный тариф) в течение трех недель на больших лекциях и хочу закончить тему полноценным уже обзором со всеми недостатками, которые обнаружились в процессе работы.
1) Для расшифровки аудиозаписей там есть два варианта: можно либо прям в веб-приложении записывать аудио, потом расшифровать, либо записать отдельно на диктофон и загрузить. В первый день я попробовала функцию встроенной записи, и она стерлась в процессе обработки. Я потеряла так час лекций (благо это был вводный день, не то чтобы было много новой информации).
2) Написала в поддержку в надежде решить эту проблему, но мне никто так и не ответил. Через неделю написала еще раз, но, видимо, там никого нет. С моей точки зрения, это существенный минус.
3) Приложение должно обрабатывать видео, но не обрабатывает. У меня оно зависало на отметке в 90% готовности, и все на этом. Ждала несколько часов, пробовала перезапускать – ноль реакции. При этом видео были короткие, 10-15 минут.
4) Выгрузить заметки никак вообще нельзя. Кроме меня на курсе учился по меньшей мере еще один человек, который пользовался Turbolearn, мы вместе поискали возможность извлечь заметки на компьютер – не нашли. В итоге я их просто скопировала себе в ворд.
5) Работает только на английском языке, другие не расшифровывает.
Плюсы тоже есть, конечно:
1) Если записывать лекции на свой диктофон, а потом загружать, запись обрабатывается быстро. У меня в день общий объем лекций получался час-два, достаточно быстро они расшифровались.
2) Сильный акцент лекторов или помехи связи он тоже нормально воспринимает и расшифровывает.
3) В общей сложности получилось 167 страниц конспектов хорошего качества. Помимо расшифровки лекций, Turbolearn генерирует в нужных местах примеры кода или таблицы, это потом удобно перечитывать.
4) По истечении тестового периода подписка отменилась без проблем, хотя я видела сообщение по меньшей мере от одного пользователя, у которого подписка не отменялась. Учитывая отсутствие техподдержки, было волнительно, но обошлось.
В целом, у меня скорее положительное впечатление. Если вы учитесь только на английском языке, будет нормально. Но прям советовать не могу.
Осенью пойду опять учиться, на этот раз на русском языке, и протестирую Coconote. Он может быть получше.

#инструменты #обзор

Планы
Я пишу все посты заранее, стараюсь на полторы-две недели вперед (сейчас я в отпуске и напишу побольше). Этот пост я пишу 29 июля, а выложу 9 августа. На этот момент у меня готов большой пост на vc на воскресенье 4 августа. Он лежит и чешется, но я держусь и жду даты запланированной публикации. Когда этот пост выйдет, скорее всего, я уже допишу про когнитивные искажения на 18 августа.
Мне вообще часто сложно удержаться от публикации, уж очень охота поделиться интересным. Но запас по времени нужен, чтобы не сбивать расписание в случае большой загрузки на работе или командировок. Я публикую здесь маленькие посты во вторник и пятницу, большие на vc – по воскресеньям, не хочу допускать простоев.
План по публикациям готов аж до первого ноября включительно. Понятно, что через месяц я могу найти что-то более актуальное и интересное для себя, тогда какие-то публикации подвину, но этот план все равно важен. Он помогает оценить объем тем, которые у меня есть, и я себя спокойнее чувствую, зная, что не нужно искать и что-то новое придумывать.
Идеи для всех постов сначала набиваются в Огромный Список, потом сортируются по датам, исходя из того, что скорее хочется поисследовать (это сложно, потому что все хочется).
Изначально была идея писать по мере собственного желания, но у меня есть склонность сначала работать 25/8, а потом лежать в углу и прокрастинировать, поэтому планирование – мое все.
Напоследок пара спойлеров: в воскресенье на vc будет пост про GAN, на следующей за ним неделе поделюсь тут полезными штуками, у которых есть бесплатные версии (такой пост получился, мне прям хочется его скорее опубликовать). До конца месяца планирую посты про прокрастинацию и научный подход к обучению. В сентябре будет несколько очень крутых и интересных моделей и небольшой заброс про кое-какой проект, которым я занимаюсь в свободное от работы время.

В продолжение к посту про когнитивные искажения сегодня напишу про моего главного врага – синдром самозванца (он не только мой, им, кажется, вообще все страдают).
Впервые он был описан в 1978 году в статье «The Imposter Phenomenon in High Achieving Women: Dynamics and Therapeutic Intervention» («Феномен самозванки у успешных женщин: динамика и терапия»). Как можно догадаться из названия, впервые синдром был описан именно на женщинах, которые, несмотря на свои многочисленные достижения, были убеждены в том, что они на самом деле не так умны и талантливы и всего лишь сумели обмануть окружающих и заставить их считать иначе. В той старой статье авторы сомневаются, что синдром характерен для мужчин (или, во всяком случае, столь же распространен).
Сегодня есть разные данные относительно распространенности синдрома по популяции. Среди студентов и выпускников вузов и колледжей, медсестер и представителей профессий из области STEM, образования и бизнеса синдромом самозванца страдают от 56% до 82% людей.
Еще одно большое исследование указывает на то, что синдрому самозванца сильно подвержены эйчары; 54% женщин и 38% мужчин с ним сталкивались. Forbes пишет об исследовании, согласно которому аж 70% людей вообще столкнется с синдромом самозванца хоть раз в жизни.
Синдром самозванца не является заболеванием, это скорее поведенческий феномен и часть опыта очень многих людей. Его можно практически считать нормальным на определенных этапах профессионального развития (но при выраженной интенсивности, которая мешает нормально жить и работать, лучше обратиться за помощью).
Некоторые специалисты выделяют пять типов синдрома самозванца:
- характерный для перфекционистов (ну тут понятно);
- для экспертов (хотят знать о своей области вообще все, малейшая некомпетентность кажется им полным провалом);
- для одиночек (тех, кто считает, что достижение можно засчитать только тогда, когда оно достигнуто исключительно их усилиями; если кто-то помогал, это не считается);
- для гениев (считают, что достижение – это когда все получилось легко и быстро; если пришлось напрягаться – не считается);
- для сверхлюдей (тех, кто привык жонглировать сразу кучей обязанностей и хотят преуспеть везде; если хотя бы в одной области они терпят неудачу, это провал всей жизни).
Если вы себя узнали, возможно, вас утешит тот факт, что синдром самозванца не характерен для новичков и дилетантов. Скорее всего, вы уже чего-то в самом деле достигли. Возможно, теперь пора достичь психолога.

(Иллюстрация сгенерирована с использованием GhatGPT)

Чтобы учиться максимально эффективно по науке, надо сначала побегать, потом поучиться, а затем сразу пойти спать
Ладно, это немного утрированный подход, но в нем есть некоторое здравое зерно. Регулярные тренировки (не только бег, а любые аэробные нагрузки, то есть, то, что мы называем «кардио» – нагрузки с увеличением частоты сердечных сокращений) замедляют процесс потери мозговой ткани, связанный с возрастом, а также помогают улучшить внимание, ускорить процесс обработки информации и более эффективно обучаться. Дело в том, что во время тренировок с повышением пульса к мозгу поступает больше крови, насыщенной глюкозой и кислородом. Кроме того, увеличивается уровень содержания молекул BDNF (brain-derived neurotrophic factor) – эти молекулы подпитывают образующиеся в процессе обучения нейронные связи и делают запоминание информации эффективнее.

В исследованиях с помощью фМРТ обнаружили, что у более активных пожилых людей больше объем гиппокампа, чем у менее активных. Гиппокамп играет очень важную роль в обучении и формировании новых воспоминаний. В частности, пациенты с серьезными повреждениями гиппокампа не могут запомнить, что происходило с ними вчера или несколько часов назад, но помнят события своей жизни, произошедшие до травмы или операции, в результате которых гиппокамп был поврежден.
Положительный эффект регулярных упражнений показан и на детях, и на молодых взрослых. При этом совершенно не нужно каждый день бегать марафоны. В исследованиях участники тренировались по полчаса, из которых пять минут уходило на разминку и еще пять – на заминку и восстановление.
Упражнения, даже невысокой интенсивности, помимо прочего, помогают справиться со стрессом, снизить тревогу и облегчить симптомы депрессии.

Что касается сна, тут все как будто более очевидно. Кто пытался учиться после пары бессонных ночей, понимает, что как минимум недостаток сна точно влияет на достижение успеха в этом направлении.
На самом деле, сон тоже влияет на гиппокамп (не только на него, конечно). Объем информации, которую способен хранить в себе гиппокамп, ограничен – это наша краткосрочная память. Во сне информация из краткосрочной памяти переносится в долгосрочную. Соответственно, недостаток сна снижает способность формировать долгосрочные воспоминания (здесь речь идет скорее о глубокой фазе сна, а вот фаза быстрых движений глаз (REM), по всей видимости, влияет на способность решать сложные задачи).

Теперь практически-полезное: в брошюре Student Sleep Guide собрана полезная информация про стадии сна, их влияние на память и способности к обучению, а еще некоторые практические рекомендации (например, исследователи советуют ложиться в промежуток между десятью вечера и полуночью и стараться спать хотя бы семь часов каждую ночь, обеспечить себя темнотой и тишиной и прибить храпящего соседа табуреткой).
Конечно, нормальное и достаточное время сна может отличаться от человека к человеку. Кому-то будет достаточно спать шесть часов или меньше, кому-то нужно девять часов, это зависит в том числе от неконтролируемых врожденных факторов. Главное, чтобы после сна человек себя чувствовал отдохнувшим и полным сил.
Короче говоря, сначала тренируемся и повышаем уровень глюкозы, кислорода и BDNF в мозгу, потом учимся, потом быстро спать для закрепления материала.

(Изображение сгенерировано с использованием PaLM AI)

В 2022 году была опубликована большая обзорная статья, авторы которой собрали и проанализировали 1 635 статей, опубликованных с 1990 по 2020 год. Цель обзора – понять, какие аспекты прокрастинации интересовали исследователей на протяжении всего обозначенного периода, как менялся их фокус внимания и на чем следует сосредоточиться будущим исследователям.
Поскольку я не могу физически обработать такой объем информации, сосредоточусь на паре самых свежих работ из списка, которые особенно привлекли мое внимание.
* В работе «Caught in the moment: Are there person-specific associations between momentary procrastination and passively measured smartphone use?» 2022 года авторы изучают связь между прокрастинацией и использованием смартфонов. В качестве испытуемых припахали студентов, конечно же, в количестве 221 человека. В течение месяца они сами записывали свои моменты прокрастинации, параллельно отслеживалась продолжительность использования смартфонов. Выводы получились, в общем, не удивительные: смартфоны связаны с прокрастинацией, но эта связь у разных людей проявляется по-разному. Общие наблюдение заключаются в том, что, во-первых, чем больше уведомлений, тем больше прокрастинации, и чем более фрагментировано (часто понемногу) использование смартфона, тем тоже больше прокрастинации.
* В статье «The Effect of Abusive Supervision on Employees’ Work Procrastination Behavior» (2021 год) авторы выясняют, что будет с прокрастинацией, если сотрудников на рабочем месте периодически пинать (вербально и невербально, но не прям в буквальном смысле). Во введении к статье они сообщают, что офисные сотрудники прокрастинируют примерно 1,3 часа в день, и это еще заниженная оценка (тут мне стало полегче, потому что я, оказывается, еще не самый злостный прокрастинатор). Так вот, если пинать людей часто, а поощрять редко, они чаще прокрастинируют. Меньше прокрастинируют более устойчивые ко всяким негативным внешним воздействиям люди, а также те, кто умеет как следует отдыхать и переключаться в нерабочее время.
* В статье «Procrastination and problematic new media use: the mediating role of future anxiety» авторы выделяют прокрастинацию общую (которая выражается в откладывании повседневных дел) и прокрастинацию, связанную с принятием решений в срок. Изучали опять студентов, выяснили, что самые прокрастинирующие выражают наиболее высокий страх перед будущим (это относится к обоим типам прокрастинации, но немного больше к тому, который связан с принятием решений). Авторы также упоминают другие исследования, которые связывают использование социальных сетей с системой вознаграждения в мозге (получение быстрого дофамина). Тревожимся по поводу будущего –> залипаем на котиков –> не делаем дела –> тревожимся еще больше. Замкнутый круг.
* Авторы работы «Outcome value and task aversiveness impact task procrastination through separate neural pathways» засунули своих подопытных в аппарат МРТ, чтобы выяснить, что в мозгу непосредственно влияет на прокрастинацию. Выяснили, что влияют амигдала (она же миндалевидное тело) и гиппокамп. Гиппокамп активно участвует в формировании воспоминаний и мыслях о будущем, а амигдала обрабатывает эмоции, она в значительной степени связана со страхом. Если выполнение задания сулит большую награду (или невыполнение сулит большие проблемы), включается гиппокамп и дает нам хорошего пинка, чтобы мы отложили котиков. Если задание неприятное, скучное или сложное, амигдала требует отложить задание и смотреть котиков. Что мы в итоге будем делать, решает исход их поединка: у кого мощнее сигнал, тот и перехватывает контроль над поведением.

Короче, вот научно обоснованный план по победе над прокрастинацией:

1. Осознать, что вам не победить.
2. Разбить свои задачи на задачи поменьше и ставить галочки в списке, чтобы получить немножко дофамина.
3. Отключить уведомления на телефоне.
4. Отдыхать в выходные и вовремя ходить в отпуск.
5. Не ругать себя слишком сильно. Это только усилит тревогу и точно не поможет оторваться от телефона. И вообще, некоторые задачи должны отлежаться в мозгу, прежде чем вы найдете решение.

* (Изображение сгенерировано с использованием ChatGPT)