Разберём, наконец, концепцию того, что такое EMX-обучение, математичеки строго.

Для этого вернёмся к рис. 2 предыдущего поста, где авторы предлагают рассмотреть следующий сетап. Пусть у нас есть некоторое множество примеров с векторами фичей Х, и каждому такому примеру сопоставлена бинарная метка у - 0 или 1. Метки могут сопоставляться примерам по-разному, это сопоставление вероятностное и задаётся некоторым распределением вероятностей P.
Далее, пусть F - фиксированное семейство функций, которые отображают вектора фичей X в метки y. Например, такими функциями могут быть все функции вида f = {0, если AX + b < 0 и 1, если AX + b ≥ 0} - то есть, простые, советские, копеечные пороговые классификаторы над линейными функциями, известные всем любителям машинного обучения.
Далее, за Opt(F) мы обозначим такую функцию из F, которая максимально подходит для решения данной задачи. Конечно, для того, чтобы точно определить, что такое "максимально подходит", мы задаём и фиксируем целевую функцию h, которую мы хотим максимизировать - как пример, это может быть процент правильно классифицированных точек (accuracy).

Наконец, назовем EMX(epsilon, delta)-learner'ом такой алгоритм машинного обучения G, который будет работать "достаточно хорошо" для каждого "разумного" распределения вероятностей меток P. "Достаточно хорошо" означает, что он с достаточно большой вероятностью найдет функцию, достаточно близкую к Opt(F). Говоря ещё более конкретно, он должен найти такую функцию с вероятностью 1 - delta, а отличаться она от Opt(F) должна не больше, чем на epsilon - именно отсюда обозначение EMX(epsilon, delta). При чем сделать он это должен, используя тренировочное множество размера d (это утверждается в значке под знаком Pr в формуле - там написано про декартово произведение Р на себя d раз, это означает, что мы берем d примеров для обучения).

Ну что? Если вдуматься, этот сетап не такой уж и мудрёный, просто очень строго формализован математически, и оттого, как всегда, появляется много символов в формулах. Тем более интересно утверждение статьи на рис. 3 - в этом утверждении в качестве F берутся функции, отображающее конечные подмножества отрезка [0, 1] в единицу, а в качестве распределений P - все возможные распределения над этим же отрезком; и оказывается, что EMX-learnability (т.е. существование EMX-learnable алгоритма) с некоторыми фиксированными параметрами epsilon и delta над таким множеством независимо от аксиом Цермелло-Френкеля.

Далее авторы, собственно, показывают, что такой алгоритм существует, если и только если между счётным множеством и континуумом добавлено конечное число "промежуточных" мощностей, но доказательство я уже не буду разбирать. 🙃

Конечно, на самом деле ни один реальный алгоритм не может искать оптимальную функцию над таким большим множеством функций. Поэтому результат является сугубо теоретическим.

#математика #объяснения_статей #математика_в_ML

Надоело рассказывать тысячу раз одно и то же, потому вот моя биография в плане учебы, чтобы просто давать на нее ссылку, если что.

1990 - рождение;
1995 - пошла в первый класс (в пять лет, сейчас испытываю глубокое отвращение к этому факту, а также к слову "вундеркинд", которым меня называли. Мне бы намного больше нравилось, если бы меня называли не вундеркиндом, а человеком).
С 1 по 5 класс училась на одни пятерки. Все предметы шли легко. Единственное, с чем всегда было плохо и что учителям приходилось натягивать, чтобы не портить дневник - это оценка по поведению. 🤡
1998 - пошла в пятый класс (перепрыгнув через один класс - тогда четвертый класс отменили). Это был последний класс, в котором я была круглой отличницей (тоже теперь как-то неприятно вспоминать, словно этими оценками я как будто соглашалась с ненавистным статусом вундеркинда). Где-то после этого мои интересы начали отдаляться от сверстников в сторону увлечения наукой и техникой (в основном тем, что связано с биологией, животными, электроникой, механизмами), а также творчеством (делала всякие штуки из дерева, рисовала). Я начала постепенно становиться изгоем и менять школы одну за другой, параллельно ухудшались оценки.
Как же увлечение ноукой может ухудшить оценки? Очень просто, я со временем просто начала все больше забивать на школьную программу, вместо этого изучая только то, что мне нравится, а также много прогуливала и все реже делала домашки, хотя дома меня очень упорно заставляли.
2004 - пошла в десятый класс. На этот момент я уже ненавидела школу (в первую очередь из-за травли от одноклассников, во вторую - потому что мне не нравились предметы и учителя), полностью перестала делать домашние задания, постепенно начала игнорировать и то, что просили делать учителя на уроках. Как раз к этому периоду относятся мои воспоминания о том, как учителя меня называли "тупой", "неадекватной", "отсталой", винили в том, что меня бьют, говоря, что это все из-за того, что я провоцирую и пр. Впрочем, этот период вспоминать все равно менее обидно, чем тот, когда меня называли вундеркиндом и хвалили за оценки.
В начале 2004 я просто отказалась ходить в школу, и никакими криками и угрозами заставить меня это делать стало уже физически невозможным. Пришлось меня отчислить.
2005 - родители еле-еле заставили поступить в техникум на базе 9 классов, которые у меня всё-таки были закончены. Из-за того, что мне очень нравились компьютеры, специальность была выбрана "техник ЭВМ". Сейчас я понимаю, что специальность была очень плохо составлена и была практически бесполезна, но тогда я не особо могла что сообразить по этому поводу. Параллельно я начала интересоваться математикой. Где-то году в 2006 я окончательно зафиксировалась на мысли стать математиком и с тех пор в течение нескольких лет к этому стремилась.
2009 - окончание техникума (в основном в дипломе тройки), первая попытка поступить в МГУ. Провал, пришлось вместо этого год проучиться в провинциальном вузе.
2010 - успешное поступление на мехмат МГУ с помощью полностью самостоятельной подготовки к ЕГЭ и вступительным экзаменам мехмата с последующей успешной сдаче их на высокие баллы, что шокировало окружающих. Теперь, учитывая предыдущую историю, становится понятной ещё одна причина, почему мне потом было так трудно там учиться. Я разучилась учиться систематически, так как много лет этого не хотела и, соответственно, не делала, а когда захотела, способности к этому уже уменьшились.
Также здесь надо отметить, что МГУ был первым учебным заведением, где меня не травили (видимо, потому что на мехмате все странные, и я уже не выделялась), поэтому я очень сильно его полюбила. Естественно, после многих лет травли я была совершенно социально не адаптирована (хикка-сыч), но благодаря новым друзьям на мехмате, стала учиться общаться и социализироваться.
2015 - окончание МГУ (также на тройки), далее год работы на полную ставку с небольшим перерывом.
2016 - поступление в аспирантуру. Учеба в аспирантуре, совмещённая с временной работой или неполным рабочим днём.
2020 - изгнание из аспирантуры.
2023 - вы находитесь здесь.

#о_себе

Towards Understanding Sycophancy in Language Models

Ещё одна статья от Anthropic, в которой показывается, что современные AI-ассистенты часто выдают «льстивые» ответы, которые нравятся пользователям, но при этом не являются точными. Вы наверняка это и сами замечали. Помните тот мем, где пользователь говорит "моя жена утверждает, что 2+2=5, и она всегда права"? Вот у модели есть выбор — огорчить вас и сказать, что всё же тут есть ошибка, или согласиться на неправильный ответ.

Что приводит к такому поведению? Авторы проанализировали свои данные о предпочтениях (используемых для последнего этапа тренировки, RLHF), и обнаружили, что соответствие ответа убеждениям конкретного человека является самым лучшим предиктором (предсказывающим фактором) того, насколько ему понравится ответ. Ни релевантность ответа вопросу, ни дружелюбность, ни правдивость, ни соответствие стилю — а именно соответствие убеждениям. Это и проиллюстрировано на приложенном изображении. И именно такое поведение неявно закрепляется через RLHF.

Какой из этого вывод? По сути, это недостаток процесса сбора данных, который приводит к "подхалимству", которое является характерной чертой буквально каждого протестированного AI-ассистента. Значит, нужно больше внимания уделять составлению грамотных инструкций для разметчиков, а также внедрять методы обучения, выходящие за рамки неэкспертного человеческого суждения, такие как обратная связь и критика от другого AI-ассистента. Да, давайте интегрируем модель в подготовку данных для модели чтобы ты мог размечать данные для модели пока работаешь с моделью над разметкой данных для модели 😔

Anthropic, кстати, уже занимались работой в этом направлении: тык. Да и OpenAI уж больше года назад писали про AI-критиков, которые помогают глазу "не замыливаться".

Наткнулся на миленький гайд по преодолению тревожности в занятиях математикой. Несколько пунктов, которые мне показались интересными:

1. Люди не делятся на “математиков” и “не-математиков”. Ей можно заниматься или не заниматься.

2. В школе и университете мы привыкли заниматься математикой на скорость – решать тесты и задачи на время. В реальной жизни редко когда важна скорость решения задачи (если вы не в хеджфонде работаете, конечно 📈).

3. Мы часто думаем, что в математике, в отличие от гуманитарных наук, есть только два типа ответов: правильный и неправильные. На самом деле, прийти к правильному ответу можно множеством разных путей. 💡

Мне кажется, в России особенно токсичное отношение к “чистоте” математики. Как вы с этим справляетесь, дорогие читатели?