Вчерашний митап "LLM в математике и алгоритмах" прошёл категорически успешно. Напишу о нём, когда появятся хорошие фотографии, а сейчас расскажу вам о квизе, который я для митапа подготовил и провёл. Вот полная версия поста:
Люди против роботов: пьеса в трёх модальностях
Идея была в том, чтобы сделать такой квиз, на котором LLM смогут соревноваться с людьми, и ни у людей, ни у "роботов" не будет заведомого преимущества. Про один из туров — обычное ЧГК из базы — у меня особых сомнений не было: хотя я ещё в октябре 2024 года заметил, что рассуждающие LLM могут играть в ЧГК, тут пока несложно найти вопросы, на которых заведомого преимущества не будет. Например, у всех LLM сложно с игрой в буквы, потому что токены с буквами не сходятся (да, считать r в strawberry тоже сложно именно по этой причине), а если это ещё и по-русски происходит, то вообще, скорее всего, до свидания.
Но хотелось и как-то разнообразить программу, например сделать туры с разными модальностями. Это бы тоже могло оказаться сложным или хотя бы интересным для LLM. Спросил об этом Claude... и, конечно, тут же получил прекрасные идеи. Вот буквально под номерами 1 и 2 шли идеи, которые в итоге и попали в квиз (рис. 2).
Так что для второго тура я подобрал несколько интересных фотографий рукописей великих математиков. Получилось, кажется, действительно интересное задание (см в посте и презентации примеры).
А со звуком опять попросил Claude написать код, который этот звук сгенерирует — и он, конечно же, без проблем справился. Правда, в итоге выяснилось, что эту конкретную идею всё-таки Claude не сам придумал, а взял из "Sound of Sorting" Тимо Бингманна, так что звуки алгоритмов поиска я сгенерировал, а для алгоритмов сортировки взял из готового видео.
Квиз мы больше нигде играть не будем, так что вот, выкладываю финальную презентацию:
Квиз против LLM — LLM в математике и алгоритмах — 5 июля 2025 года
И вот на рис. 3 результаты (ссылка на таблицу).
Как и ожидалось, LLM было сложно со звуком: Claude просто не принимает звук на вход, так что из раунда был дисквалифицирован, а вот o3-pro и o4-mini-high, казалось бы, всё поняли, но почему-то ответов правильных дали мало. На рис. 4 o3-pro идеально разложил аргументы про алгоритмы сортировки (аудио можно послушать в видео)... но почему-то все перепутал, я даже засомневался, не было ли какой ошибки в названиях файлов.
С картинками LLM справились почти идеально, в этом они куда лучше людей. Только задание про первую языковую модель Андрея Андреевича Маркова вызвало серьёзные проблемы у LLM — справился только o3-pro, а остальные писали что-то про криптографию.
А вот с ЧГК получилось, как я и ожидал, по-разному. Например, вот первый вопрос:
Алгоритм Дейкстры позволяет искать в графе кратчайшие пути, начинающиеся в стартовой вершине. Есть вариант его запуска из стартовой и конечной вершин одновременно. Юрий Натаров предложил для этой модификации в название алгоритма добавить четыре буквы. Какие?
Здесь я ожидал, что с буквами будут проблемы, и действительно, из LLM не взял никто; правда, проблемы оказались скорее с юмором и пониманием сути ЧГК, потому что почти все модели ответили Bidi от bidirectional, что логично, но совершенно не смешно и не повод для вопроса. Лучше всех здесь снова выступила o3-pro — её идея не соответствует форме вопроса, но это всё равно гениально; см. рис. 5.
В посте ещё пару примеров привожу, здесь уже не помещается.
А в целом вышло так, что только o3-pro по сумме трёх раундов победила всех человеков. Да и то скорее за счёт того, что картинки рукописей o3-pro скорее всего подгугливала, и запретить ей это не получалось. Но очевидно, что этот фронтир тоже потихоньку движется вперёд; надеюсь, что LLM скоро всё-таки смогут и юмор понимать, и буквы переставлять, и вообще станут полноценными ЧГК-помощниками и тренерами.
В этом уж точно нет ничего апокалиптического, сплошные плюсы.
Люди против роботов: пьеса в трёх модальностях
Идея была в том, чтобы сделать такой квиз, на котором LLM смогут соревноваться с людьми, и ни у людей, ни у "роботов" не будет заведомого преимущества. Про один из туров — обычное ЧГК из базы — у меня особых сомнений не было: хотя я ещё в октябре 2024 года заметил, что рассуждающие LLM могут играть в ЧГК, тут пока несложно найти вопросы, на которых заведомого преимущества не будет. Например, у всех LLM сложно с игрой в буквы, потому что токены с буквами не сходятся (да, считать r в strawberry тоже сложно именно по этой причине), а если это ещё и по-русски происходит, то вообще, скорее всего, до свидания.
Но хотелось и как-то разнообразить программу, например сделать туры с разными модальностями. Это бы тоже могло оказаться сложным или хотя бы интересным для LLM. Спросил об этом Claude... и, конечно, тут же получил прекрасные идеи. Вот буквально под номерами 1 и 2 шли идеи, которые в итоге и попали в квиз (рис. 2).
Так что для второго тура я подобрал несколько интересных фотографий рукописей великих математиков. Получилось, кажется, действительно интересное задание (см в посте и презентации примеры).
А со звуком опять попросил Claude написать код, который этот звук сгенерирует — и он, конечно же, без проблем справился. Правда, в итоге выяснилось, что эту конкретную идею всё-таки Claude не сам придумал, а взял из "Sound of Sorting" Тимо Бингманна, так что звуки алгоритмов поиска я сгенерировал, а для алгоритмов сортировки взял из готового видео.
Квиз мы больше нигде играть не будем, так что вот, выкладываю финальную презентацию:
Квиз против LLM — LLM в математике и алгоритмах — 5 июля 2025 года
И вот на рис. 3 результаты (ссылка на таблицу).
Как и ожидалось, LLM было сложно со звуком: Claude просто не принимает звук на вход, так что из раунда был дисквалифицирован, а вот o3-pro и o4-mini-high, казалось бы, всё поняли, но почему-то ответов правильных дали мало. На рис. 4 o3-pro идеально разложил аргументы про алгоритмы сортировки (аудио можно послушать в видео)... но почему-то все перепутал, я даже засомневался, не было ли какой ошибки в названиях файлов.
С картинками LLM справились почти идеально, в этом они куда лучше людей. Только задание про первую языковую модель Андрея Андреевича Маркова вызвало серьёзные проблемы у LLM — справился только o3-pro, а остальные писали что-то про криптографию.
А вот с ЧГК получилось, как я и ожидал, по-разному. Например, вот первый вопрос:
Алгоритм Дейкстры позволяет искать в графе кратчайшие пути, начинающиеся в стартовой вершине. Есть вариант его запуска из стартовой и конечной вершин одновременно. Юрий Натаров предложил для этой модификации в название алгоритма добавить четыре буквы. Какие?
Здесь я ожидал, что с буквами будут проблемы, и действительно, из LLM не взял никто; правда, проблемы оказались скорее с юмором и пониманием сути ЧГК, потому что почти все модели ответили Bidi от bidirectional, что логично, но совершенно не смешно и не повод для вопроса. Лучше всех здесь снова выступила o3-pro — её идея не соответствует форме вопроса, но это всё равно гениально; см. рис. 5.
В посте ещё пару примеров привожу, здесь уже не помещается.
А в целом вышло так, что только o3-pro по сумме трёх раундов победила всех человеков. Да и то скорее за счёт того, что картинки рукописей o3-pro скорее всего подгугливала, и запретить ей это не получалось. Но очевидно, что этот фронтир тоже потихоньку движется вперёд; надеюсь, что LLM скоро всё-таки смогут и юмор понимать, и буквы переставлять, и вообще станут полноценными ЧГК-помощниками и тренерами.
В этом уж точно нет ничего апокалиптического, сплошные плюсы.
❤27🔥17🎉2
Появились фотографии со школы "Управление, информация и оптимизация" имени Поляка, так что вот, как и обещал, делюсь и напоминаю о своих там докладах. Во-первых и в-главных, большое спасибо Александру Гасникову за приглашение! Это было очень интересно, было много внимательных слушателей, которые не стеснялись задавать острые вопросы. Познакомился и повстречался на школе с массой интересных и очень крутых людей. Да и в самом Иннополисе я очень давно не был, там много нового появилось, многое изменилось к лучшему. Главное — в университете чувствуется очень активная жизнь даже несмотря на то, что летняя школа была, собственно, летом, в июле, когда никакого учебного процесса там не было. Кажется, там одновременно с нами шли ещё две конференции, по университету всё время бегали какие-то стайки школьников, и в целом жизнь цвела и бурлила.
У меня было там, формально говоря, три выступления: большая лекция на стандартную свою тему про AI Safety (из двух частей с перерывом на обед, то есть суммарно вышло два с половиной часа), а потом круглый стол, тоже на два с лишним часа, с замечательными учёными: Владимиром Спокойным, Константином Воронцовым, Александром Дьяконовым и собственно Александром Гасниковым. Мне, кстати, круглый стол очень понравился, кажется, что вроде как и не спорили друг с другом, но отвечали немножко с разных позиций, и получилось реально интересно.
Все видео сразу же были выложены Университетом Иннополис, а потом я и на свой сайт добавил (разумеется, интеграция с VK Video получилась с одного запроса к Codex).
Раздел "Выступления", там первые три пункта сейчас из школы Поляка
AI Safety: Готовы ли мы к сильному искусственному интеллекту (слайды)
Первая часть на VKVideo, вторая часть, круглый стол
Возможно, будут и ещё какие-то видео и материалы из Иннополиса — ещё раз большое спасибо за приглашение, и буду очень рад приехать ещё!
#talks #lifestyle #ai
У меня было там, формально говоря, три выступления: большая лекция на стандартную свою тему про AI Safety (из двух частей с перерывом на обед, то есть суммарно вышло два с половиной часа), а потом круглый стол, тоже на два с лишним часа, с замечательными учёными: Владимиром Спокойным, Константином Воронцовым, Александром Дьяконовым и собственно Александром Гасниковым. Мне, кстати, круглый стол очень понравился, кажется, что вроде как и не спорили друг с другом, но отвечали немножко с разных позиций, и получилось реально интересно.
Все видео сразу же были выложены Университетом Иннополис, а потом я и на свой сайт добавил (разумеется, интеграция с VK Video получилась с одного запроса к Codex).
Раздел "Выступления", там первые три пункта сейчас из школы Поляка
AI Safety: Готовы ли мы к сильному искусственному интеллекту (слайды)
Первая часть на VKVideo, вторая часть, круглый стол
Возможно, будут и ещё какие-то видео и материалы из Иннополиса — ещё раз большое спасибо за приглашение, и буду очень рад приехать ещё!
#talks #lifestyle #ai
❤16🔥15⚡1
Сегодня и завтра читаю лекции в "Сириусе". Раньше никогда здесь не бывал — и восхищён до невозможности. Огромное пространство, огромные корпусы, прекрасно всё организовано и отремонтировано, и всё действительно сделано для детей.
Я живу на кампусе (в прекрасном номере), в корпусе, который только большой парк отделяет от моря (см. фото с балкона). Выходишь в одну сторону — попадаешь на пляж; честно говоря, я нигде в мире не видел лучше оборудованного пляжа. Выходишь в другую — видишь какой-то диснейленд, но туда я в этот раз, наверное, не доберусь.
Лекции читать езжу в пресс-центр, построенный для Олимпиады в Сочи, и это действительно впечатляющее сооружение: высоченные потолки, широкие коридоры-аллеи под стеклом, вайб одновременно гигантского ангара и вместе с тем массы разных помещений. Очень круто. Правда, выступал я не в том супер-зале, который на фото, но зал всё равно классный.)
Лекции, надеюсь, можно будет выложить, а пока просто скажу, что я и правда под впечатлением. И всё работает, это не потёмкинская деревня, тут круглый год смены, посвящённые самым разным вещам. Сейчас, разумеется, тоже бегает куча детей, которые тоже живут и слушают лекции ровно там же. Большое спасибо Александру Садовникову, который меня сюда пригласил. Если вас позовут выступать в "Сириус", или если вы сами ещё молоды и можете сюда приехать на смену-другую, не отказывайтесь.)
Я живу на кампусе (в прекрасном номере), в корпусе, который только большой парк отделяет от моря (см. фото с балкона). Выходишь в одну сторону — попадаешь на пляж; честно говоря, я нигде в мире не видел лучше оборудованного пляжа. Выходишь в другую — видишь какой-то диснейленд, но туда я в этот раз, наверное, не доберусь.
Лекции читать езжу в пресс-центр, построенный для Олимпиады в Сочи, и это действительно впечатляющее сооружение: высоченные потолки, широкие коридоры-аллеи под стеклом, вайб одновременно гигантского ангара и вместе с тем массы разных помещений. Очень круто. Правда, выступал я не в том супер-зале, который на фото, но зал всё равно классный.)
Лекции, надеюсь, можно будет выложить, а пока просто скажу, что я и правда под впечатлением. И всё работает, это не потёмкинская деревня, тут круглый год смены, посвящённые самым разным вещам. Сейчас, разумеется, тоже бегает куча детей, которые тоже живут и слушают лекции ровно там же. Большое спасибо Александру Садовникову, который меня сюда пригласил. Если вас позовут выступать в "Сириус", или если вы сами ещё молоды и можете сюда приехать на смену-другую, не отказывайтесь.)
🔥67❤13👍7🥴2