Я не хочу превращать этот канал в новостной, про AI-новости и так много каналов с кучей подписчиков. Но сейчас пришла новость, которую хочется прокомментировать.
В своих обзорных докладах (например, здесь) я с прошлой осени неизменно упоминал систему AI Scientist от стартапа Sakana AI, появившуюся 12 августа 2024 года. Это система (open source, можете сами установить), которая ходит к нескольким API (разным LLM и Semantic Scholar в основном), умеет использовать информацию и ресурсы компьютера (сохранять веса моделей) и самостоятельно писать и запускать код экспериментов. На выходе получается полностью автоматически порождённая статья. Статьи в августе 2024-го были, конечно, очень средненькие, на топ-конференцию их бы точно не приняли. Но если бы мне, например, прислали на рецензию такой магистерский диплом, я бы совершенно не удивился и не увидел бы причин ставить низкую оценку — работы вполне компетентные, просто очень инкрементальные и неинтересные.
И вот сегодня (12 марта, буквально пару часов назад) появилась новость о второй версии, The AI Scientist-v2. Новость такая: статью под названием "Compositional Regularization: Unexpected Obstacles in Enhancing Neural Network Generalization" приняли на ICLR 2025 workshop "I Can't Believe It's Not Better: Challenges in Applied Deep Learning", посвящённый анализу того, почему теория с практикой в DL не всегда сходятся.
Статья об AI Scientist-v2 ещё не опубликована, но эксперимент был такой:
— исследователи породили несколько (не знаю сколько, вероятно около десяти) новых статей end-to-end, без человеческого участия;
— выбрали из них три лучших (с человеческим участием);
— подали их на workshop как обычные статьи;
— с организаторами эксперимент был согласован, но рецензенты не знали, какие статьи написаны автоматически, и рецензировали обычным порядком.
В результате из трёх статей одна получила оценки 6, 7, 6 и была бы наверняка принята (но, естественно, её сняли "авторы" после рецензирования). Видимо, это первая по-настоящему полностью автоматически порождённая статья, прошедшая серьёзный peer review (про несерьёзный review и Герберта Шлангеманна я рассказывал раньше) и принятая в хорошее место.
Я хочу, пока новость очень свежа, register a prediction: AI-скептики совершенно никак свои мнения под влиянием этих результатов не обновят.
Мы услышим как минимум следующие аргументы:
— это очень инкрементальный прогресс, ничего гениального или особенно интересного в статье нет;
— это всего лишь workshop, а не сама конференция ICLR, планка значительно ниже;
— процесс рецензирования вообще очень стохастический, вон от Шлангеманна тоже статьи принимали.
Все эти замечания, на мой взгляд, абсолютно справедливы, я сам не раз утешал молодых учёных третьим аргументом. :) Но если вы исследователь (не обязательно в области AI), представьте себе, что в начале 2020-го года вы услышали предсказание о том, что через пять лет AI-модели будут писать статьи с настоящими новыми (пусть инкрементальными) результатами, которые будут принимать на настоящие workshop'ы при ведущих конференциях с настоящим рецензированием. Что бы вы подумали о таком предсказании? А если бы в начале 2015-го вам предсказали, что так будет через десять лет?..
Мы забываем, насколько стремительно ускоряется прогресс. Кажется, что всегда так было — новые удивительные возможности AI-моделей всегда появлялись каждую неделю. Но нет, ещё совсем недавно было совершенно не так. Как говорится, you are here (источник картинки).
Об этой новости, как и о многом другом, мы обязательно поговорим в воскресенье — приходите! (регистрацию приоткрыли, места ещё есть)
В своих обзорных докладах (например, здесь) я с прошлой осени неизменно упоминал систему AI Scientist от стартапа Sakana AI, появившуюся 12 августа 2024 года. Это система (open source, можете сами установить), которая ходит к нескольким API (разным LLM и Semantic Scholar в основном), умеет использовать информацию и ресурсы компьютера (сохранять веса моделей) и самостоятельно писать и запускать код экспериментов. На выходе получается полностью автоматически порождённая статья. Статьи в августе 2024-го были, конечно, очень средненькие, на топ-конференцию их бы точно не приняли. Но если бы мне, например, прислали на рецензию такой магистерский диплом, я бы совершенно не удивился и не увидел бы причин ставить низкую оценку — работы вполне компетентные, просто очень инкрементальные и неинтересные.
И вот сегодня (12 марта, буквально пару часов назад) появилась новость о второй версии, The AI Scientist-v2. Новость такая: статью под названием "Compositional Regularization: Unexpected Obstacles in Enhancing Neural Network Generalization" приняли на ICLR 2025 workshop "I Can't Believe It's Not Better: Challenges in Applied Deep Learning", посвящённый анализу того, почему теория с практикой в DL не всегда сходятся.
Статья об AI Scientist-v2 ещё не опубликована, но эксперимент был такой:
— исследователи породили несколько (не знаю сколько, вероятно около десяти) новых статей end-to-end, без человеческого участия;
— выбрали из них три лучших (с человеческим участием);
— подали их на workshop как обычные статьи;
— с организаторами эксперимент был согласован, но рецензенты не знали, какие статьи написаны автоматически, и рецензировали обычным порядком.
В результате из трёх статей одна получила оценки 6, 7, 6 и была бы наверняка принята (но, естественно, её сняли "авторы" после рецензирования). Видимо, это первая по-настоящему полностью автоматически порождённая статья, прошедшая серьёзный peer review (про несерьёзный review и Герберта Шлангеманна я рассказывал раньше) и принятая в хорошее место.
Я хочу, пока новость очень свежа, register a prediction: AI-скептики совершенно никак свои мнения под влиянием этих результатов не обновят.
Мы услышим как минимум следующие аргументы:
— это очень инкрементальный прогресс, ничего гениального или особенно интересного в статье нет;
— это всего лишь workshop, а не сама конференция ICLR, планка значительно ниже;
— процесс рецензирования вообще очень стохастический, вон от Шлангеманна тоже статьи принимали.
Все эти замечания, на мой взгляд, абсолютно справедливы, я сам не раз утешал молодых учёных третьим аргументом. :) Но если вы исследователь (не обязательно в области AI), представьте себе, что в начале 2020-го года вы услышали предсказание о том, что через пять лет AI-модели будут писать статьи с настоящими новыми (пусть инкрементальными) результатами, которые будут принимать на настоящие workshop'ы при ведущих конференциях с настоящим рецензированием. Что бы вы подумали о таком предсказании? А если бы в начале 2015-го вам предсказали, что так будет через десять лет?..
Мы забываем, насколько стремительно ускоряется прогресс. Кажется, что всегда так было — новые удивительные возможности AI-моделей всегда появлялись каждую неделю. Но нет, ещё совсем недавно было совершенно не так. Как говорится, you are here (источник картинки).
Об этой новости, как и о многом другом, мы обязательно поговорим в воскресенье — приходите! (регистрацию приоткрыли, места ещё есть)
👍27❤🔥11🤯9❤5
На этой неделе было совсем не до игр, всю неделю не поднимая головы что-то пишу, готовлю слайды, где-то выступаю и готовлюсь выступать ещё. Но пятничный пост от этого только лучше выйдет.
Оказывается, сегодня юбилей: ровно десять лет назад, 14 марта 2015 года, Элиезер Юдковский выложил последнюю часть "Harry Potter and the Methods of Rationality" (HPMoR). Рационалисты всего мира организуют митапы в честь этого события, в списке даже Москва есть. Я, конечно, на митапы не собираюсь, но для меня это тоже важная книга.
Думаю, мои читатели знают, что такое HPMoR, но если вдруг нет, очень рекомендую прочитать (есть и русский перевод, хотя за его качество не ручаюсь, не читал). По форме это фанфик, в котором вселенная Гарри Поттера пересмотрена с позиций науки, логики и критического мышления. А по сути — введение в научный метод, прикладную рациональность, байесовскую статистику, когнитивные искажения и прочие смежные области, изложенное в очень увлекательной форме. Фанфик получил огромную популярность, см. хотя бы раздел "Critical response" в википедии; о продажах говорить не приходится, потому что это фанфик по чужой интеллектуальной собственности, но в списках самых читаемых фанфиков HPMoR стабильно в топе.
Конечно, такие книги лучше читать в юном возрасте, потому что они, как пишет один критик, не просто "challenging", но ещё и "mind altering". Но я впервые читал как раз примерно десять лет назад, уже далеко не подростком, и всё равно это было очень неожиданно и круто. Даже перечитывал ещё раз несколько лет спустя.
Могу попробовать сформулировать, в чём главный эффект: многие люди (и я в том числе) изучают разные науки, в том числе математику с теорвером, и вполне понимают происходящее, но у них в голове наука и "реальная жизнь" — это separate magisteria, разные сферы жизни, которые никак не пересекаются. HPMoR учит тебя (на примере магии в Хогвартсе, ага), что научный метод, оценки вероятностей и т.д. — это важный скилл, который можно и нужно применять к своей собственной жизни. Эта идея может огорошить человека, к ней не подготовленного.
После HPMoR рекомендую и "Rationality: from AI to Zombies" Юдковского прочитать, это большой сборник non-fiction эссе на примерно те же темы, уже без сюжета и без Гарри Поттера, но тоже очень интересно. Элиэзер Юдковский — один из отцов-основателей AI safety, очень важной области, о которой я вам ещё не раз расскажу в ближайшем будущем.
И вот так сложилось, что в 2025 году я снова вспомнил про величайший фанфик всех времён. На Новый год прекрасная Ира @fuesis сделала мне воистину царский подарок: настоящее физическое издание книг HPMoR; спасибо!!! Перечитал их с большим удовольствием, вспомнил молодость, а тут и юбилей книги подоспел. Так что вот, рассказываю вам.
Оказывается, сегодня юбилей: ровно десять лет назад, 14 марта 2015 года, Элиезер Юдковский выложил последнюю часть "Harry Potter and the Methods of Rationality" (HPMoR). Рационалисты всего мира организуют митапы в честь этого события, в списке даже Москва есть. Я, конечно, на митапы не собираюсь, но для меня это тоже важная книга.
Думаю, мои читатели знают, что такое HPMoR, но если вдруг нет, очень рекомендую прочитать (есть и русский перевод, хотя за его качество не ручаюсь, не читал). По форме это фанфик, в котором вселенная Гарри Поттера пересмотрена с позиций науки, логики и критического мышления. А по сути — введение в научный метод, прикладную рациональность, байесовскую статистику, когнитивные искажения и прочие смежные области, изложенное в очень увлекательной форме. Фанфик получил огромную популярность, см. хотя бы раздел "Critical response" в википедии; о продажах говорить не приходится, потому что это фанфик по чужой интеллектуальной собственности, но в списках самых читаемых фанфиков HPMoR стабильно в топе.
Конечно, такие книги лучше читать в юном возрасте, потому что они, как пишет один критик, не просто "challenging", но ещё и "mind altering". Но я впервые читал как раз примерно десять лет назад, уже далеко не подростком, и всё равно это было очень неожиданно и круто. Даже перечитывал ещё раз несколько лет спустя.
Могу попробовать сформулировать, в чём главный эффект: многие люди (и я в том числе) изучают разные науки, в том числе математику с теорвером, и вполне понимают происходящее, но у них в голове наука и "реальная жизнь" — это separate magisteria, разные сферы жизни, которые никак не пересекаются. HPMoR учит тебя (на примере магии в Хогвартсе, ага), что научный метод, оценки вероятностей и т.д. — это важный скилл, который можно и нужно применять к своей собственной жизни. Эта идея может огорошить человека, к ней не подготовленного.
После HPMoR рекомендую и "Rationality: from AI to Zombies" Юдковского прочитать, это большой сборник non-fiction эссе на примерно те же темы, уже без сюжета и без Гарри Поттера, но тоже очень интересно. Элиэзер Юдковский — один из отцов-основателей AI safety, очень важной области, о которой я вам ещё не раз расскажу в ближайшем будущем.
И вот так сложилось, что в 2025 году я снова вспомнил про величайший фанфик всех времён. На Новый год прекрасная Ира @fuesis сделала мне воистину царский подарок: настоящее физическое издание книг HPMoR; спасибо!!! Перечитал их с большим удовольствием, вспомнил молодость, а тут и юбилей книги подоспел. Так что вот, рассказываю вам.
🔥24❤🔥9❤5👍1🤮1💩1
Первый доклад в новом CS Space прошёл в воскресенье. Кажется, прошёл успешно, как будет видео, обязательно выложу. Пока прислали фоточки, так что вот вам минутка самолюбования. :) На последних фото — организаторы CS Space, которым большое спасибо за приглашение и огромных успехов в этом начинании! Подписывайтесь на канал CS Space и приходите на будущие курсы и лекции.
Но уже пора анонсировать следующий мой доклад: в это воскресенье поговорим о том, какие есть риски, связанные с развитием искусственного интеллекта, и как мы, человечество, с этими рисками пытаемся справиться. Spoiler: риски есть, а пытаемся явно недостаточно.
Первый доклад я планировал разделить на две части, и первую сделать более популярной, а вторую — более технической. В итоге один "популярный" раздел пришлось перенести на вторую лекцию, но это было не так уж важно: к счастью, в перерыве ушли немногие, и вроде бы слушателям было интересно. В этот раз тоже попробуем по той же схеме: в первой части расскажу о рисках популярно и на уровне махания руками, а во второй — о современных исследованиях, которые пытаются эти риски так или иначе уменьшить.
Приходите! Тема стала более узкой и более... ммм... дискомфортной; так что думаю, что в этот раз проблем с переполнением быть не должно.
Но уже пора анонсировать следующий мой доклад: в это воскресенье поговорим о том, какие есть риски, связанные с развитием искусственного интеллекта, и как мы, человечество, с этими рисками пытаемся справиться. Spoiler: риски есть, а пытаемся явно недостаточно.
Первый доклад я планировал разделить на две части, и первую сделать более популярной, а вторую — более технической. В итоге один "популярный" раздел пришлось перенести на вторую лекцию, но это было не так уж важно: к счастью, в перерыве ушли немногие, и вроде бы слушателям было интересно. В этот раз тоже попробуем по той же схеме: в первой части расскажу о рисках популярно и на уровне махания руками, а во второй — о современных исследованиях, которые пытаются эти риски так или иначе уменьшить.
Приходите! Тема стала более узкой и более... ммм... дискомфортной; так что думаю, что в этот раз проблем с переполнением быть не должно.
❤21🔥15❤🔥5
Forwarded from CS Space
– Страница мероприятия
– 23 марта, 14:00 – 17:30
– Мраморный зал, ПОМИ РАН, наб. реки Фонтанки, 27, Санкт-Петербург
– Пожалуйста, не забудьте зарегистрироваться — это необходимое условие посещения ПОМИ РАН.
Сергей Николенко — учёный, преподаватель и практик в области машинного обучения и информатики в целом. Доктор физико-математических наук, сотрудник ПОМИ РАН, преподаватель в СПбГУ, Harbour Space University, ИТМО и НИУ ВШЭ, Head of AI в компании Synthesis AI, автор более 200 научных публикаций и нескольких книг, в том числе бестселлера «Глубокое обучение» (Питер, 2018), монографии «Synthetic Data for Deep Learning» (Springer, 2021) и прямо сейчас появляющейся в продаже книги «Машинное обучение: Основы» (Питер, 2025). Сергей ведёт исследования в разных областях, от улучшения больших языковых моделей до анализа алгоритмов и теоретической информатики, применяет машинное обучение в реальных проектах, пишет посты и книги, ведет телеграм-канал «Sinекура» (@sinecor), а также стал двукратным чемпионом мира по «Что? Где? Когда?».
Многие исследователи считают, что создание настоящего сильного искусственного интеллекта (artificial general intelligence, AGI) уже не за горами. Во второй части нашего разговора мы именно это и обсудим: когда появится AGI, как мы об этом узнаем и, главное, готовы ли мы к этому? Нужно ли нам бояться AGI и если нужно, то чего именно и над чем нам в этом контексте работать? Почему такие люди, как Джеффри Хинтон, Йошуа Бенджи и Билл Гейтс, говорят, что создание AGI может быть экзистенциальным риском для человечества?
В этой части я надеюсь не только поговорить о рисках, но и дать достаточно полный обзор основных направлений исследований, которые люди сейчас ведут в области AI safety. Это очень молодая область, и очень сложная — в основном мы не знаем даже, как хорошо поставить ту или иную задачу. Но заниматься ей надо, и мы поговорим о том, как люди пытаются это делать. Как и в первой части, доклад не будет требовать глубокого знания технических аспектов машинного обучения, но некоторые идеи я всё-таки надеюсь рассказать.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13❤11🔥7🤮1
Видео из CS Space появилось, но пока оно мне не нравится: слайды в нём почему-то сильно засвечены, что иногда прямо мешает восприятию. Так что постараюсь переделать, а пока вот вчерашние лекции из СПбГУ по расписанию.
Мы в прошлый раз начали, а в этот продолжили говорить о графических вероятностных моделях. По сути это удобный и элегантный способ (точнее, несколько разных способов) представить сложные вероятностные зависимости в виде графа. Узлы такого графа — это случайные переменные, а связи между ними показывают, как они влияют друг на друга (точнее, их условные и безусловные [не]зависимости между собой).
Когда впервые слышишь о графических моделях, на ум приходят применения вроде представления знаний и вероятностного вывода в стиле MYCIN из 1970-х: как по набору симптомов, уложенному в такой граф экспертным путём, поставить диагноз. Изначально для этого графические модели в 1980-х и разрабатывались, и такие применения, конечно, тоже есть.
Но на самом деле это просто язык, на котором говорят целые большие разделы машинного обучения. Как объяснить, например, ваш вариант скрытой марковской модели или тематической модели LDA? Можно — и нужно, конечно! — написать новые, изменившиеся формулы. Скорее всего, у вашей модели есть что-то общее с базовой, но в ней появились новые переменные, а в правдоподобии, соответственно, — новые сомножители. Но формулы часто бывает не так легко понять интуитивно, и если в дополнение к формуле нарисовать графическую модель, то структура ваших предположений сразу станет гораздо понятнее. На этом языке мы и дальше будем постоянно "разговаривать" в курсе.
Кроме того, в некоторых случаях такие графы полезны и непосредственно. Если фактор-граф модели представляет собой дерево, то на нём можно запустить простой и быстрый алгоритм передачи сообщений, который сделает точный вероятностный вывод (маргинализацию). Это было основное техническое содержание первой части лекции.
Но алгоритм передачи сообщений помогает не так часто; обычно фактор-граф сложной модели всё-таки отнюдь не является деревом, и нужно вести приближённый вывод. Поэтому во второй части мы начали говорить о сэмплировании; о нём напишу в следующий раз, когда доберёмся до методов Markov chain Monte Carlo (MCMC).
https://www.youtube.com/watch?v=PUXyA0FbRbk
Мы в прошлый раз начали, а в этот продолжили говорить о графических вероятностных моделях. По сути это удобный и элегантный способ (точнее, несколько разных способов) представить сложные вероятностные зависимости в виде графа. Узлы такого графа — это случайные переменные, а связи между ними показывают, как они влияют друг на друга (точнее, их условные и безусловные [не]зависимости между собой).
Когда впервые слышишь о графических моделях, на ум приходят применения вроде представления знаний и вероятностного вывода в стиле MYCIN из 1970-х: как по набору симптомов, уложенному в такой граф экспертным путём, поставить диагноз. Изначально для этого графические модели в 1980-х и разрабатывались, и такие применения, конечно, тоже есть.
Но на самом деле это просто язык, на котором говорят целые большие разделы машинного обучения. Как объяснить, например, ваш вариант скрытой марковской модели или тематической модели LDA? Можно — и нужно, конечно! — написать новые, изменившиеся формулы. Скорее всего, у вашей модели есть что-то общее с базовой, но в ней появились новые переменные, а в правдоподобии, соответственно, — новые сомножители. Но формулы часто бывает не так легко понять интуитивно, и если в дополнение к формуле нарисовать графическую модель, то структура ваших предположений сразу станет гораздо понятнее. На этом языке мы и дальше будем постоянно "разговаривать" в курсе.
Кроме того, в некоторых случаях такие графы полезны и непосредственно. Если фактор-граф модели представляет собой дерево, то на нём можно запустить простой и быстрый алгоритм передачи сообщений, который сделает точный вероятностный вывод (маргинализацию). Это было основное техническое содержание первой части лекции.
Но алгоритм передачи сообщений помогает не так часто; обычно фактор-граф сложной модели всё-таки отнюдь не является деревом, и нужно вести приближённый вывод. Поэтому во второй части мы начали говорить о сэмплировании; о нём напишу в следующий раз, когда доберёмся до методов Markov chain Monte Carlo (MCMC).
https://www.youtube.com/watch?v=PUXyA0FbRbk
YouTube
СПбГУ -- 2025.03.18 -- Алгоритм передачи сообщений, сэмплирование в машинном обучении
Это лекция из курса "Графические вероятностные модели", который читается на Факультете математики и компьютерных наук СПбГУ вместе с двумя другими частями курса машинного обучения -- "Основами байесовского вывода" и "Глубоким обучением". Все материалы этой…
🔥16❤🔥4🤣1
Видео из CS Space цветокорректировали, и оно стало гораздо лучше. Меня всё ещё подмывает всё переделать и вставить слайды картинками, но на это надо потратить несколько часов, а прорекламировать канал CS Space всё равно хорошо и правильно, так что вот вам ссылка пока что на него.
А почему у меня нет на это сейчас нескольких часов? Потому что я готовлюсь к лекциям в воскресенье! В отличие от первой части, стандартного доклада "State of AI", который у меня просто обновляется последними новостями (и всё равно такое обновление занимает день-два перед каждой итерацией), подробные лекции об AI Safety мне приходится делать почти с нуля. Сейчас у меня около двухсот слайдов, и конца пока не видно.)
Поэтому в анонсе доклада я не мог пообещать ничего, кроме общих слов — а теперь уже могу! Мы поговорим не только о том, как AGI выбирается из ящика, заменяет всех программистов и покрывает мир канцелярскими скрепками, хотя и об этом тоже. Но главное — я постараюсь обсудить основные разделы и результаты сегодняшнего AI Safety:
— основные определения (там много интересного, определять такие вещи трудно);
— goodharting (термин от "Goodhart's Law", покрывающий specification gaming, reward hacking и тому подобные вещи);
— интерпретируемость (в основном mechanistic interpretability по Крису Ола);
— то, что я назвал "sparks of misalignment": интересные примеры поведения LLM и других AI-агентов, в том числе очень свежие.
В начале года, кстати, вышел большой отчёт о рисках и состоянии AI safety, первым автором в котором был не кто-нибудь, а Йошуа Бенджи; мысли оттуда мы тоже обсудим.
Регистрируйтесь и приходите! Сейчас, когда все темы и основные идеи новых лекций у меня уже определились, я искренне считаю, что этот доклад будет интереснее первого.
https://www.youtube.com/watch?v=fCOr8qX0sG0&ab_channel=ComputerScienceSpace
А почему у меня нет на это сейчас нескольких часов? Потому что я готовлюсь к лекциям в воскресенье! В отличие от первой части, стандартного доклада "State of AI", который у меня просто обновляется последними новостями (и всё равно такое обновление занимает день-два перед каждой итерацией), подробные лекции об AI Safety мне приходится делать почти с нуля. Сейчас у меня около двухсот слайдов, и конца пока не видно.)
Поэтому в анонсе доклада я не мог пообещать ничего, кроме общих слов — а теперь уже могу! Мы поговорим не только о том, как AGI выбирается из ящика, заменяет всех программистов и покрывает мир канцелярскими скрепками, хотя и об этом тоже. Но главное — я постараюсь обсудить основные разделы и результаты сегодняшнего AI Safety:
— основные определения (там много интересного, определять такие вещи трудно);
— goodharting (термин от "Goodhart's Law", покрывающий specification gaming, reward hacking и тому подобные вещи);
— интерпретируемость (в основном mechanistic interpretability по Крису Ола);
— то, что я назвал "sparks of misalignment": интересные примеры поведения LLM и других AI-агентов, в том числе очень свежие.
В начале года, кстати, вышел большой отчёт о рисках и состоянии AI safety, первым автором в котором был не кто-нибудь, а Йошуа Бенджи; мысли оттуда мы тоже обсудим.
Регистрируйтесь и приходите! Сейчас, когда все темы и основные идеи новых лекций у меня уже определились, я искренне считаю, что этот доклад будет интереснее первого.
https://www.youtube.com/watch?v=fCOr8qX0sG0&ab_channel=ComputerScienceSpace
YouTube
State of AI: Откуда мы пришли, кто мы и куда мы идём? | Сергей Николенко
– Сергей Николенко, https://t.me/sinecor
– Страница мероприятия: https://csspace.io/open-lecture/2025-stateAI
– Telegram: https://t.me/csspace_io
00:23 Революции AI
13:00 ML, DL, трансформеры…
01:11:34 Масштабирование и прогресс
01:41:18 Примеры возможностей…
– Страница мероприятия: https://csspace.io/open-lecture/2025-stateAI
– Telegram: https://t.me/csspace_io
00:23 Революции AI
13:00 ML, DL, трансформеры…
01:11:34 Масштабирование и прогресс
01:41:18 Примеры возможностей…
❤25❤🔥9🔥9👍5🤯1🥴1
Лекция сегодня, кажется, получилась хорошая, но запись будет потом, а пока вот новый пост в блоге Synthesis AI:
The Creativity Scale: Can AI Do Science?
Относительно короткий в этот раз — написал про две новости, которые обсуждал в том числе в предыдущей лекции, о том, как AI прямо сейчас может помогать в научных исследованиях. По сути я уже тут писал об одной из этих новостей, повторять не буду. Зато в посте сделал картинку со "шкалой креативности", которая ничего не формализует, конечно, но мне кажется понятной и довольно удобной.
Отдельно отмечу, что когда я спросил ChatGPT o1 pro, что она думает о том, где что находится на этой шкале, она в целом со мной согласилась, и себя поставила на шестёрочку, но вот системы со scaffolding'ом для науки уже оценила выше среднего аспиранта.) Это, конечно, ничего не доказывает и даже не подтверждает (o1 pro, естественно, считает такие системы "hypothetical or emerging"), просто забавно.
The Creativity Scale: Can AI Do Science?
Относительно короткий в этот раз — написал про две новости, которые обсуждал в том числе в предыдущей лекции, о том, как AI прямо сейчас может помогать в научных исследованиях. По сути я уже тут писал об одной из этих новостей, повторять не буду. Зато в посте сделал картинку со "шкалой креативности", которая ничего не формализует, конечно, но мне кажется понятной и довольно удобной.
Отдельно отмечу, что когда я спросил ChatGPT o1 pro, что она думает о том, где что находится на этой шкале, она в целом со мной согласилась, и себя поставила на шестёрочку, но вот системы со scaffolding'ом для науки уже оценила выше среднего аспиранта.) Это, конечно, ничего не доказывает и даже не подтверждает (o1 pro, естественно, считает такие системы "hypothetical or emerging"), просто забавно.
❤20❤🔥8👍4😐1
Сегодняшние лекции начались с MCMC-сэмплирования (Markov chain Monte Carlo); это один из главных инструментов приближённого вывода в сложных вероятностных моделях, очень красивая идея, которая известна как алгоритм Метрополиса-Гастингса. В детали вдаваться не буду, но любопытно, что придумали его физики ещё в 1953 году, в статье "Equation of State Calculations by Fast Computing Machines"; первым автором был действительно Николас Метрополис, а вот последним — Эдвард Теллер, тот самый, участник Манхэттенского проекта и отец водородной бомбы. Так что Метрополису (и позже обобщившему алгоритм Гастингсу) сильно повезло, что это не алгоритм "Теллера и каких-то ещё непонятных чуваков".
А во второй части показывал свой любимый пример из этой части курса: SIR-модели в эпидемиологии. Я сам узнал об этих моделях как раз когда ковид шагал по планете, и до сих пор в восторге от того, как там всё вместе сходится: глобальная EM-схема для обучения, стохастический алгоритм Витерби в скрытых марковских моделях для E-шага этой схемы, сэмплирование по Гиббсу для M-шага, а потом ещё как вишенка на торте при обучении появляется мини-EM в точности как в моём рейтинге спортивного ЧГК. И это я ещё рассказываю модель в упрощённом виде, с дискретными переходами, а так там по умолчанию всё в непрерывном времени происходит.
Полный восторг, в общем. Правда, к концу лекции компьютер мой не выдержал неизвестно чего, и в записи появились статтеры и целые небольшие участки в 5fps. Но вроде ничего страшного.
https://youtu.be/xOuUiPkXmw8
А во второй части показывал свой любимый пример из этой части курса: SIR-модели в эпидемиологии. Я сам узнал об этих моделях как раз когда ковид шагал по планете, и до сих пор в восторге от того, как там всё вместе сходится: глобальная EM-схема для обучения, стохастический алгоритм Витерби в скрытых марковских моделях для E-шага этой схемы, сэмплирование по Гиббсу для M-шага, а потом ещё как вишенка на торте при обучении появляется мини-EM в точности как в моём рейтинге спортивного ЧГК. И это я ещё рассказываю модель в упрощённом виде, с дискретными переходами, а так там по умолчанию всё в непрерывном времени происходит.
Полный восторг, в общем. Правда, к концу лекции компьютер мой не выдержал неизвестно чего, и в записи появились статтеры и целые небольшие участки в 5fps. Но вроде ничего страшного.
https://youtu.be/xOuUiPkXmw8
YouTube
СПбГУ -- 2025.03.25 -- MCMC сэмплирование, развёрнутый пример SIR моделей
Это лекция из курса "Графические вероятностные модели", который читается на Факультете математики и компьютерных наук СПбГУ вместе с двумя другими частями курса машинного обучения -- "Основами байесовского вывода" и "Глубоким обучением". Все материалы этой…
❤🔥17🔥13👍2
В последние год-два я рисовал картинки для лекций, постов и (obligatory self-promotion) книги "Машинное обучение: основы" локальными моделями, сначала разными версиями Stable Diffusion, а потом (и до сих пор) следующей итерацией диффузионных моделей — FLUX.1-dev; это очень крутая модель, лучше варианта из тех, что можно себе на десктоп поставить, я не знаю.
Пользовался именно локальными, потому что от порождающих моделей сложно с первого раза добиться того, что требуется, и я всегда генерировал десятки картинок и выбирал из них лучшие, а это не очень сходится ни с usage limits, которые обычно всё-таки есть, ни вообще с концепцией рисовать картинки в чате с моделью.
Но вот вчера OpenAI выкатил интерактивное рисование картинок в GPT-4o, и это для меня может быть game changer. Это то самое редактирование изображений промптами, которое, кажется, действительно хорошо работает и может менять стиль и добавлять детали в готовую картинку — а для иллюстраций ведь именно это и требуется!
Кстати, любопытно, что это авторегрессионное рисование, вот что пишут в system card (правда, деталей сверх этой одной фразы вроде нет нигде):
Попробовал пока один пример, и хотя перерисовать фото с нестандартной композицией GPT-4o всё-таки не справился, если согласиться на более стандартную, всё получается замечательно. ChatGPT по-прежнему не позволяет расшаривать чаты с картинками, так что прилагаю сами картинки, а ниже запросы, которые к ним привели. Как видите, гуру промптинга быть совершенно не требуется (а для Stable Diffusion и FLUX всё-таки надо было что-то понимать). Нумерую запросы по порядку картинок в посте.
Пользовался именно локальными, потому что от порождающих моделей сложно с первого раза добиться того, что требуется, и я всегда генерировал десятки картинок и выбирал из них лучшие, а это не очень сходится ни с usage limits, которые обычно всё-таки есть, ни вообще с концепцией рисовать картинки в чате с моделью.
Но вот вчера OpenAI выкатил интерактивное рисование картинок в GPT-4o, и это для меня может быть game changer. Это то самое редактирование изображений промптами, которое, кажется, действительно хорошо работает и может менять стиль и добавлять детали в готовую картинку — а для иллюстраций ведь именно это и требуется!
Кстати, любопытно, что это авторегрессионное рисование, вот что пишут в system card (правда, деталей сверх этой одной фразы вроде нет нигде):
Unlike DALL·E, which operates as a diffusion model, 4o image generation is an autoregressive model natively embedded within ChatGPT.
Попробовал пока один пример, и хотя перерисовать фото с нестандартной композицией GPT-4o всё-таки не справился, если согласиться на более стандартную, всё получается замечательно. ChatGPT по-прежнему не позволяет расшаривать чаты с картинками, так что прилагаю сами картинки, а ниже запросы, которые к ним привели. Как видите, гуру промптинга быть совершенно не требуется (а для Stable Diffusion и FLUX всё-таки надо было что-то понимать). Нумерую запросы по порядку картинок в посте.
(1) [фото Майлза, приложил его к первому запросу]
(2) hi! can you redraw this photo in disney/pixar animation style while keeping the cat recognizable?
(3) wow, that's nice, thank you! and can you now do the same photo in a renaissance painting style?
(4) all right! and now please make the cat even fatter, Rubens style, and add a peacock feather to one of its paws while keeping the general oil painting style
(5) okay great but please return to the original composition, with the cat lying on its back upside down on a sofa; the fat and the feather are great, keep them; and also add a colorful beret on the cat's head
(6) [переприложил фото Майлза ещё раз]
nah, now the anatomy is wrong; let's start over
please redraw this photo with the same composition but as a Peter Paul Rubens painting, with the cat much fatter; also please add a peacock feather to one of the cat's paws and a colorful beret on its head
🔥33❤13👍3💔1