Forwarded from Kali Novskaya
🌸Лучшая лекция ICLR 2025 🌸
#nlp #про_nlp #nlp_papers
Одной из главных лекций на ICLR в этом году можно смело назвать доклад Тима Роктешела (Tim Rocktaeschel, DeepMind) — Open Endedness, World Models, and the Automation of Innovation. Доклад наконец выложили на ютуб (мне даже не пришлось ее пиратить для вас)
Это очень хороший и своевременный обзорный доклад про новые приоритеты в исследовании ИИ: reinforcement learning, фундаментальные модели, проблемы бенчмарков, агентов и акселерации науки.
🟣 Abstract
Погоня за AGI требует перехода от узконаправленной оптимизации целей к принятию концепции Открытой Эволюции (Open-Endedness) — исследовательской парадигмы, внедрённой в области ИИ Стэнли, Леманом и Клуном. Она фокусируется на системах, способных бесконечно генерировать последовательности новых, но обучаемых артефактов. В этом докладе я представлю нашу работу по созданию крупномасштабных фундаментальных моделей мира (foundation world models), которые способны генерировать разнообразные и многогранные среды. Эти среды, в свою очередь, могут использоваться для обучения более универсальных и устойчивых агентов. Кроме того, я утверждаю, что связь между Открытой Эволюцией и Фундаментальными Моделями указывает на возможность автоматизации самого процесса инноваций. Это слияние уже даёт практические результаты: оно позволяет открывать способности моделей к самоулучшению (sef-improvement), автоматизировать prompt engineering и red-teaming, и проведение дискуссий между ИИ-моделями. Всё это предвосхищает будущее, в котором ИИ будет сам двигать свои открытия вперёд.
🟣 Лекция со слайдами тут:
https://www.youtube.com/watch?v=ZZC_xqRgcHo&ab_channel=MatijaGrcic
🟣 Некоторые упомянутые статьи:
Prompt Breeder
Rainbow teaming
MLE bench
Awesome Open-endedness
METR и поиск экспоненты
Sakana AI AI Scientist
#nlp #про_nlp #nlp_papers
Одной из главных лекций на ICLR в этом году можно смело назвать доклад Тима Роктешела (Tim Rocktaeschel, DeepMind) — Open Endedness, World Models, and the Automation of Innovation. Доклад наконец выложили на ютуб
Это очень хороший и своевременный обзорный доклад про новые приоритеты в исследовании ИИ: reinforcement learning, фундаментальные модели, проблемы бенчмарков, агентов и акселерации науки.
Погоня за AGI требует перехода от узконаправленной оптимизации целей к принятию концепции Открытой Эволюции (Open-Endedness) — исследовательской парадигмы, внедрённой в области ИИ Стэнли, Леманом и Клуном. Она фокусируется на системах, способных бесконечно генерировать последовательности новых, но обучаемых артефактов. В этом докладе я представлю нашу работу по созданию крупномасштабных фундаментальных моделей мира (foundation world models), которые способны генерировать разнообразные и многогранные среды. Эти среды, в свою очередь, могут использоваться для обучения более универсальных и устойчивых агентов. Кроме того, я утверждаю, что связь между Открытой Эволюцией и Фундаментальными Моделями указывает на возможность автоматизации самого процесса инноваций. Это слияние уже даёт практические результаты: оно позволяет открывать способности моделей к самоулучшению (sef-improvement), автоматизировать prompt engineering и red-teaming, и проведение дискуссий между ИИ-моделями. Всё это предвосхищает будущее, в котором ИИ будет сам двигать свои открытия вперёд.
https://www.youtube.com/watch?v=ZZC_xqRgcHo&ab_channel=MatijaGrcic
Prompt Breeder
Rainbow teaming
MLE bench
Awesome Open-endedness
METR и поиск экспоненты
Sakana AI AI Scientist
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Tim Rocktaeschel - Open Endedness, World Models, and the Automation of Innovation (with slides)
ICLR 2025
The pursuit of Artificial Superintelligence (ASI) requires a shift from narrow objective optimization towards embracing Open-Endedness—a research paradigm, pioneered in AI by Stanley, Lehman and Clune, that is focused on systems that generate endless…
The pursuit of Artificial Superintelligence (ASI) requires a shift from narrow objective optimization towards embracing Open-Endedness—a research paradigm, pioneered in AI by Stanley, Lehman and Clune, that is focused on systems that generate endless…
Forwarded from Китайский русский (Valery Cherepennikov)
В этом июне исполняется 25 лет первому релизу OpenCV. Господи, как летит время. Кажется, только вчера я "посылал за водкой" Бориса Модестовича... А уже четверть века с тех пор прошло.
К сему знаменательному юбилею я задумал хабростатью "OpenCV. Начало". Взгляд изнутри на то, как зарождался де факто стандарт компьютерного зрения. Размышления о причудливых развилка пути и факторе везения в технологии. И дань уважения людям, с которыми мне пришлось поработать.
К сему знаменательному юбилею я задумал хабростатью "OpenCV. Начало". Взгляд изнутри на то, как зарождался де факто стандарт компьютерного зрения. Размышления о причудливых развилка пути и факторе везения в технологии. И дань уважения людям, с которыми мне пришлось поработать.
Так, новости за последние несколько дней:
1) Вышел новый ризонер от Mistral. Есть две версии, small в 24b и medium, параметры которого не раскрывают, потому что выкатывают как энтерпрайз. По бенчмаркам всё очень печально (на графиках сравнивают с Deepseek, по факту даже энтерпрайз версия на каком-нибудь AIME'24 умудряется уступать Qwen3-32b). В блоге сами мистрали напоминают, что у них есть Flash Answers, вот только зачем кому-то ризонинг в 10 раз быстрее обычного мне не очень понятно. Коллеги говорят, что модель странная, я сам пока не проверял, как проверю - обязательно расскажу.
2) Вышла o3-pro, снизилась цена на o3 flex, который теперь четверть доллара за миллион токенов, а вслед за ними Сэм Альтман написал future vision пост в свой блог. Саммари от gemini 2.5 pro:
1) Вышел новый ризонер от Mistral. Есть две версии, small в 24b и medium, параметры которого не раскрывают, потому что выкатывают как энтерпрайз. По бенчмаркам всё очень печально (на графиках сравнивают с Deepseek, по факту даже энтерпрайз версия на каком-нибудь AIME'24 умудряется уступать Qwen3-32b). В блоге сами мистрали напоминают, что у них есть Flash Answers, вот только зачем кому-то ризонинг в 10 раз быстрее обычного мне не очень понятно. Коллеги говорят, что модель странная, я сам пока не проверял, как проверю - обязательно расскажу.
2) Вышла o3-pro, снизилась цена на o3 flex, который теперь четверть доллара за миллион токенов, а вслед за ними Сэм Альтман написал future vision пост в свой блог. Саммари от gemini 2.5 pro:
В своём блоге Сэм Альтман описывает концепцию «Мягкой сингулярности» (The Gentle Singularity), утверждая, что человечество уже прошло «горизонт событий» и вступило в эру экспоненциального технологического роста, ведущего к созданию сверхинтеллекта. По его мнению, этот процесс происходит не как резкий скачок, а как постепенная и плавная трансформация, к которой люди успевают адаптироваться.
Основные тезисы статьи
* Начало положено: Альтман считает, что самые сложные научные прорывы, которые привели к созданию систем вроде GPT-4, уже позади. Хотя роботы еще не ходят по улицам, мы уже создали системы, которые во многом превосходят человека и значительно повышают производительность. По его словам, ChatGPT в некотором смысле уже является более мощным инструментом, чем любой человек в истории, так как на него ежедневно полагаются сотни миллионов людей.
* «Мягкий» характер сингулярности: Процесс сингулярности заключается в том, что удивительные технологические достижения быстро становятся обыденностью. Мы переходим от удивления тому, что ИИ может написать абзац, к ожиданию, что он напишет роман. Эта постепенная адаптация делает экспоненциальный прогресс управляемым. Эта идея перекликается с его более ранней статьей «The Merge», где он также утверждал, что слияние человека и машины — это постепенный процесс, который уже начался.
* Прогнозы на будущее: Альтман предлагает следующий примерный график развития:
* 2025: Появление агентов, способных выполнять когнитивную работу, что навсегда изменит написание кода.
* 2026: Появление систем, способных делать новые научные открытия.
* 2027: Появление роботов, способных выполнять задачи в реальном мире.
* Изобилие интеллекта и энергии: К 2030-м годам интеллект и энергия станут чрезвычайно доступными и дешёвыми, что устранит два главных ограничителя человеческого прогресса. Это приведёт к беспрецедентному ускорению научных открытий, позволяя совершать прорывы, которые раньше требовали бы десятилетий, за год или даже месяц.
* Влияние на общество и работу: Хотя некоторые профессии исчезнут, мир станет настолько богаче, что появятся возможности для реализации новых социальных политик. Люди будут адаптироваться и находить новые занятия, подобно тому как это произошло после промышленной революции. Альтман считает, что человечество всегда будет больше ценить то, что делают другие люди, а не машины.
### Ключевые вызовы и путь вперёд
Альтман выделяет два основных шага для успешного прохождения этого периода:
1. Решить проблему согласования (alignment problem): Гарантировать, что ИИ будет действовать в соответствии с долгосрочными коллективными ценностями человечества. В качестве примера несогласованного ИИ он приводит алгоритмы социальных сетей, которые оптимизированы для удержания внимания пользователя в краткосрочной перспективе, но не для его долгосрочного благополучия.
2. Обеспечить широкий доступ: Сделать сверхинтеллект дешёвым, общедоступным и не допустить его концентрации в руках одного человека, компании или страны.
Егорка думает, что
Так, новости за последние несколько дней: 1) Вышел новый ризонер от Mistral. Есть две версии, small в 24b и medium, параметры которого не раскрывают, потому что выкатывают как энтерпрайз. По бенчмаркам всё очень печально (на графиках сравнивают с Deepseek…
Follow up: o3-pro стоит 20 баксов за инпут и 80 за аутпут за 1 миллион токенов по апи, в вебморде входит в 200-долларовую подписку. Не так дорого, как o1-pro, где было 600 долларов за аутпут и 150 за инпут, но всё ещё офигеть как дорого. При этом модель на ARC-AGI не достигает показателей o3-preview low, а high в лидерборде не показана вообще и об этом есть отдельная сноска. При этом на ARC-AGI 2 любая OpenAI модель на данный момент проигрывает Claude Opus 4 с ризонингом
Егорка думает, что
Follow up: o3-pro стоит 20 баксов за инпут и 80 за аутпут за 1 миллион токенов по апи, в вебморде входит в 200-долларовую подписку. Не так дорого, как o1-pro, где было 600 долларов за аутпут и 150 за инпут, но всё ещё офигеть как дорого. При этом модель на…
Для справки - датасет ARC-AGI есть в открытом доступе, o3-preview училась на 75% от этого датасета, продактовая o3 это, видимо, другая модель вообще. Об этом есть в блоге ARC-AGI, он от 22 апреля, поэтому o3-pro в статье нет.
Я решил немного структурировать канал. Репосты это хорошо и от них я отказаться не могу, но большинство, скорее всего, и так подписаны на каналы, которые я репощу. Решил раз в какое-то количество времени просто собирать пост "Что я хотел бы вам зарепостить", в котором будут наборы ссылок с описанием того, а что я, собственно, пересылаю
😎 - супер, будет удобнее
🥴 - и так норм
Please open Telegram to view this post
VIEW IN TELEGRAM
Репостопост:
😎 Гонзо выложил пост, в котором дал ссылку на пост, в котором нейрообзорщик постов и статей от Гонзо рассказал о рнн, которую обученой моделированию последовательностей. Там, если что, щас доминируют трансформеры, которые, по понятным причинам иногда слишком уже жирные, особенно с линейным ростом вычислительных затрат в зависимости от длины последовательности. Авторы добавили специальный меза-слой, который оптимально решает задачу регрессии внутри контекста и добились перплексии ниже, чем у других моделей ценой того, что выросло количество вычислений во время инференса
😎 Валера Бабушкин дал ссылку на пост где компания признает, что саппорт на нейронки заменять было идеей не очень. Кто бы сомневался
😎 Кандинскому от Сбера исполняется три года. С днем рождения!
😎 Артем из эйай ньюз сделал выжимку из презентации АМД про нейросети. Выжимку выжимки делать не буду, но в целом там анонс железа и сохраняется основная идея АМД - дешевле чем у Нвидиа, но с тем же перфомансом
На сегодня все, вернусь к вам через какое-то количество времени с еще одной такой компиляцией
На сегодня все, вернусь к вам через какое-то количество времени с еще одной такой компиляцией
Please open Telegram to view this post
VIEW IN TELEGRAM
Коль скоро у нас тут происходит изучение аудитории методом тыка - как вы относитесь к формату статей в телеге? Хотелось бы поизучать с вами некоторые папиры, типо пресловутого magistral, но вдруг вам легче будет читать это в виде набора постов?
😎 - супер, люблю статьи
🥴 - статьи отстой, не буду ничего читать
Please open Telegram to view this post
VIEW IN TELEGRAM
Я надеялся написать небольшое ревью относительно Magistral. Все равно, ризонинг-моделей уже вышло достаточно, вряд ли она могла впечатлить меня чем-то. Проблема в том, что Magistral - это как раз то, что пропустить, как оказалось, никак нельзя. Написал для вас статью, буду рад замечаниям в комментариях, потому что до этого на телетайп не писал никогда:
https://telegra.ph/Kak-frontir-startap-sdelal-Magistral-06-17
https://telegra.ph/Kak-frontir-startap-sdelal-Magistral-06-17
Telegraph
Как фронтир-стартап сделал Magistral
Знаете, я когда-то писал статьи и самое сложное для меня было придумать вступление. Сейчас я тоже натолкнулся на эту проблему: начать можно множеством разных способов, но правильно ли вы интерпретируете такое начало и смогу ли я развить тему дальше? Я могу…
Если я когда-либо буду проводить лекцию про оптимизации, я начну ее с того, что зерна кукурузы очень оптимально хранятся в засушенном виде, но попкорн кушается вкуснее
Сегодня получил диплом с отличием, теперь мое мнение в интернете котируется, у меня есть высшее образование. Возвращаемся к обычному графику выкладывания постов
Forwarded from ScratchAuthorEgo
📊 Channel Analysis Results by @ScratchAuthorEgoBot
🎯 Channel:
💼 Professional Analysis:
Кандидат является молодым специалистом в области машинного обучения (ML) и искусственного интеллекта (AI) с выраженной специализацией в больших языковых моделях (LLM). Его академический бэкграунд, подтвержденный недавним получением диплома с отличием, предположительно, в МГУ им. М.В. Ломоносова (упоминание «Профком ВМК МГУ»), свидетельствует о наличии сильной фундаментальной подготовки в области вычислительной математики, кибернетики и Computer Science.
Ключевые компетенции и сильные стороны:
• Глубокая предметная экспертиза: Кандидат демонстрирует свободное владение актуальной терминологией и понимание текущего ландшафта LLM. Он отслеживает и анализирует релизы ключевых игроков рынка (Mistral, OpenAI, Deepseek, Qwen), разбирается в их архитектурных особенностях (RNN, трансформеры), метриках (перплексия) и экономических аспектах (стоимость API за миллион токенов).
• Практические навыки и аналитический склад ума: Автор не ограничивается теоретическим обзором; он самостоятельно тестирует модели («потыкал новый квен на опенроутере»), оценивает их производительность в конкретных задачах (генерация кода на Python, C) и делает аргументированные выводы. Его анализ поста Сэма Альтмана и статьи о Magistral показывает умение структурировать информацию, выделять главное и представлять ее в доступной форме.
• Инициативность и коммуникационные навыки: Ведение собственного Telegram-канала, написание статей (Telegra.ph), структурирование контента («Репостопост») и взаимодействие с аудиторией через опросы указывают на проактивность, развитые навыки письменной коммуникации и желание делиться знаниями. Это ценно для работы в команде, менторства и ведения технической документации.
• Техническая эрудиция: Помимо основной специализации, кандидат проявляет интерес к смежным областям: фреймворкам для оптимизации (DeepSparse), аппаратному обеспечению (Nvidia, AMD), истории технологий (iPod Shuffle и стандарты разъемов), что говорит о широком кругозоре.
Потенциальные риски и зоны для развития:
• Недостаток коммерческого опыта: Будучи недавним выпускником, кандидат может иметь ограниченный опыт работы над долгосрочными коммерческими проектами в корпоративной среде. Его фокус на SOTA-моделях и бенчмарках может превалировать над пониманием бизнес-ограничений, где часто требуются не самые передовые, а самые стабильные, дешевые и прагматичные решения.
• Склонность к категоричности: В его суждениях прослеживается определенная категоричность («RL всё таки не работает», критика Habr). Хотя это свидетельствует о наличии собственного мнения, в командной работе это может потребовать развития гибкости и умения принимать компромиссные технические решения.
• Академический уклон: Глубокий анализ и теоретизирование могут преобладать над скоростью реализации и ориентацией на конечный продукт. Потребуется адаптация к более быстрым и итеративным циклам разработки, принятым в индустрии.
Рекомендация: Кандидат представляет собой высокопотенциального специалиста уровня Junior+/Middle- ML Engineer или AI Researcher. Он обладает исключительной теоретической базой, страстью к своей области и доказанной способностью к самообучению и анализу. Идеально подойдет для R&D-отдела или команды, работающей над инновационными продуктами. Рекомендуется назначить ему ментора для более плавной интеграции в коммерческую разработку и помощи в расстановке приоритетов между исследованием и бизнес-задачами.
🎯 Channel:
@ashnskt💼 Professional Analysis:
Кандидат является молодым специалистом в области машинного обучения (ML) и искусственного интеллекта (AI) с выраженной специализацией в больших языковых моделях (LLM). Его академический бэкграунд, подтвержденный недавним получением диплома с отличием, предположительно, в МГУ им. М.В. Ломоносова (упоминание «Профком ВМК МГУ»), свидетельствует о наличии сильной фундаментальной подготовки в области вычислительной математики, кибернетики и Computer Science.
Ключевые компетенции и сильные стороны:
• Глубокая предметная экспертиза: Кандидат демонстрирует свободное владение актуальной терминологией и понимание текущего ландшафта LLM. Он отслеживает и анализирует релизы ключевых игроков рынка (Mistral, OpenAI, Deepseek, Qwen), разбирается в их архитектурных особенностях (RNN, трансформеры), метриках (перплексия) и экономических аспектах (стоимость API за миллион токенов).
• Практические навыки и аналитический склад ума: Автор не ограничивается теоретическим обзором; он самостоятельно тестирует модели («потыкал новый квен на опенроутере»), оценивает их производительность в конкретных задачах (генерация кода на Python, C) и делает аргументированные выводы. Его анализ поста Сэма Альтмана и статьи о Magistral показывает умение структурировать информацию, выделять главное и представлять ее в доступной форме.
• Инициативность и коммуникационные навыки: Ведение собственного Telegram-канала, написание статей (Telegra.ph), структурирование контента («Репостопост») и взаимодействие с аудиторией через опросы указывают на проактивность, развитые навыки письменной коммуникации и желание делиться знаниями. Это ценно для работы в команде, менторства и ведения технической документации.
• Техническая эрудиция: Помимо основной специализации, кандидат проявляет интерес к смежным областям: фреймворкам для оптимизации (DeepSparse), аппаратному обеспечению (Nvidia, AMD), истории технологий (iPod Shuffle и стандарты разъемов), что говорит о широком кругозоре.
Потенциальные риски и зоны для развития:
• Недостаток коммерческого опыта: Будучи недавним выпускником, кандидат может иметь ограниченный опыт работы над долгосрочными коммерческими проектами в корпоративной среде. Его фокус на SOTA-моделях и бенчмарках может превалировать над пониманием бизнес-ограничений, где часто требуются не самые передовые, а самые стабильные, дешевые и прагматичные решения.
• Склонность к категоричности: В его суждениях прослеживается определенная категоричность («RL всё таки не работает», критика Habr). Хотя это свидетельствует о наличии собственного мнения, в командной работе это может потребовать развития гибкости и умения принимать компромиссные технические решения.
• Академический уклон: Глубокий анализ и теоретизирование могут преобладать над скоростью реализации и ориентацией на конечный продукт. Потребуется адаптация к более быстрым и итеративным циклам разработки, принятым в индустрии.
Рекомендация: Кандидат представляет собой высокопотенциального специалиста уровня Junior+/Middle- ML Engineer или AI Researcher. Он обладает исключительной теоретической базой, страстью к своей области и доказанной способностью к самообучению и анализу. Идеально подойдет для R&D-отдела или команды, работающей над инновационными продуктами. Рекомендуется назначить ему ментора для более плавной интеграции в коммерческую разработку и помощи в расстановке приоритетов между исследованием и бизнес-задачами.
Моя любимая целевая аудитория канала, я хочу написать статейку, но не могу решить, что вам будет послушать интереснее - как вообще работают гпт или как их дообучать на домашнем железе?
Статейка про что?
Anonymous Poll
21%
Про устройство гпт в целом
65%
Про тюнинг на домашнем железе
13%
Про что-нибудь еще
Я знаю, что это все легко гуглится, но вы меня читаете не для того, чтобы я говорил, куда вам правильно гуглить, верно?