Егорка думает, что
110 subscribers
195 photos
15 videos
1 file
129 links
Пишу код, увлекаюсь нейросетями, люблю винил, китайский чай, автомобили и программирование.

https://career.habr.com/tlenojuk - моë резюме, если что
Download Telegram
Forwarded from Kali Novskaya
🌸Лучшая лекция ICLR 2025 🌸
#nlp #про_nlp #nlp_papers

Одной из главных лекций на ICLR в этом году можно смело назвать доклад Тима Роктешела (Tim Rocktaeschel, DeepMind) — Open Endedness, World Models, and the Automation of Innovation. Доклад наконец выложили на ютуб (мне даже не пришлось ее пиратить для вас)

Это очень хороший и своевременный обзорный доклад про новые приоритеты в исследовании ИИ: reinforcement learning, фундаментальные модели, проблемы бенчмарков, агентов и акселерации науки.

🟣Abstract
Погоня за AGI требует перехода от узконаправленной оптимизации целей к принятию концепции Открытой Эволюции (Open-Endedness) — исследовательской парадигмы, внедрённой в области ИИ Стэнли, Леманом и Клуном. Она фокусируется на системах, способных бесконечно генерировать последовательности новых, но обучаемых артефактов. В этом докладе я представлю нашу работу по созданию крупномасштабных фундаментальных моделей мира (foundation world models), которые способны генерировать разнообразные и многогранные среды. Эти среды, в свою очередь, могут использоваться для обучения более универсальных и устойчивых агентов. Кроме того, я утверждаю, что связь между Открытой Эволюцией и Фундаментальными Моделями указывает на возможность автоматизации самого процесса инноваций. Это слияние уже даёт практические результаты: оно позволяет открывать способности моделей к самоулучшению (sef-improvement), автоматизировать prompt engineering и red-teaming, и проведение дискуссий между ИИ-моделями. Всё это предвосхищает будущее, в котором ИИ будет сам двигать свои открытия вперёд.

🟣Лекция со слайдами тут:
https://www.youtube.com/watch?v=ZZC_xqRgcHo&ab_channel=MatijaGrcic

🟣Некоторые упомянутые статьи:
Prompt Breeder
Rainbow teaming
MLE bench
Awesome Open-endedness
METR и поиск экспоненты
Sakana AI AI Scientist
Please open Telegram to view this post
VIEW IN TELEGRAM
1
Forwarded from Китайский русский (Valery Cherepennikov)
В этом июне исполняется 25 лет первому релизу OpenCV. Господи, как летит время. Кажется, только вчера я "посылал за водкой" Бориса Модестовича... А уже четверть века с тех пор прошло.
К сему знаменательному юбилею я задумал хабростатью "OpenCV. Начало". Взгляд изнутри на то, как зарождался де факто стандарт компьютерного зрения. Размышления о причудливых развилка пути и факторе везения в технологии. И дань уважения людям, с которыми мне пришлось поработать.
1
Так, новости за последние несколько дней:

1) Вышел новый ризонер от Mistral. Есть две версии, small в 24b и medium, параметры которого не раскрывают, потому что выкатывают как энтерпрайз. По бенчмаркам всё очень печально (на графиках сравнивают с Deepseek, по факту даже энтерпрайз версия на каком-нибудь AIME'24 умудряется уступать Qwen3-32b). В блоге сами мистрали напоминают, что у них есть Flash Answers, вот только зачем кому-то ризонинг в 10 раз быстрее обычного мне не очень понятно. Коллеги говорят, что модель странная, я сам пока не проверял, как проверю - обязательно расскажу.

2) Вышла o3-pro, снизилась цена на o3 flex, который теперь четверть доллара за миллион токенов, а вслед за ними Сэм Альтман написал future vision пост в свой блог. Саммари от gemini 2.5 pro:
В своём блоге Сэм Альтман описывает концепцию «Мягкой сингулярности» (The Gentle Singularity), утверждая, что человечество уже прошло «горизонт событий» и вступило в эру экспоненциального технологического роста, ведущего к созданию сверхинтеллекта. По его мнению, этот процесс происходит не как резкий скачок, а как постепенная и плавная трансформация, к которой люди успевают адаптироваться.

Основные тезисы статьи

* Начало положено: Альтман считает, что самые сложные научные прорывы, которые привели к созданию систем вроде GPT-4, уже позади. Хотя роботы еще не ходят по улицам, мы уже создали системы, которые во многом превосходят человека и значительно повышают производительность. По его словам, ChatGPT в некотором смысле уже является более мощным инструментом, чем любой человек в истории, так как на него ежедневно полагаются сотни миллионов людей.
* «Мягкий» характер сингулярности: Процесс сингулярности заключается в том, что удивительные технологические достижения быстро становятся обыденностью. Мы переходим от удивления тому, что ИИ может написать абзац, к ожиданию, что он напишет роман. Эта постепенная адаптация делает экспоненциальный прогресс управляемым. Эта идея перекликается с его более ранней статьей «The Merge», где он также утверждал, что слияние человека и машины — это постепенный процесс, который уже начался.
* Прогнозы на будущее: Альтман предлагает следующий примерный график развития:
* 2025: Появление агентов, способных выполнять когнитивную работу, что навсегда изменит написание кода.
* 2026: Появление систем, способных делать новые научные открытия.
* 2027: Появление роботов, способных выполнять задачи в реальном мире.
* Изобилие интеллекта и энергии: К 2030-м годам интеллект и энергия станут чрезвычайно доступными и дешёвыми, что устранит два главных ограничителя человеческого прогресса. Это приведёт к беспрецедентному ускорению научных открытий, позволяя совершать прорывы, которые раньше требовали бы десятилетий, за год или даже месяц.
* Влияние на общество и работу: Хотя некоторые профессии исчезнут, мир станет настолько богаче, что появятся возможности для реализации новых социальных политик. Люди будут адаптироваться и находить новые занятия, подобно тому как это произошло после промышленной революции. Альтман считает, что человечество всегда будет больше ценить то, что делают другие люди, а не машины.

### Ключевые вызовы и путь вперёд

Альтман выделяет два основных шага для успешного прохождения этого периода:
1. Решить проблему согласования (alignment problem): Гарантировать, что ИИ будет действовать в соответствии с долгосрочными коллективными ценностями человечества. В качестве примера несогласованного ИИ он приводит алгоритмы социальных сетей, которые оптимизированы для удержания внимания пользователя в краткосрочной перспективе, но не для его долгосрочного благополучия.
2. Обеспечить широкий доступ: Сделать сверхинтеллект дешёвым, общедоступным и не допустить его концентрации в руках одного человека, компании или страны.
1
Егорка думает, что
Так, новости за последние несколько дней: 1) Вышел новый ризонер от Mistral. Есть две версии, small в 24b и medium, параметры которого не раскрывают, потому что выкатывают как энтерпрайз. По бенчмаркам всё очень печально (на графиках сравнивают с Deepseek…
Follow up: o3-pro стоит 20 баксов за инпут и 80 за аутпут за 1 миллион токенов по апи, в вебморде входит в 200-долларовую подписку. Не так дорого, как o1-pro, где было 600 долларов за аутпут и 150 за инпут, но всё ещё офигеть как дорого. При этом модель на ARC-AGI не достигает показателей o3-preview low, а high в лидерборде не показана вообще и об этом есть отдельная сноска. При этом на ARC-AGI 2 любая OpenAI модель на данный момент проигрывает Claude Opus 4 с ризонингом
2
Егорка думает, что
Follow up: o3-pro стоит 20 баксов за инпут и 80 за аутпут за 1 миллион токенов по апи, в вебморде входит в 200-долларовую подписку. Не так дорого, как o1-pro, где было 600 долларов за аутпут и 150 за инпут, но всё ещё офигеть как дорого. При этом модель на…
Для справки - датасет ARC-AGI есть в открытом доступе, o3-preview училась на 75% от этого датасета, продактовая o3 это, видимо, другая модель вообще. Об этом есть в блоге ARC-AGI, он от 22 апреля, поэтому o3-pro в статье нет.
2
Я решил немного структурировать канал. Репосты это хорошо и от них я отказаться не могу, но большинство, скорее всего, и так подписаны на каналы, которые я репощу. Решил раз в какое-то количество времени просто собирать пост "Что я хотел бы вам зарепостить", в котором будут наборы ссылок с описанием того, а что я, собственно, пересылаю

😎 - супер, будет удобнее
🥴 - и так норм
Please open Telegram to view this post
VIEW IN TELEGRAM
42
Репостопост:

😎 Гонзо выложил пост, в котором дал ссылку на пост, в котором нейрообзорщик постов и статей от Гонзо рассказал о рнн, которую обученой моделированию последовательностей. Там, если что, щас доминируют трансформеры, которые, по понятным причинам иногда слишком уже жирные, особенно с линейным ростом вычислительных затрат в зависимости от длины последовательности. Авторы добавили специальный меза-слой, который оптимально решает задачу регрессии внутри контекста и добились перплексии ниже, чем у других моделей ценой того, что выросло количество вычислений во время инференса

😎 Валера Бабушкин дал ссылку на пост где компания признает, что саппорт на нейронки заменять было идеей не очень. Кто бы сомневался

😎 Кандинскому от Сбера исполняется три года. С днем рождения!

😎 Артем из эйай ньюз сделал выжимку из презентации АМД про нейросети. Выжимку выжимки делать не буду, но в целом там анонс железа и сохраняется основная идея АМД - дешевле чем у Нвидиа, но с тем же перфомансом

На сегодня все, вернусь к вам через какое-то количество времени с еще одной такой компиляцией
Please open Telegram to view this post
VIEW IN TELEGRAM
2
Коль скоро у нас тут происходит изучение аудитории методом тыка - как вы относитесь к формату статей в телеге? Хотелось бы поизучать с вами некоторые папиры, типо пресловутого magistral, но вдруг вам легче будет читать это в виде набора постов?

😎 - супер, люблю статьи
🥴 - статьи отстой, не буду ничего читать
Please open Telegram to view this post
VIEW IN TELEGRAM
122
Я надеялся написать небольшое ревью относительно Magistral. Все равно, ризонинг-моделей уже вышло достаточно, вряд ли она могла впечатлить меня чем-то. Проблема в том, что Magistral - это как раз то, что пропустить, как оказалось, никак нельзя. Написал для вас статью, буду рад замечаниям в комментариях, потому что до этого на телетайп не писал никогда:

https://telegra.ph/Kak-frontir-startap-sdelal-Magistral-06-17
322
Если я когда-либо буду проводить лекцию про оптимизации, я начну ее с того, что зерна кукурузы очень оптимально хранятся в засушенном виде, но попкорн кушается вкуснее
421
Сегодня получил диплом с отличием, теперь мое мнение в интернете котируется, у меня есть высшее образование. Возвращаемся к обычному графику выкладывания постов
93
Forwarded from ScratchAuthorEgo
📊 Channel Analysis Results by @ScratchAuthorEgoBot

🎯 Channel: @ashnskt

💼 Professional Analysis:

Кандидат является молодым специалистом в области машинного обучения (ML) и искусственного интеллекта (AI) с выраженной специализацией в больших языковых моделях (LLM). Его академический бэкграунд, подтвержденный недавним получением диплома с отличием, предположительно, в МГУ им. М.В. Ломоносова (упоминание «Профком ВМК МГУ»), свидетельствует о наличии сильной фундаментальной подготовки в области вычислительной математики, кибернетики и Computer Science.

Ключевые компетенции и сильные стороны:

Глубокая предметная экспертиза: Кандидат демонстрирует свободное владение актуальной терминологией и понимание текущего ландшафта LLM. Он отслеживает и анализирует релизы ключевых игроков рынка (Mistral, OpenAI, Deepseek, Qwen), разбирается в их архитектурных особенностях (RNN, трансформеры), метриках (перплексия) и экономических аспектах (стоимость API за миллион токенов).

Практические навыки и аналитический склад ума: Автор не ограничивается теоретическим обзором; он самостоятельно тестирует модели («потыкал новый квен на опенроутере»), оценивает их производительность в конкретных задачах (генерация кода на Python, C) и делает аргументированные выводы. Его анализ поста Сэма Альтмана и статьи о Magistral показывает умение структурировать информацию, выделять главное и представлять ее в доступной форме.

Инициативность и коммуникационные навыки: Ведение собственного Telegram-канала, написание статей (Telegra.ph), структурирование контента («Репостопост») и взаимодействие с аудиторией через опросы указывают на проактивность, развитые навыки письменной коммуникации и желание делиться знаниями. Это ценно для работы в команде, менторства и ведения технической документации.

Техническая эрудиция: Помимо основной специализации, кандидат проявляет интерес к смежным областям: фреймворкам для оптимизации (DeepSparse), аппаратному обеспечению (Nvidia, AMD), истории технологий (iPod Shuffle и стандарты разъемов), что говорит о широком кругозоре.

Потенциальные риски и зоны для развития:

Недостаток коммерческого опыта: Будучи недавним выпускником, кандидат может иметь ограниченный опыт работы над долгосрочными коммерческими проектами в корпоративной среде. Его фокус на SOTA-моделях и бенчмарках может превалировать над пониманием бизнес-ограничений, где часто требуются не самые передовые, а самые стабильные, дешевые и прагматичные решения.

Склонность к категоричности: В его суждениях прослеживается определенная категоричность («RL всё таки не работает», критика Habr). Хотя это свидетельствует о наличии собственного мнения, в командной работе это может потребовать развития гибкости и умения принимать компромиссные технические решения.

Академический уклон: Глубокий анализ и теоретизирование могут преобладать над скоростью реализации и ориентацией на конечный продукт. Потребуется адаптация к более быстрым и итеративным циклам разработки, принятым в индустрии.

Рекомендация: Кандидат представляет собой высокопотенциального специалиста уровня Junior+/Middle- ML Engineer или AI Researcher. Он обладает исключительной теоретической базой, страстью к своей области и доказанной способностью к самообучению и анализу. Идеально подойдет для R&D-отдела или команды, работающей над инновационными продуктами. Рекомендуется назначить ему ментора для более плавной интеграции в коммерческую разработку и помощи в расстановке приоритетов между исследованием и бизнес-задачами.
2
Когда я успел сказать, что РЛ не работает?
2
Моя любимая целевая аудитория канала, я хочу написать статейку, но не могу решить, что вам будет послушать интереснее - как вообще работают гпт или как их дообучать на домашнем железе?
1
Я знаю, что это все легко гуглится, но вы меня читаете не для того, чтобы я говорил, куда вам правильно гуглить, верно?
732