Последние пару дней сидел думал вот о чём.

Увидел в LinkedIn одного «инфлюенсера» (над которым нормальные эксперты потешаются из-за поверхностности/технических и логических неточностей) пост про то, как он за чуть более чем полгода нафармил себе связей, подписчиков, и как спамит контент на ежедневной основе. Не то чтобы это был большой секрет, что автор использовал ChatGPT для написания постов (пару раз, помню, за это предъявляли в комментариях), но вот тут написал такое:

— If I were to get hit by a bus today, you would continue to hear from me until summer, given the automated systems I have in place and the content schedule I've set up.
(Перевод: если бы меня сегодня сбил автобус, вы бы продолжали получать посты от меня до лета, учитывая имеющиеся у меня автоматизированные системы и график контента, который я установил)

Как вы смотрите на такую ситуацию? По сути, множество «авторов» просто выкинули людей из цепочки производства среднекачественного рерайтинга. Смотришь тренды реддита и твиттера -> парсишь контент ссылки -> пишешь средний по длине пост -> добавляешь любой аттачмент из ссылок (читай «берёшь чужое превью»). Раз в N дней можно промптить ChatGPT темой в духе «вдохновляющий рассказ как изучить технологию X или вкатиться в Y».

Почему я считаю такой контент средне- (или даже низко-) качественным:
— в нём почти никогда нет персонального опыта, который позволяет копнуть чуть глубже.
— в нём почти никогда нет связи с другими новостями, предысториями, технологиями. Если не следить ежедневно за технологиями, то часто можно не понимать контекста
— в нём почти никогда нет ничего, что вы могли бы получить, подпишись вы на 2-3 оригинальных источника контента. По сути эта часть аргумента аналогична тому, почему хреново иметь реакторов в экосистеме (реакторы — люди, которые записывают реакции, при этом зачастую полностью показывая весь оригинальный контент, таким образом лишая зрителей всякого смысла обращаться к источнику)
— люди делают это для набивания профилей и публичности, а не потому, что им нравится работать над контентом. Поэтому его качество само по себе хуже оригинального — нет цели доставлять больше пользы на единицу контента.
— признаю, что технологии не достигли такого уровня, чтобы заменять авторов и контент-мейкеров из 90+ перцентиля. Ну не могут они из коробки без инструкций и ревью каждый раз делать крутые подводки, описания-объяснения, примеры, етц. Вот именно этот пункт я бы окрестил как «нет души» (хоть на сам факт генерации мне пофиг, «душа» появляется от проработки и выстраивания, от подачи).

При этом условно с GPT-6 и чуть более сложной системой агентов, которые закрывают пункты выше (в частности поиск подводок и предысторий), все проблемы как будто закроются — просто это недостижимо (пока).

Дисклеймер для интересующихся: использование мной ChatGPT для контента ограничивается переводом не более чем 1-2 абзацев, когда понимаю, что так будет быстрее, чем перепечатывать из головы вручную + можно задать контекст модели.

В общем, вопрос аудитории — как вы относитесь к подобному? Что вам важно и чего вы ищете в контенте? Устроит ли вас полностью автогенерация? А если она будет качеством выше?

16-ое января 2024-го года (в простонародье «Год Когда Ожил Метал»)

Elon Musk флексит новыми скилами своих роботов Tesla Optimus, на этот раз показывает процесс складывания футболки (что требует мелкой моторики).

Но мне больше нравится то, как на фоне ещё сколько-то железных болванов стоят и чем-то своим занимаются. Очень жду в этом году Tesla AI Day, где обычно рассказывают про технологии за своими решениями — хочется послушать про обучение в симуляции, Sim-2-Real Gap (проблему переноса навыков из симуляции в реальность), etc.

Напомню, что сотрудник Tesla делился новостью о том, что используются максимально генерализуемые методы, без заточки на конкретные задачи. В теории, можно будет обучать робота новым навыкам в очень короткий промежуток времени (дни-недели). Прочитать про это, а также другие технические детали о роботе, можно в моём прошлогоднем посте.

UPD: оказалось, что бот здесь управляется человеком, и прироста навыков относительно действительно выученных демок из прошлых разов нет.

Любимый момент интервью, Salty Altman невербально отвечает на вопрос про увольнение.

Смотреть со звуком!

Один из самых сложных и недооцененных навыков – это способность эффективно работать, когда есть достаточно времени.
Работая в Яндексе, у меня был подающий надежды, перспективный, но неопытный МЛ лидер Игорь, известный также как https://t.me/seeallochnaya. В его команде было два стажера, обучающихся на практике, в то время как Игорь сам учился на их опыте. За три недели до нового года я поручил им задачу: создать прогноз доходов на следующий год и представить его на первой неделе нового года для включения в дашборд, что можно было сравнивать план и факт

Задача, незнакомая для новичка, занимала по прикидкам 1-3 дня. Она также требовала запроса доступов к двум файлам, у меня. Я упомянул об этом сразу.

Через неделю доступы так и не были запрошены, и я потратил пару часов на создание прогноза самостоятельно. Через четыре недели, в конце праздников, доступ наконец запросили. Я доступ конечно не дал, предпочитая отдыхать, а не проверять почту.
После праздников я запросил результаты работы, получил ответ что будущего нет и пришлось делать самое сложное - собрать с командой на встреча и пообшаться

Со слов Игоря

Там на встрече мы обсудили почему сложилась такая ситуация, пытались понять, где возникла мисскоммуникация, и что нужно делать в будущем, чтобы такого не происходило, а также обсудили план действий. я помню что у одного из стажеров были негативные эмоции, но не помню из-за чего. Я помню что спросил чувствует ли он давление что я токсичил или надавил, заставлял что-то делать, сказали нет.

Я со встречи вынес что во первых надо иногда со сроками давить, и во вторых пытаться понять, к какой категории люди относятся - кто сам заинтересован, кого надо подсушивать и напоминать и кого надо продавливать. И от этого строить свою стратегию общения. Также Валера сказал что надо делать промежуточные майлстоуны не более чем на 3 дня (со стажерами по крайней мере, дольше - они плавают), и синкаться по ним, чтобы раньше распознавать проблемы.

Очевидно что именно этот опыт помог Игорю в дальнейшем добиться успехов и создать популярный канал

Google DeepMind announces AlphaGeometry: an AI system that solves Olympiad geometry problems at a level approaching a human gold-medalist. 📐

It was trained solely on synthetic data and marks a breakthrough for AI in mathematical reasoning.

AlphaGeometry is a system made up of 2️⃣ parts:
🔵 A neural language model, which can predict useful geometry constructions to solve problems
🔵 A symbolic deduction engine, which uses logical rules to deduce conclusions

Both work together to find proofs for complex geometry theorems.

📊 In a benchmark test of 30 recent Olympiad geometry problems, AlphaGeometry solved 25 - surpassing the previous state-of-the-art approach called Wu’s method, which solved 10.

Notably, it solves all geometry problems in the 2000 & 2015 Olympiads, under human expert evaluation.

🔍 Unlike many prior methods, AlphaGeometry can produce human-readable proofs.

The code and model are open source: https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-system-for-geometry/

Это я, когда делаю одну активность, и по ходу дела выходит 2-3 крутых статьи, которые не то что разобрать надо — по ним стоит целый длиннопост на Хабр писать

Ok, Honey....

OpenAI впервые заключили партнёрство с образовательным учреждением для внедрения AI в процессы обучения

Счастливчиками стали студенты Arizona State University. Согласно плану, планируется создать персонализированного ИИ-наставника для студентов. Тот будет помогать как с конкретными курсами с известной программой, так и консультировать по любым необходимым топикам.

Основной упор будет сделан на предметы STEM (Science, Technology, Engineering, Mathematics), но и про гуманитарные науки не забудут. В США на первых курсах есть обязательный предмет «Freshman Composition», где студенты изучают основы эссе, аргументации и развивают критическое мышление — и вот тут ChatGPT тоже поможет.

Студентам, преподавателям и сотрудником спец. группы, разрабатывающим решение, будет оформлен пакет ChatGPT Enterprise, включающий расширенный доступ к полноценной модели GPT-4 (без ограничения в 40 сообщений в 3 часа — чтобы ничего не отвлекало от учебного процесса). А помните как в самом начале в школах и университетах банили ChatGPT? Как быстро обернулся мир, и как хорошо, что нашлись умные люди, готовые к переменам!

Я уже несколько раз писал, что образование — один из основных топиков, который мне интересен в контексте AI. Рекомендую прочитать хотя бы вот эти 3 поста: раз, два и три. В первом можно увидеть, как AI-учитель помогает генерировать решения и объясняет тему, что впоследствии увеличивает оценку тестируемого.

Как Спайс занимает центральное место в мире Дюны, так и вычислительный мощности (в речи — compute, компьют) играют ключевую роль для AI — наравне с данными.

У нас уже как минимум пару лет есть эмпирический (то есть выявленный экспериментально) закон, который позволяет предсказать прокси-качество модели ещё до её тренировки. Чем больше данных положишь, чем больше будет модель и чем дольше будешь учить — тем лучше. Фишка в том, что это единственный гарантированный способ улучшений (поправьте, если не прав). Всё остальное носит исследовательский характер и может не взлететь — даже если идея кажется суперперспективной и передовой. А ведь большие модели ещё надо применять, что тоже требует ресурсов! Поэтому для компаний, желающих оставаться на плаву в AI и тем более догонять лидеров рынка в лице OpenAI, наращивание датацентров впрок имеет огромный, можно сказать стратегический смысл.

Давайте о цифрах. GPT-4, закончившая тренировку в августе 2022го (полтора года назад!), по слухам обучалась на ~25,000 GPU A100 на протяжении 90-100 дней. Если переводить в количество вычислений, то это примерно 2.15E+25 FLOP (2.15 умноженное на единицу с 25 нулями). Грубая оценка в $1/час за 1 видеокарту даёт стоимость тренировки $63m, но вероятно, что для OpenAI цена была ниже. На обучение самой большой LLAMA-2 на 70B параметров META затратила на обучение ~1.1e+24 FLOP — в 20 раз меньше, так что есть куда расти.

Однако время идёт, технологии развиваются, и всё большее количество компаний переезжает на видеокарты H100 — последнее поколение железок от Nvidia, которое в 2-3 раза мощнее предшественницы A100. В тренировке таких больших моделей есть много неэффективностей, связанных с масштабом (нужно же как-то оркестрировать и синхронизировать 25000 видеокарт), поэтому возможность обучить такую же модель на меньшем объеме карт сразу же подразумевает улучшение эффективности использования ресурсов. Ту же GPT-4 можно было бы обучить на ~8,192 видеокарт H100 за 55 дней. Запомнили: 8 тысяч видеокарт на 2 месяца.

Это был контекст новости, а теперь сама новость: на неделе Mark Zuckerberg анонсировал, что META собирается заиметь 350'000 видеокарт H100 до конца года, и суммарно иметь мощности, эквивалентные 600'000 H100. Мноооооого компьюта. Можно будет тренировать LLAMA-4 сразу как конкурента GPT-5. Маловероятно, что это коснётся LLAMA-3, которая уже тренируется и скоро должна выйти (по слухам, в конце февраля), но вот следующая модель должна сделать внушительный скачок.

Эти цифры действительно впечатляющие — в прошлом году я писал, что Tesla начали делать свои чипы и строить на них суперкомпьютер, и был прогноз, что к октябрю 2024го у них будет эквивалент 300'000 A100 (не H100! то есть гораздо меньше!).

Кажется, что это какие-то невероятные цифры для обучения одной модели — можно предположить, что тренировка будет происходить в рамках одного датацентра, в котором ну от силы пусть будет 50-75 тысяч видеокарт (оценка с потолка, но приближенная к реальности. Если есть оценка лучше — пишите в комментарии). Однако из интервью с сотрудником DeepMind, которое мы делали с Валерой @cryptovalerii, и из статьи про Google Gemini стало известно, что модели уже тренируют на нескольких датацентрах за раз! Так что это не должно быть преградой, и вероятно в конце 2024-начале 2025го мы увидим модели, тренируемые на >100'000 видеокарт (аналог ~350-400k A100, использовавшихся для GPT-4).

Как думаете, Deep Learning is hitting a Wall (в очередной, сотый раз)? Готовы ставить против моделей следующих поколений?

Обычно на День рождения подарки получают, но я люблю дарить, отдавать и делиться. Прошлой весной, пока сидел без работы, я получал предложения сделать курс по NLP/LLM. После анализа конкурентов, включая Stanford'ские курсы, я пришёл к выводу, что мне эта идея не кажется перспективной — я не видел, что можно ещё предложить и какую ценность добавить, да и кто будет целевой аудиторией. Но осенью ко мне пришли ребята из Deep Learning School при Физтехе и предложили заделать «пару лекций». Мало кто знает, но пост про GPT-4 с Пашей Комаровским в соавторстве начинался примерно с таких же слов: «не хочешь сделать на коленке мини-заметку?».

В итоге пара лекций превратилась... в мини-курс «Полная история семейства GPT» из 4 частей. На данный момент полностью готово 2 части, и сегодня я публикую первую. Она состоит из трёх видео, которые, как я считаю, будет полезно посмотреть всем — от начинающих свой путь в ML до суперсеньорных NLP'шников, которые вероятно пропустили или не знали предпосылок разработки GPT-1. Правда, курс предполагает, что вы представляете, что такое трансформер — какое счастье, что я и такую лекцию сделал!

В курс включено много тем и деталей, о которых либо говорят редко, либо они не указаны в статьях, либо всё и сразу. Какие-то топики, конечно, пересекаются, но думаю, что здоровая доля novelty тут есть.

1) youtu.be/l-l82uNwyu8 — лекция про сжатие как способ выработки понимания (что? а вот увидите!)
2) youtu.be/jKd_CdRh7U4 — лекция про обучение без учителя на текстовых данных, или почему мы обучаем языковые модели так, как обучаем
3) youtu.be/i3lkIJ82rNI — finally, лекция с разбором GPT-1

(но вообще я предлагаю просто подписаться на канал на YouTube, чтобы иметь удобную навигацию там и ничего не пропустить)

Вторая часть выйдет на следующей неделе, будет состоять из ПЯТИ видео и опишет прогресс от GPT-1 до GPT-3. Семинары и домашние задания к лекциям появятся весной и будут выложены на платформе курса — поэтому переходите на сайт школы, чтобы ничего не пропустить. Занятия в школе — БЕСПЛАТНЫЕ (и организованы на платформе Stepik)!