Для понимания, как на практике ведётся обучение студентов создавать LLM. В КНР преподают студентам сами авторы передовых LLM. На видео один из авторов GLM профессор Тан Цзе ведёт обычный университетский курс в Цинхуа — Advanced Machine Learning. Это новый набор студентов, стартовавший 16 сентября.

На лекции Тан Цзе рассказал студентам, что «битва за чат уже закончена» и что их дело — делать агентов: просто чаты с ИИ уже никому не нужны. Агенты уровня AGI и ASI — это то, зачем он их учит. Тан Цзе также отметил, что современный уровень обучения LLM состоит в том, чтобы выгнать как можно больше людей из самого цикла обучения: все должны делать агенты, иначе человек становится бутылочным горлом сингулярности самообучения ИИ. Тан Цзе прямо говорит студентам, что столько, сколько их тут собралось, не нужно для обучения LLM, поэтому у него нет цели вытягивать всех, кто пришёл на курс — его интересуют только отличники и то, что он им дал, и больше никто, остальных он отчислит. Тем не менее, уровень энтузиазма студентов приобщится элите ИИ виден хорошо на видео.

За 16 недель студенты должны собрать полный пайплайн LLM: база → Scaling → синтетические данные → preference/RL → агенты → непрерывное обучение → «AI учит AI».

Студенты должны пройти весь цикл своими руками:
• С нуля написать Tokenizer и Transformer.
• Сквозное обучение модели.
• Написать Triton attention kernel и замерить прирост.
• Очистка данных из raw dump, подгонка scaling law и экстраполяция.
• Сравнение SFT / DPO / RLVR на одной базе.
• Построение верифицируемой среды + harness, обучение long-horizon агента с self-judge loop.

Работа идёт не индивидуально, а в группах 2–3 человека: студентов сразу учат работать «когортой», т.к. только устаревшие университеты готовят одиночек. На 16-й неделе студенты должны защитить свой работающий прототип и подготовить сразу же описание его в формате как для научной публикации NeurIPS.

Кто обучался на наших курсах по LLM в университетах — можете поделиться в комментариях сравнением уровня.

Никто:
Абсолютно никто:
Сталоне в 80 лет:

Хейтеры скажут, что ИИ.

@exploitex

DHH: ручное написание кода уходит, работа создателя остаётся

Это видео стоит посмотреть каждому программисту и всем, кто работает в технологической индустрии. За неполные три минуты Дэвид Хейнемейер Ханссон, известный как DHH, предлагает пересмотреть то, с чем мы связываем свою профессию. Он создал Ruby on Rails и вместе с Джейсоном Фрайдом владеет 37signals, компанией за Basecamp и HEY.

В центре выступления — переход от написания каждой строки вручную к созданию продуктов с помощью ИИ. Для человека, который десятилетиями получал удовольствие от самого процесса программирования, это ещё и смена профессиональной идентичности.

Основные мысли выступления по-русски

DHH говорит, что перестал считать себя профессиональным программистом в прежнем смысле. За плечами у него четверть века ручной работы с кодом, и этот опыт он вспоминает с удовольствием. Освоение нового и состояние потока были ценны сами по себе; появление другого способа работы этого не обесценивает.

Его экономический тезис гораздо жёстче: по его оценке, писать код вручную уже невыгодно большинству программистов в большинстве компаний, и эта перемена будет распространяться дальше.

Будущую роль он описывает через создание вещей и управление возможностями ИИ. В его трактовке впереди остаётся увлекательная работа, хотя привычный способ её выполнения уходит. Прежний опыт можно принять с благодарностью и использовать в новой роли.

Полный перевод выступления

Я завершил карьеру профессионального программиста. Точную дату пока не установил. Думаю, это произошло где-то четыре-пять месяцев назад, возможно, в марте. Надо выяснить, когда именно. Потому что, знаете, всё в том коротком ролике — чистая правда.

Я, чёрт возьми, четверть века вручную вытачивал код и наслаждался каждым мгновением. Какой замечательный опыт, какое продуктивное время, какая эпоха. И я считаю, что всем нам стоит смотреть на неё именно так: с радостью от того, что было, а не с сожалением.

С радостью от того, что мы застали время, когда всё это ещё приходилось делать самим. Ведь в этом были и азарт, и учёба, и удовлетворение, и состояние потока.
Об этом не нужно вспоминать с сожалением. Об этом нужно вспоминать с радостью — и принять, что это закончилось.

Писать код вручную больше не имеет экономического смысла для подавляющего большинства программистов, работающих в подавляющем большинстве компаний. И это уже сегодня. К концу года это будет касаться практически всех областей, практически всех программистов, практически всех компаний.

Так что нам лучше к этому привыкнуть. Лучше принять, что у нас был прекрасный период, когда мы вытачивали этот код вручную, и что он закончился.

А по другую сторону — новая карьера. Увлекательная карьера, полная энергии: профессионально создавать вещи.

Да, вы больше не будете вытачивать этот код вручную. Но вы будете создавать удивительные вещи. Вы будете направлять интеллект, который ещё совсем недавно существовал только в научной фантастике.

Какая привилегия — оказаться по обе стороны этого разрыва во времени: застать эпоху, когда мы всё делали вручную, и быть здесь ровно в тот момент, когда мы переходим к новому способу работы.

pimenov.ai/blog