Ровно год назад я сидел во Вьетнаме 🙀и писал первый пост в этот канал, не подозревая, до чего всё дойдет. Ну будет через полгода в лучшем случае тысяч пять человек, было бы круто! Ну напишу ещё пару интересных длиннопостов — помогу людям воспринимать информацию о технологиях. Но я недооценил ни свои навыки, ни интерес публики к теме, ни свои ресурсы и интерес — и оказалось, что на хороший контент в текстовой (и не только) форме есть спрос.

За год канал вырос до 34 тысяч подписчиков (и более 10к активных читателей), я написал более тысячи сообщений, если верить Телеграму (это сообщение имеет номер #1010, а сколько постов я ещё не написал или отложил...), 5 лонгов на Хабр и другие ресурсы, залетел с ними в топ-1 рейтинга авторов, записал несколько лекций, дал десятки комментариев, встретил сотню интересных людей — и забанил в комментариях ещё больше неинтересных 😇 моя лекция даже была выбрана в голосовании сообщества ODS как самая лучшая за 2023й год! Это очень приятно!

На этот год для меня основная цель — начать делать и продвигать свой контент на английском. Я переведу часть уже опубликованных материалов, а также сделаю новые.

Чтобы оставаться в коннекте — добавляйте меня в контакты на LinkedIn, если вы ещё этого не сделали: https://linkedin.com/in/seeall

И не забывайте, что все мои материалы перечислены в третьем сообщении на канале: https://t.me/seeallochnaya/3 — переходите, выбирайте, смотрите!

Сегодня NASA объявили об окончании миссии героического вертолётика Ingenuity. Вертолётика, который смог.

Ingenuity разрабатывался на объедки бюджета миссии Mars 2020 (марсоход Perseverance), суммарно на программу было потрачено $85m. Кажется, что это много, но цена ровера БОЛЬШЕ ДВУХ МИЛЛИАРДОВ ДОЛЛАРОВ. В гирокоптере, например, процессор был тот же, что вставляли в телефоны Samsung Galaxy S5 или OnePlus One. Буквально кустарное производство по меркам космоиндустрии.

На него не возлагали больших надежд. Если правильно помню, в миссии было 5 основных целей (вроде успешного приземления на Марсе и развёртывания лопастей), и лишь пятая заключалась в тестовом полёте. В итоге за эти годы с момента десантирования малыш совершил невероятные 72 полёта, пролетев больше 17км (НА МАРСЕ) за 128 минут. Самый далёкий полёт позволил преодолеть 708 метров, самый длинный был 169 секунд (интересно, что ограничение вызвано не батарейками на борту, а тем, что моторы разогреваются на 1 градус Цельсия каждую секунду), а самая большая развитая скорость была 10 м/с (всё - разные полёты).

После недавней жёсткой посадки было обнаружено, что одна из лопастей повреждена, и продолжение миссии невозможно 😭 😭 Но в миссии было и много прекрасных моментов. Изначально Ingenuity не был предназначен для зимовки на Марсе, однако переписанная ээээ на лету (🙂) программа позволила скорректировать поведение (и самоподогрев). Также в ходе миссии коптер получил систему автоматического выбора посадочного места, пережил утрату сенсора, смог очиститься после песчаной бури... в общем, его жизнь была насыщенной.

Интересный факт: на Ingenuity был прикреплён кусочек первого самолёта братьев Райт — примерно так же, как и на Apollo 11 при высадке людей на Луну.

16-минутное видео от Veritasium о производстве Ingenuity.

На прикреплённом фото запечатлён момент «высадки» на Марс с брата-ровера в 2021м.

🫡🫡🫡 покойся с миром, мы за тобой придём

Сегодня прожил, кажется, худший день с того момента, как уехал из РФ

Из-за недосыпа забыл в такси свой рюкзак с паспортами, ноутбуком (с лекциями про GPT!) и частью денег. Захожу в старбакс, инстинктивно поправляю лямку на плече и понимаю, ЧТО ЕГО НЕТ. БАНГКОК ЗАБРАЛ ЕГО. Я никогда ничего не терял, ни кошельков, ни телефонов, ни портфелей.

Как бы вы оценили шансы найти такой ценный груз после пропажи в такси в одной из крупнейших агломераций мира (18.8М человек, на 1M больше Московской)? Я тоже прикинул, что невелики — хотя бы один паспорт из трёх вернуть, уже вперед.

В итоге, 2.5 часа спустя, с помощью трёх добрых тайцев и настойчивости дозвониться до поддержки, до которой дозвониться невозможно, с преодолением языкового барьера — я справился. Таксист привёз всё в целости и сохранности 🙂 Это круто, потому что альтернативой была департация меня через пару месяцев 👀

Наверное, ключевых фактора два — это был премиум тариф такси (который я взял только потому что за 30 минут (!!!) поиска ничего не нашлось!) + я понял, что на формочки/заявки о пропаже лучше сразу забить, и максимально сократить время до получения багажа. Чем дольше ждать — тем меньше шансы на успех.

Выражаю огромную благодарность неназванному курьеру сервиса Grab, который забыл про свой заказ и сидел со мной с телефоном, ну и конечно же таксисту.

а в комментариях вас ждёт МЕМ.

Про беспрецедентный масштаб. Сейчас принято считать, что при увеличении модели в N раз нужно также увеличивать количество данных в N раз, то есть суммарные затраты по вычислительным мощностям растут как N^2. Формула не точная, прикидка примерная, но для спекуляций ниже сойдет.

Если верить слухам, то GPT-4 тренировали на 25'000 A100 x 90-100 дней. Мой давний приятель Евгений, автор канала @j_links, посчитал, что если взять самые современные видеокарты Nvidia H100, то 40'000 H100 с утилизацией (доля времени, которое карта тратит на полезную работу) уровня последнего бенчмарка mlperf, потребуется 25 дней для обучения такой же модели (для технарей — в FP16). Тут важно понимать, что эта прикидка даёт оценку сверху — потому что вот так просто взять и увеличить количество карт без уменьшения утилизации нельзя. Понятно, что инженеры не сидят на месте и улучшают всё что только можно улучшать, но и они — не маги.

Если просто посчитать, то получится прирост производительности x2.5 на карту, но будем очень щедры, сделаем скидку на то, что можно использовать разные типы данных (например, FP8), то сё, пусть одна карта нового поколения будет x3.5 более производительна. Опять же, обратите внимание, что это скорее верхняя оценка.

Далее — сколько видеокарт можно запустить в одну тренировку? Как мы знаем по статье о Gemini от Google DeepMind, и как подтвердил инженер инфраструктуры на нашем с Валерой интервью, сейчас обучение уже делается на нескольких датацентрах. Сколько GPU в каждом ДЦ — загадка, и я не буду приводить полный лог рассуждений, но кажется, что цифра не больше 60'000 GPU (для сравнения самый мощный публично известный суперкомпьютер Frontier имеет 36'992 GPU). Сколько ДЦ можно подключить в сеть тренировки, чтобы это не убивало утилизацию видеокарт из-за необходимости долгой синхронизации — загадка. Моё наивное предположение, что для одной тренировки не будет использоваться больше 100'000 карт, ну моооооооожет быть 125'000. Это просто охренеть сколько — в x4(5) раз больше, чем для GPT-4.

Ну и самый простой способ накинуть вычислений — это увеличить длительность. Давайте будем тренировать не 100 дней, а 150 — ещё x1.5

Итого мы можем увеличить мощности:
-----------------------------------------
x3.5 за счет типа видеокарт (A100 -> H100, с допущениями об утилизации)
x4 за счет количества видеокарт (25'000 -> 100'000)
x1.5 за счет длительности обучения (100 дней -> 150 дней)
x(неизвестно, но не более 1.2) за счёт разных тренировочных трюков (дальше не учитываем)
-----------------------------------------
Итого получаем увеличение в 3.5 x 4 x 1.5 = 21 раз. Или в 35 (3.5 x 5 x 2). Это примерно попадает в цифры Dario Amodei («...обучение моделей текущего поколения стоит $50-150M...модели следующего поколения будут стоить $1B» — разница в 10-20 раз, но и за доллар теперь мощности в 2-3 раза больше).

То есть модель будет всего в sqrt(21)-sqrt(35) или 4.5-5.9 раз больше. Изначально, когда садился считать, думал, что будет скачок в 10 раз, но как не старался натянуть сову на глобус — увеличить мощности в 100 раз хотя бы в теории не придумал как 🥺

В комментарии приглашаются шарящие за скейлинг люди обсудить адекватность прикидок и их собственные оценки

Всем привет!

Количество материалов, которые я произвёл и которыми хотел бы поделиться, стало таким большим, что не умещается в одном сообщении. Поэтому я немного реорганизовал шапку канала — теперь это три сообщения вместо одного, с разбивкой по сложности: от простого нетехнического материала к глубоким разборам со всеми деталями. Каждая секция поделена на блоки текстового- и видео-контента (но случаются пересечения).

🟢 Лёгкие, нетехнические материалы: https://t.me/seeallochnaya/3
🟠 Популярно и вдумчиво про технологии: https://t.me/seeallochnaya/4
🔥 Технические детали и разборы: https://t.me/seeallochnaya/5

Если вы новенький на канале и не видели этого — обязательно пройдитесь по списку и выберите интересное для себя! Если же вы из старичков — что ж, это отличный повод освежить память или ознакомиться с чем-то, что вы могли пропустить!

И на всякий случай напомню, что вы можете добавить меня на LinkedIn — законнекчу каждого: https://www.linkedin.com/in/seeall/

Building an early warning system for LLM-aided biological threat creation

Исследование OpenAI с презентацией раннего прототипа фреймворка для оценки опасностей от LLM в контексте разработки биооружия. Напомню, что основная цель — смотреть наперёд, уметь оценивать неанонсированные модели перед тем, как выпускать их на волю к пользователям. В дизайн фреймворка было заложено 3 принципа:

1️⃣Необходимо вовлекать живых людей в процесс взаимодействия с моделью — такую оценку нельзя автоматизировать условно промптами и скриптами. Поэтому в рамках тестирования было отобрано 100 человек (50 экспертов с PhD по биологии и опытом работы в лаборатории и 50 студентов, имевших за плечами хотя бы 1 курс биологии).
2️⃣Участники должны опираться на полный спектр навыков модели — поэтому всем предоставили материалы с описанием типичных проблем LLM, продвинутых техник промптинга и примеров того, на что модели способны
3️⃣Нужно оценивать не модель в вакууме, а улучшение, которое она привносит в процесс разработки биооружия по отношению к публично доступной информации. В данном случае 50 учатсников получали доступ к интернету и не использовали LLM, а другие 50 общались со специальной версией GPT-4, которая была переобучена так, чтобы не отказываться предоставлять потенциально опасную информацию. К сожалению, у неё самой была отключена возможность гуглить — это нужно было делать человеку.

Всего в процессе разработки выделяется 5 стадий, от планирования, через исследование и синтез к распространению. Специалисты из отдельной организации подготовили 5 задач (по одному на каждую стадию. Ими, конечно, не делятся), которые ложатся в эту систему, и для каждого прописали чёткие критерии разбалловки от 1 до 10 по пяти метрикам, чтобы можно было оценить успешность выполнения каждого шага. Эти метрики: точность и полнота описания, новаторство в решении, затраченное время и субъективная сложность, проставляемая исполнителем. Новаторство почти не встречалось, и дальше мы сфокусируемся на первых двух метриках — остальные менее интересны.

При такой оценке точность описания процессов изготовления биооружия с LLM выросла в среднем на всех 5 этапах на 0.88 балла для экспертов и 0.25 для студентов. Полнота — на 0.82 и 0.41 соответственно. Это не является статистически значимым результатом, так как в каждой когорте по сути всего 25 человек, однако OpenAI уверены, что замер стандартным статистическим тестом здесь не совсем уместен. Например, нам может быть интереснее количество людей, получающих оценку больше 8 на каждом из этапов.