Amazon выкатил железку, над которой я работаю!

Это большой сервер, который компании берут в аренду за $800 в час, чтобы учить свои гигантские ИИ.

Немного закулисья:
- NVIDIA разрабатывает дизайн этих серверов и софт, чтобы они работали, но в большом масштабе они их не производят
- Производством в масштабе занимаются компании вроде тайваньских Quanta или TSMC, они собирают эти сервера партиями по заказу NVIDIA специально для Amazon.
- У меня 2 раза в день были созвоны (я редко на них ходил) с разными компаниями которые участвуют в процессе, чтобы быстрее решать вопросики. За несколько месяцев я писал на C, Lua, Python, Ruby.
- Мы все вместе Amazon, NVIDIA и производители делали так, чтобы эти сервера в больших количествах успешно произвелись, отправились в дата-центры по всему миру, чтобы можно было зайти на aws.amazon.com и нажать кнопку арендовать.

Меня даже несколько раз пытались отправить в командировки по этому поводу, но я удачно выкрутился и отказался. Конечно без меня там тоже справились бы :)

Всем Пи Сих И Джи Би Ту Хандред

https://youtu.be/u81NapG8yL0

Сегодня созвон с рекрутером из OpenAI. Работать в Amazon особо не хочу, не знаю почему. Проект вроде хороший - оптимальная сложность, не скучно, не скучно, но что-то не то.

Хочу работать над чем-то супер жестким типа OpenAI, xAI или крутой стартап. Правда есть определенный mismatch между моими знаниями и требованиями для такой работы. Даже удивлен, что меня позвали в OpenAI, а не сразу отказали 🤷‍♂️

Из недавних собесов:
- Facebook завалил собес из-за глупой ошибки, до сих пор обидно
- Google прошел какой то assessment, но дальше не позвали
- Snapchat несколько раз звали на собес, но потом сказали что у них обязательно высшее образование или 10 летний опыт либо даунгрейд должности.

Но это ладно, честно говоря даже если бы прошел, вряд ли продолжил бы общение. Думаю больше не хочу работать в больших компаниях.

Наверное скоро уйду с работы и пойду в стартап или делать свой или поднимать свои скиллы дальше.

Сегодняшнее утро (у меня уже 2 часа дня среды). Открываю LinkedIn и натыкаюсь на профиль парня.

Арлан Рахметжанов (ссылка на linkedin), 18 лет, Алматы (уже переехал в СФ). Бросил школу в 11 классе, в графе «образование» написано: «Ушел со школы, тк не хотел сдавать экзамены». Я уже видел ребят которые бросили школу и работают в OpenAI, но чтобы из Алматы, такого я не видел. Прихожу на работу натыкаюсь на статью в Business Insider (ссылка, вышла буквально в 9 утра)
История:
- в 11 лет отец рассказал ему, что есть такая «школа для фаундеров» Y Combinator
- дважды подавался и получал отказ
- стартап его отца тоже получил отказ
- летом 2025 прошел
- поднял 6.2 миллиона долларов на Nozomio
- и всё это соло, без кофаундеров или сотрудников, хотя YC обычно не любит одиночек.

p.s у него прикольный твиттер https://x.com/arlanrakh и он смотрит аниме

Завтра в Amazon планируется крупное сокращение (если верить perplexity, то это одно из десяти крупнейших в истории США, 30к человек). На форумах пишут, что сокращения затронут и AWS, но AWS огромный и сомнительно что затронет команду Accelerators/GPU. Будет интересно, завтра в 5 утра должны разослать письма тем, кого сократят. Буду не против, если и меня заденет.

https://www.reuters.com/business/world-at-work/amazon-targets-many-30000-corporate-job-cuts-sources-say-2025-10-27/

Написал в инсте пост про мой опыт медитации и получил вот такое сообщение:

«Привет
Ну вот смотри, одни говорят остановись, полюби себя, живи в свое удовольствие, другие говорят ломай себя, чтобы собрать свою лучшую версию
И с одной стороны да, твой опыт безумно крутой, что ты поработал, пофигачил, поломался, сам пришел к тому, что тебе пора себя собрать
А с другой стороны я сижу и думаю, вот два поста в рекомендациях подряд, один где какой то крутой мужик за рулем Порше говорит, что надо ебашить, чтобы жить хорошо, и следующий - твой
Но как будто нельзя уходить в ретриты, пока ты еще не сломал себя, но сломать себя обязательно, чтобы не остаться маленькой незаметной точкой на таймлайне вселенной»

Отвечаю.

Чем я занимаюсь на работе? Nitro Card, управление сервером

Я пишу со своей перспективы и про свой уровень ответственности, чтобы не перегружать и не делать пост очень длинным, рассказывая про кучу нюансов hardware и управление им, так как там очень много низкоуровневых штук.

Пойдем сверху вниз, представим обычный EC2 инстанс - это сервер, который компания или разработчики арендуют, просто нажав на кнопку в UI. Соответственно тот же Netflix, Twitch работают через них, запуская свои приложения. Этот инстанс запускается на железном сервере с процессором, видеокартой, блоком памяти и там еще много разных железных компонентов. Упрощенная ментальная модель такая:

- Железка (сервер) - физический сервер, который присоединен к стойке в дата-центре
- Firmware - ПО низкого уровня, которое объясняет железным компонентам, как им работать, например, как должна работать GPU, PCIE или внутреннее хранилище
- Nitro Card (Я ЗДЕСЬ) - центр управления ОДНИМ сервером, как отправлять сетевые пакеты, обновлять сервер, как сделать перезагрузку, как запустить линукс, какой линукс запустить, где этот линукс хранится. Там не только линукс, но так упрощение
- Гипервизор - софт, который тоже на самом деле через специальную карточку идет, занимается разделением сервера на виртуалки (cpu и ram, может что-то еще)
- Операционная система - то что крутится на виртуалке уже, линукс, винда или MacOS
- Уровень пользователя или компании - когда клиент запускает бэкенд, фронтэнд или ИИ-модель

Я занимаюсь частью софта для Nitro Card, который потом через оркестраторы уже запускается для совершения действий с большим количеством серверов.

К каждой железке через PCIE слот на материнской плате подключается Nitro Card. Это технология дает компаниям (у разных облачных провайдеров она по разному называется) возможность управлять флотом своих серверов в разных дата-центрах.

На самой карточке эмулируется кастомная ОС вроде Linux. Внутри карточки хранится разный софт, который мы пишем на C, Lua, Rust, используются разные протоколы SPI, UART, I2C для общение с железкой или компонентом. Существует много подвидов этих карточек, это как маленький сервер, прикрепленный к большому серверу, чтобы большой и дорогой сервер был изолирован от общего функционала и чтобы софт, который пишут для управления был однотипным.

В основном я адаптирую под новое железо, создаю абстракции на этой карточке для действий, которые нужны другим командам, пишу оркестратор (уже на Python) который вне сервера.

1. Адаптация под новое железо. Наши hardware архитекторы или nvidia придумали новый вид серверов (вроде Trainium2), изменяется архитектура, набор железок и firmware. Нужно писать новый код для управления (перезагрузка, запуск ос, обновление, показатели, показывающие плохо все с сервером или нет, и тд) этим сервером.

2. Создание абстракций для других команд. В AWS работает куча команд. Бывает задача, чтобы написать логику на карточке, например, для передачи данных в хранилище сервера, сделать абстракцию и интерфейс, и другая команда уже использует это для каких-то своих задач.

3. Оркестрация. Допустим, мы написали логику для какого-то действия на самом сервере, например стресс-тест видеокарты, чтобы понять, какие у нее температуры и возможные нагрузки, которые нужно проводить, чтобы понять, работает ли она нормально и что делать, если нет. Мы пишем сам оркестратор, который, используя СoAP (low level http like) протокол или иногда другие технологии, выполняет задачу сразу на МНОГИХ серверах. Потом кто-то уже может написать REST абстракцию над оркестратором для того, чтобы дать возможность удобно производить массовые действия с набором серверов.

политический плюрализм

Конец апреля и май принесли сотрудникам AWS хорошие новости: акции выросли на 30% (соответственно и зп). Еще было пару интересных релизов на уровне продуктов.

1. Claude Platform нативно в AWS

Весь API Anthropic стал доступен через AWS аккаунт. Если раньше в AWS были доступны только сами модели Claude, то теперь доступен весь их API, который легко подключается к текущей инфраструктуре компании.

Условно, у Robinhood (моя прошлая компания) вся инфра на $120 млн в год крутилась на AWS. Раньше им, скорее всего, просто неудобно было бы интегрироваться напрямую с Claude, поэтому они использовали модели Amazon (my guess). Вдобавок, дополнительные фичи Claude (например, web fetch для агента, чтобы дать ему страницу из интернета) через AWS не работали, доступ к marketplace, mcp registry etc. Ну там много всего можно почитать по ссылке, для обычных разработчиков это не интересно, ток для компаний.

2. OpenAI приходит в AWS

OpenAI models, Codex, and Managed Agents come to AWS. Это отличная новость. Если модели Anthropic у нас хотя бы были, то OpenAI-модели до этого момента не были доступны вообще. Опять же основной мой интерес в том что, когда мы внутри что то разрабатываем мы теперь можем использовать GPT-5.5.

Почему мне вообще это интересно:
- Как держатель акций амазон, уверен что многие компании предпочтут гонять инференс через уже готовую инфраструктуру AWS, а не стучаться напрямую через API компаний. Соответственно, маржинальность и revenue AWS должны прилично вырасти в след квартале.
- Как сотрудник я рад, что теперь у нас есть безлимитный доступ к Claude Code и Codex. Скорее всего, я продолжу юзать нашу внутреннюю тулу, но возможность отличная.


Полгода назад, когда вышел OpenClaw, все сошли с ума и пытались его себе поставить. Я тоже попробовал: худший опыт установки, куча багов, в итоге я его просто удалил.

Внутри Amazon есть свой аналог OpenClaw и сейчас про это написал Financial Times. Я когда начал его использовать хотел написать, но было лень разбираться как работает NDA в этом случае. Работает это так: с внутреннего профиля AWS берешь сервер, ставишь туда эту тулу, синхронизируешь рабочую папку на ПК с папкой на сервере. Создаешь отдельную директорию с базой знаний в Markdown формате (они векторизируются), ну и дополнительно второй агент читает переписки и сохраняет память. Поверх накидываешь кучу MCP для интеграции с почтой, таск-трекерами, репозиториями и прочим.

Из-за специфичности моих задач (код для low-level железа), сам код AI ассистенты пишут так себе.

Мой любимый юзкейс. Я запускаю этот внутренний OpenClaw делать ресерч для моих параллельных задач, пока сам работаю над исполнением основной задачи. Периодически отвлекаюсь, читаю, что он там нашел, задаю новые вопросы, направляю вектор поиска (что нужно, а что нет). Так за пару дней фоном собирается отличный контекст. В итоге, когда я перехожу к исполнению нового проекта, у меня уже есть база изученной информации, и я намного быстрее разбираюсь, как и что нужно решать.

У меня обычно уходит слишком много времени на то, чтобы написать что-то цельное и вразумительное, так что сегодня в формате тезисов (в итоге все равно ушло много времени)

- Сильно напрягает, что наш офис находится в Купертино (яма). Очень хотелось бы перебраться в сам Сан-Франциско за скоростью и суетой, но как же лень выходить на рынок, хотя возможностей вокруг неограниченное количество.
- На работе ничего нового, сейчас я пилю штуки для серверов Vera Rubin, а параллельно работаю над cli https://kiro.dev/ (амазоновский ответ claude code/codex).
- Меня удивляет что я не слышу достаточно новостей о том, что скоро (ipo spacex) появится первый триллионер. Который создал 2 компании с оценкой больше триллиона. Это же просто фантастика. Понятно, что чувак он неоднозначный, но не ошибается тот, кто ничего не делает. Интересное чтиво Elon Musk by Walter Isaacson, а если у вас мало времени, то недавно вышла другая книга короткая книга The Book of Elon.
- Я всегда читал биографии, в декабре наткнулся на Napoleon: A Life и я был поражен. Легко одна из лучших книг которых я читал. Мне повествование очень напомнило Team of Rivals: The Political Genius of Abraham Lincoln (pulitzer prize author, крутая книга чтобы разобраться в линкольне). Чуть чуть погуглил а там оказывается целый ряд крутых авторов которые делают тысячи страничные биографии интересных людей.
- В итоге я точно знаю что биографии этой мой любимый жанр и я понял как искать лучшие биографии для себя, переходим https://en.wikipedia.org/wiki/Pulitzer_Prize_for_Biography и кликаем на разных авторов номинированных на приз и смотрим их другие книги.
- Раз заговорил про книги. Бэклог книг у меня пополняется гораздо быстрее, чем я успеваю читать. Из художественного главная цель добраться до East of Eden Стейнбека. Фаворит прошлого года The Razor’s Edge Моэма.
- И напоследок: если говорить про биографии, я не знаю подкаста на ютубе лучше чем https://www.youtube.com/@founderspodcast1 (отсмотрел at least треть), недавно кстати на его другом канале вышло интервью с Dana White: The Man Behind the UFC.