Код в мешке
249 subscribers
8.94K photos
1.58K videos
2.11K files
42.1K links
Код в мешке - про кодинг, и не только...
Это личная записная книжка

https://t.me/joinchat/AAAAAEIy6oGlr8oxqTMS5w
Download Telegram
Forwarded from Типичный программист
От «дайте GPU» до «вот готовый API для LLM» — Selectel сделал этот шаг

Раньше Selectel давал GPU в аренду. Дальше справляйтесь сами: разворачивайте модель, настраивайте инференс, следите за масштабированием. Теперь компания вывела Foundation Models Catalog в публичный доступ: DeepSeek, Qwen, Mistral, Phi и другие модели уже развёрнуты и отвечают через REST API. Никакого деплоя: просто вызываете модель.

Под это и анонсировали новый AI-сервер: 8U, до 16 GPU на ноду, два Intel Xeon 6, 8 ТБ DDR5. Железо под платформу, а не просто аренда стойки.

По докам выглядит как «подключились и работаете». Насколько оно так в реале, смотрите в разборе на Tproger.

@tproger
Читайте также в VK, Max и Дзен
Forwarded from Типичный программист
Лучший промпт не спасёт, если нет процесса

Команда берёт ИИ-агента, пишет хороший промпт, и первые задачи идут гладко. Потом проект вырастает за пределы одного модуля, и начинается: агент делает «что-то похожее», поведение дрейфует от сессии к сессии, дефекты приходят с интеграции. Разработчик тратит на правки больше, чем сэкономил на генерации.

Это не проблема модели. Это отсутствие процесса.

Agentic Agile: подход, который адаптирует Agile под команды с ИИ-агентами. Промпт здесь: задание, не процесс. Бэклог, acceptance criteria и ревью-гейты нужны так же, как и с людьми. CLAUDE.md или AGENTS.md: не README, а интерфейс между человеком и агентом. CI/CD и автотесты: первый тикет, не последний.

Разбор на Tproger — как выстроить это на практике.

@tproger
Читайте также в VK, Max и Дзен
Forwarded from Типичный программист
8-битный веб-сервер на ретро-процессоре

Энтузиаст собрал HTTP-сервер, работающий на 8-битном процессоре — буквально живой веб на железе, которое старше большинства фронтенд-фреймворков. Никаких ESP32, никаких микро-Linux: только голый MCU, ручной TCP/IP-стек и HTML, прошитый в EEPROM.

Стек переписан под крошечный объём RAM, отвечает на GET за десятки миллисекунд и держит несколько одновременных соединений.

Историческая параллель: первый веб-сервер CERN'а 1990 года крутился на NeXT-машине с 8 МБ памяти — больше, чем у автора проекта. Среднее SPA сегодня грузит 5 МБ JS, чтобы отрендерить кнопку «Отправить».

@tproger
Читайте также в VK, Max и Дзен
Forwarded from Типичный программист
Хотите разобраться, как PyTorch работает изнутри, а не только вызывать .fit()?

Держите: awesome-cuda-books, кураторский список лучших книг по CUDA и параллельным вычислениям на GPU. 668 звёзд на GitHub.

CUDA от NVIDIA — основная платформа, поверх которой работают PyTorch, TensorFlow и большинство ML-фреймворков. Чтобы разобраться в том, что происходит на уровне ядер и памяти видеокарты, без хорошей книги не обойтись. Учебников по теме немало, и отфильтровать подходящие без ориентира непросто. А тут прямо готовая библиотека, так что забирайте.

#python #pytorch

@tproger
Читайте также в VK, Max и Дзен
Forwarded from Типичный программист
Self-hosted платформа для агентов с песочницами и audit log

Один агент с shell-доступом выглядит удобно ровно до момента, когда надо понять, кто разрешил действие, в каком контейнере оно выполнялось и можно ли повторить цепочку. Horizons пытается закрыть именно эту инженерную часть.

В проекте агенты описываются декларативно: имя, sandbox image, доступные инструменты, расписание. Действия проходят approval gates, записываются в append-only audit log, а MCP gateway поддерживает stdio и HTTP. Получается не «чатик с инструментами», а среда исполнения с правилами.

Можно разобрать репозиторий как пример self-hosted agent execution. Внутри полезно смотреть не только на SDK, но и на модель разрешений, журнал действий и границы песочницы.

@tproger
Читайте также в VK, Max и Дзен
Forwarded from Типичный программист
Агенты становятся быстрее не от промптов, а от runtime-подсказок

Когда агентный пайплайн тормозит, первое желание: переписать промпт или заменить модель. NVIDIA NeMo Agent Toolkit смотрит ниже: на маршрутизацию, приоритеты, трассировку и выполнение графов агентных задач.

В проекте есть Dynamo Runtime Intelligence для выбора cache-control и приоритетов по профилю запроса, Agent Performance Primitives для ускорения графовых фреймворков, интеграция с LangSmith и публикация workflow как MCP-серверов через FastMCP. Это уже не демо-чат, а инфраструктура вокруг агентных систем.

Если вы собираете не одного бота, а цепочку инструментов, стоит изучить подход. Детали помогают понять, какие части агентного стека стоит измерять до того, как винить модель.

@tproger
Читайте также в VK, Max и Дзен