📖 Вечернее чтение

Команда из DeepMind подготовила отличный материал о том, что нужно знать о работе с GPU.

- Разбор архитектуры NVIDIA GPU: SM, Tensor Cores, кеши, HBM.
- Сравнение GPU и TPU: гибкость против специализированной мощности.
- Как устроены GPU-кластеры и коллективные коммуникации.
- Roofline-анализ масштабирования LLM: data, tensor, expert, pipeline parallelism.

🔥 Если вы работаете с масштабированием моделей - мастрид.

👉 https://jax-ml.github.io/scaling-book/gpus/

@data_analysis_ml

🤖 DeepConf — новый подход к мышлению ИИ

Учёные придумали новые метод Deep Think with Confidence (DeepConf).

Он позволяет модели сразу отбрасывать «слабые» варианты ответа и оставлять только те, в которых она уверена.

Классический метод *parallel thinking* (self-consistency) работает так: модель генерирует множество рассуждений и выбирает лучший ответ по большинству. Точность повышается, но ресурсы тратятся огромные — тысячи токенов уходят на слабые варианты.

🔹 DeepConf решает эту проблему: модель сама оценивает уровень уверенности в рассуждениях и отбрасывает «слабые» ветви — либо сразу, либо после генерации.

Как это устроено:
1️⃣ Оценка уверенности на уровне токенов — смотрится вероятность выбранного токена (log-prob) или энтропия.
2️⃣ Group Confidence — оценки объединяются в блоки, чтобы понять силу целой ветки рассуждения.
3️⃣ Online-режим — слабые ветки отсекаются прямо в процессе.
4️⃣ Offline-режим — сначала генерируются все ответы, потом остаются только те, где уверенность высокая.

📈 Результаты:
- На AIME-2025 точность выросла до 99,9%
- Количество лишних токенов сократилось почти на 85%
- Работает без дообучения и сложных настроек

📚 Paper: https://arxiv.org/pdf/2508.15260
🌐 Project: https://jiaweizzhao.github.io/deepconf

🔟 вещей, которые стоит знать, прежде чем лезть в AI-автоматизацию

Автор с Reddit построил больше 100 workflow и выделил самые главные уроки:

1. Начинайте с простых сценариев — лучше 10 минут пользы, чем 10 часов сложностей.
2. Записывайте процесс: скриншоты и ошибки — это ваше портфолио.
3. Сразу учитесь работать с HTTP-запросами — это открывает доступ почти ко всему.
4. Не называйте себя «экспертом», говорите конкретно: «Помогаю бизнесу экономить время».
5. Умейте отказываться: иногда «нет» открывает путь к более выгодным проектам.
6. Всегда думайте об ошибках: API падают, данные ломаются.
7. Делитесь провалами — они вызывают больше доверия, чем идеальные кейсы.
8. Стабильный доход приносит не настройка, а поддержка и улучшения.
9. Нетворкинг — половина успеха. Проекты приходят через коллег.
10. Автоматизируйте сначала себя: лучший аргумент — собственный пример.

💡 Главное: бизнесу нужны не красивые workflow, а результат — например, «минус 15 часов рутины в неделю».

🔗 Полный пост

@data_analysis_ml