Tiny LLM — запускаем LLM-сервис за неделю
Это небольшой курс-гайд, где шаг за шагом показывается, как с нуля (на чистых матричных операциях) поднять модель Qwen2-7B, а затем оптимизировать её производительность.
Неделя 1: просто на Python, без “чёрной магии”
Неделя 2: оптимизации, C++ / Metal ядра
Неделя 3: батчинг и масштабирование сервиса
Подходит системным инженерам, которые хотят прозрачности — увидеть, из чего состоит работа LLM-сервера, без слоёв абстракций.
Работает с MLX (для Apple Silicon) и проверяется через сравнение с CPU-реализацией на PyTorch.
🔗 Подробнее: https://skyzh.github.io/tiny-llm/
Это небольшой курс-гайд, где шаг за шагом показывается, как с нуля (на чистых матричных операциях) поднять модель Qwen2-7B, а затем оптимизировать её производительность.
Неделя 1: просто на Python, без “чёрной магии”
Неделя 2: оптимизации, C++ / Metal ядра
Неделя 3: батчинг и масштабирование сервиса
Подходит системным инженерам, которые хотят прозрачности — увидеть, из чего состоит работа LLM-сервера, без слоёв абстракций.
Работает с MLX (для Apple Silicon) и проверяется через сравнение с CPU-реализацией на PyTorch.
🔗 Подробнее: https://skyzh.github.io/tiny-llm/
👍12🔥6❤4
📰 Реклама в ChatGPT — даже в платной версии?
По данным источников, OpenAI рассматривает идею запускать рекламу прямо в ChatGPT. Ходят слухи, что Марк Симo ведёт переговоры с потенциальными кандидатами (в том числе бывшими коллегами из Facebook), чтобы собрать команду, которая займётся монетизацией — включая и подписки, и новые рекламные форматы.
⚖️ Почему это может быть правдой:
- OpenAI тратит огромные суммы и остаётся убыточной.
- Стартапы часто работают в минус, но рано или поздно нужно выходить на прибыльность.
- Реклама — очевидный источник дохода.
⚖️ Почему это вызывает сомнения:
- Платные пользователи могут потерять доверие, если реклама появится даже там.
- Это ударит по бренду ChatGPT.
- Вероятно, куда больший доход принесёт B2B-направление, а не потребительский сегмент.
📊 На сегодня около 3% пользователей платят за ChatGPT, а 97% используют бесплатный тариф. Поддерживать такую модель дорого, и OpenAI ищет варианты. Но станет ли реклама решением — пока не ясно.
#OpenAI #ChatGPT #Ads #AIbusiness
По данным источников, OpenAI рассматривает идею запускать рекламу прямо в ChatGPT. Ходят слухи, что Марк Симo ведёт переговоры с потенциальными кандидатами (в том числе бывшими коллегами из Facebook), чтобы собрать команду, которая займётся монетизацией — включая и подписки, и новые рекламные форматы.
⚖️ Почему это может быть правдой:
- OpenAI тратит огромные суммы и остаётся убыточной.
- Стартапы часто работают в минус, но рано или поздно нужно выходить на прибыльность.
- Реклама — очевидный источник дохода.
⚖️ Почему это вызывает сомнения:
- Платные пользователи могут потерять доверие, если реклама появится даже там.
- Это ударит по бренду ChatGPT.
- Вероятно, куда больший доход принесёт B2B-направление, а не потребительский сегмент.
📊 На сегодня около 3% пользователей платят за ChatGPT, а 97% используют бесплатный тариф. Поддерживать такую модель дорого, и OpenAI ищет варианты. Но станет ли реклама решением — пока не ясно.
#OpenAI #ChatGPT #Ads #AIbusiness
🔥8❤4👍3
Wink AI Challenge — хакатон на стыке IT и кино. Участников ждут задачи, которые ускорят производство фильмов и сериалов за счёт прикладных AI-решений. Призовой фонд соревнования — 1 125 000 рублей.
Регистрация до 31 октября: https://cnrlink.com/winkaichallengemlinterview
Приглашаем на первый в России хакатон, посвящённый применению ИИ в кинопроизводстве, ML-инженеров, backend- и frontend-разработчиков, специалистов в DevOps, MLOps, а также инженеров в сфере мультимедиа.
Вы сможете:
🔸 Разработать ML-модель, которую оценят и будут использовать продюсеры популярных российских фильмов и сериалов.
🔸 Решить кейсы, основанные на реальных задачах, с которыми продюсеры сталкиваются каждый день.
🔸 Использовать настоящие сценарии и видеоматериалы для анализа текстов, извлечения сущностей и генерации структуры съёмок.
🔸 Попрактиковаться в применении NLP, NER и мультимодальных данных в задачах кинопроизводства.
Регистрируйтесь на платформе Codenrock и создайте ИИ-ассистента для кинопроизводства: https://cnrlink.com/winkaichallengemlinterview
Регистрация до 31 октября: https://cnrlink.com/winkaichallengemlinterview
Приглашаем на первый в России хакатон, посвящённый применению ИИ в кинопроизводстве, ML-инженеров, backend- и frontend-разработчиков, специалистов в DevOps, MLOps, а также инженеров в сфере мультимедиа.
Вы сможете:
🔸 Разработать ML-модель, которую оценят и будут использовать продюсеры популярных российских фильмов и сериалов.
🔸 Решить кейсы, основанные на реальных задачах, с которыми продюсеры сталкиваются каждый день.
🔸 Использовать настоящие сценарии и видеоматериалы для анализа текстов, извлечения сущностей и генерации структуры съёмок.
🔸 Попрактиковаться в применении NLP, NER и мультимодальных данных в задачах кинопроизводства.
Регистрируйтесь на платформе Codenrock и создайте ИИ-ассистента для кинопроизводства: https://cnrlink.com/winkaichallengemlinterview
👍4🔥2❤1
🧠 Hallucination Risk Toolkit for LLMs
Этот инструмент позволяет оценивать риск галлюцинаций в больших языковых моделях без повторного обучения. Он преобразует запросы, используя закон декомпрессии, чтобы определить, стоит ли отвечать или отказываться, основываясь на целевом уровне обслуживания.
🚀Основные моменты:
- Оценка риска галлюцинаций с помощью математической модели.
- Поддержка двух режимов: с контекстом и без.
- Использует только API Chat Completions от OpenAI.
- Прозрачные математические расчеты для принятия решений.
📌 GitHub: https://github.com/leochlon/hallbayes
#python
Этот инструмент позволяет оценивать риск галлюцинаций в больших языковых моделях без повторного обучения. Он преобразует запросы, используя закон декомпрессии, чтобы определить, стоит ли отвечать или отказываться, основываясь на целевом уровне обслуживания.
🚀Основные моменты:
- Оценка риска галлюцинаций с помощью математической модели.
- Поддержка двух режимов: с контекстом и без.
- Использует только API Chat Completions от OpenAI.
- Прозрачные математические расчеты для принятия решений.
📌 GitHub: https://github.com/leochlon/hallbayes
#python
❤9👍7🥰2
🧠 Thinking Machines предложила новый способ обучения нейросетей — manifold Muon, который делает веса более стабильными и предсказуемыми.
🔑 Суть метода:
- Веса ограничиваются на специальной математической поверхности (многообразии Стифеля), где они не могут «разъехаться».
- Размер обновлений контролируется через спектральную норму, чтобы шаги обучения не искажали сеть слишком сильно.
- Обновления считаются в касательном пространстве и возвращаются обратно на многообразие.
📊 На тестах CIFAR-10 метод оказался точнее AdamW и удерживал веса в стабильном диапазоне, хотя шаги обучения занимали больше времени.
🎯 Главная идея — ИИ может давать последовательные и надёжные ответы. То, что сейчас считается «рандомностью» моделей, авторы называют исправимым багом.
Это может стать основой для создания безопасных AGI-систем, где нельзя допускать хаотичное поведение модели.
https://thinkingmachines.ai/blog/modular-manifolds/
🔑 Суть метода:
- Веса ограничиваются на специальной математической поверхности (многообразии Стифеля), где они не могут «разъехаться».
- Размер обновлений контролируется через спектральную норму, чтобы шаги обучения не искажали сеть слишком сильно.
- Обновления считаются в касательном пространстве и возвращаются обратно на многообразие.
📊 На тестах CIFAR-10 метод оказался точнее AdamW и удерживал веса в стабильном диапазоне, хотя шаги обучения занимали больше времени.
🎯 Главная идея — ИИ может давать последовательные и надёжные ответы. То, что сейчас считается «рандомностью» моделей, авторы называют исправимым багом.
Это может стать основой для создания безопасных AGI-систем, где нельзя допускать хаотичное поведение модели.
https://thinkingmachines.ai/blog/modular-manifolds/
❤25🔥8👍7💅1
Почему GPT-5 обучался меньше, чем GPT-4.5
Меньше pre-training, больше post-training.
Обычно модели тратили в ~100 раз больше вычислений на предобучение, чем на дообучение.
В GPT-5 ситуация изменилась: масштабирование post-training оказалось выгоднее по качеству на доллар.
- Ключевые факты:
- GPT-5 учился на меньшей базе, но с сильным упором на дообучение.
- Методы reasoning-ориентированного post-training позволяют сократить предобучение примерно в 10 раз при сохранении качества.
- В 2024 году бюджет R&D-вычислений OpenAI был ~$5B, в 2025 вырос до ~$9B.
- Почему не масштабировали как GPT-4.5?
Для безопасного увеличения post-training нужны огромные датасеты задач, среда для RL и длинные циклы экспериментов. Из-за конкуренции OpenAI решила выпустить GPT-5 быстрее, «выжав» максимум из post-training на меньшей модели.
👉 Вероятно, GPT-6 вернётся к большему pre-training + post-training, чтобы раскрыть потенциал масштабирования.
🔬 Новый отчёт от Epoch AI: https://epoch.ai/gradient-updates/why-gpt5-used-less-training-compute-than-gpt45-but-gpt6-probably-wont
Меньше pre-training, больше post-training.
Обычно модели тратили в ~100 раз больше вычислений на предобучение, чем на дообучение.
В GPT-5 ситуация изменилась: масштабирование post-training оказалось выгоднее по качеству на доллар.
- Ключевые факты:
- GPT-5 учился на меньшей базе, но с сильным упором на дообучение.
- Методы reasoning-ориентированного post-training позволяют сократить предобучение примерно в 10 раз при сохранении качества.
- В 2024 году бюджет R&D-вычислений OpenAI был ~$5B, в 2025 вырос до ~$9B.
- Почему не масштабировали как GPT-4.5?
Для безопасного увеличения post-training нужны огромные датасеты задач, среда для RL и длинные циклы экспериментов. Из-за конкуренции OpenAI решила выпустить GPT-5 быстрее, «выжав» максимум из post-training на меньшей модели.
👉 Вероятно, GPT-6 вернётся к большему pre-training + post-training, чтобы раскрыть потенциал масштабирования.
🔬 Новый отчёт от Epoch AI: https://epoch.ai/gradient-updates/why-gpt5-used-less-training-compute-than-gpt45-but-gpt6-probably-wont
👍16❤7🔥5🤣3
Forwarded from Machinelearning
🚀 DeepSeek-V3.2-Exp - вышла новая экспериментальная версия
⚡ Главное:
- Основана на V3.1-Terminus
- Новый механизм Sparse Attention (DSA) → быстрее и дешевле работа с длинными контекстами
- Качество почти без потерь, производительность как у V3.1
- 💰 API подешевел более чем на 50%
📊 V3.1 пока ещё будет доступна до 15 октября 2025.
🔗 Hugging Face: https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp)
🔗 Tech Report: https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf)
🔗Github: https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf
@ai_machinelearning_big_data
#DeepSeek #AI #V32 #SparseAttention #LLM
⚡ Главное:
- Основана на V3.1-Terminus
- Новый механизм Sparse Attention (DSA) → быстрее и дешевле работа с длинными контекстами
- Качество почти без потерь, производительность как у V3.1
- 💰 API подешевел более чем на 50%
📊 V3.1 пока ещё будет доступна до 15 октября 2025.
🔗 Hugging Face: https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp)
🔗 Tech Report: https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf)
🔗Github: https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf
@ai_machinelearning_big_data
#DeepSeek #AI #V32 #SparseAttention #LLM
👍2🤔2❤1
Media is too big
VIEW IN TELEGRAM
⚡️ Сэм Альтман о том, почему энергию на ИИ тратить необходимо
💡 Даже если ИИ будет потреблять сотни мегаватт или гигаватты, это оправдано, если он поможет открыть дешёвый и эффективный ядерный синтез и заменить тысячи ГВт углеродной генерации по всему миру.
🌍 «Мы обречены, если не найдём новые научные решения климатического кризиса. Без ИИ мы делаем это слишком медленно. Давайте попробуем с ним».
🔋 Альтман подчёркивает, что современные модели уже очень эффективны по метрике *watts per token* — и в сравнении с энергозатратами человека на размышления выглядят даже выгоднее.
📜 Он сравнил это с Google: в начале компанию критиковали за энергопотребление, но один поисковый запрос тратил куда меньше ресурсов, чем поездка в библиотеку.
👉 Если ИИ поможет найти дешёвый синтез, польза для климата многократно превысит его энергозатраты.
💡 Даже если ИИ будет потреблять сотни мегаватт или гигаватты, это оправдано, если он поможет открыть дешёвый и эффективный ядерный синтез и заменить тысячи ГВт углеродной генерации по всему миру.
🌍 «Мы обречены, если не найдём новые научные решения климатического кризиса. Без ИИ мы делаем это слишком медленно. Давайте попробуем с ним».
🔋 Альтман подчёркивает, что современные модели уже очень эффективны по метрике *watts per token* — и в сравнении с энергозатратами человека на размышления выглядят даже выгоднее.
📜 Он сравнил это с Google: в начале компанию критиковали за энергопотребление, но один поисковый запрос тратил куда меньше ресурсов, чем поездка в библиотеку.
👉 Если ИИ поможет найти дешёвый синтез, польза для климата многократно превысит его энергозатраты.
🤣24❤17👍9✍2🔥2🌭1