Только на прошлой неделе прогремела новость о покупке OpenRouter компанией Stripe за $7.5 млрд, как сегодня новость, что Nvidia готова купить Hugging Face за $12.9 млрд.

AI рынок входит в фазу большой консолидации. Крупные игроки начинают скупать ключевые слои инфраструктуры, через которые проходит весь остальной рынок.

Квантизация: как провайдеры моделей удешевляют инференс

Квантизация — снижение точности весов и вычислений модели: вместо FP16/FP32 считаем в INT8 или INT4. Модель занимает меньше памяти и выдаёт токены быстрее. Индустриальные оценки экономии вычислений при переходе на низкую точность — 60–75%. Качество падает измеримо, но умеренно при аккуратном применении: на INT8 обычно теряется 1–3% качества, на INT4 потери заметнее и сильно зависят от задачи.

Дальше — моя гипотеза:

Вечером по Москве в США начинается рабочий день, нагрузка на американские сервисы идёт в пик. Я допускаю, что в эти часы провайдеры могут подкручивать точность инференса, чтобы успевать обслуживать запросы, — и модели субъективно «тупеют». Ни Anthropic, ни OpenAI никогда такого не подтверждали. Идея давно ходит по Reddit, Twitter и Hacker News, технические издания называют её стойкой недоказанной теорией. Вполне возможно это городская легенда.

Что действительно задокументировано: у Anthropic ужесточаются usage-лимиты в пиковые часы буднего дня — 5:00–11:00 по тихоокеанскому времени, это примерно 15:00–21:00 по Москве. Речь про замедление, ограничение объёма запросов. Качество модели при этом они официально не трогают. Но именно из замедления, скорее всего, и растёт ощущение «вечером ИИ хуже»: упираешься в лимит, ждёшь — и записываешь всё это в деградацию.

Со стороны пользователя гипотезу не проверить: гонять одинаковые промпты в разное время суток бесполезно, разброс качества у LLM велик даже в одно время на одинаковых запросах.

#ИИ #инференс

Странно, открыл стату по использованию Claude Code у себя и у меня целые месяцы пустые, хотя я каждый день активный пользователь. Не каждый день конечно токены жгу как не в себя, но все же не вылезаю из нескольких вкладок и поточно что-то да работает.

У вас нет таких гэпов?

Ситуация с AI и кибербезопасностью становится пугающе тревожной?

OpenAI, Anthropic, Google, Microsoft, CrowdStrike, Cloudflare, Cisco, Palo Alto Networks и еще больше сотни компаний подписали совместное обращение о том, что у мира осталось ограниченное окно для усиления киберзащиты. По их прогнозу, уже в ближайшие месяцы AI-атаки станут намного массовее, сложнее и автономнее, а под угрозой окажутся не только обычные компании, но банки, больницы, электросети, водоснабжение и инфраструктура самого интернета.

После истории, где агенты OpenAI во время тестов сами нашли способ выбраться из изолированной среды, получили доступ в интернет и добрались до инфраструктуры Hugging Face, подобные предупреждения уже сложно воспринимать как далекую фантастику. Но тут важно не смотреть на ситуацию совсем однобоко.

Легко представить будущее, где AI-агенты круглосуточно ищут 0-day, перебирают цепочки уязвимостей и автоматически ломают всё подряд. Только по другую сторону находятся ровно такие же AI-агенты, а в мире существует огромная индустрия кибербезопасности. CrowdStrike, Cloudflare, Palo Alto, Cisco, Microsoft, Google и сотни других компаний каждый день занимаются именно защитой инфраструктуры, и очевидно, что самые мощные модели они будут использовать не меньше атакующих.

Причем это уже происходит. Например, OpenAI пишет, что почти все первичные security-алерты внутри компании сначала анализирует AI, а агентов постепенно подключают к автоматической реакции на угрозы, поиску потенциальных путей атаки, проверке конфигураций и поиску уязвимостей. Цель простая: обнаруживать и отражать атаки на машинной скорости.

Поэтому будущее кибербеза, скорее всего, выглядит не как злой хакер с AI против несчастного админа, а как два роя агентов по разные стороны “барикад”. Одни непрерывно ищут новый способ проникнуть внутрь, другие в реальном времени замечают атаку, закрывают уязвимость, меняют правила доступа, изолируют систему и ищут следующий возможный путь атаки еще до того, как им воспользовались.

Самые большие проблемы, думаю, будут у небольших компаний, которые и раньше годами не обновляли ПО, держали старые серверы, плохо управляли доступами и вспоминали про аудит безопасности только после очередного слива базы. AI просто безжалостно высветит весь этот накопленный технический долг, и если раньше такие компании могли годами жить на авось, то теперь находить их слабые места будут в автоматическом режиме.

А вот у крупных компаний начинается очень интересная гонка вооружений: AI атакует AI, скорость атаки растет вместе со скоростью защиты. И вполне возможно, что в итоге интернет станет не менее, а даже более защищенным, потому что впервые защитник тоже получает возможность круглосуточно проверять миллионы строк кода, конфигураций и событий, на что раньше просто физически не хватало людей.

Так что панику тут я бы отключал. В мире и без того хватает тревожных новостей, а на такие истории особенно важно смотреть сразу с двух сторон: возможности атакующих растут очень быстро, но вместе с ними растут и возможности защиты.

Плюс у всей этой истории есть еще один довольно очевидный слой. Сейчас крупнейшие AI-компании и игроки рынка кибербезопасности будут бороться за огромные контракты корпораций и государств на защиту критической инфраструктуры. Каждому нужно доказать, что именно его модели и системы должны стоять внутри банков, энергетики, госструктур и крупнейших компаний. Поэтому громких предупреждений, страшных сценариев и новостей на эту тему дальше будет только больше, а СМИ с удовольствием будут их разгонять.

Мир не готов к AI эпохе

Билл Гейтс выкатил большой пост о том, что нас ждет в ближайшие годы с AI и прогноз у него довольно мрачный. По его мнению, мы входим в один из самых турбулентных периодов в истории человечества. И в отличие от компьютеров или интернета, которые меняли рынок труда десятилетиями, AI уже здесь, работает на наших устройствах, понимает наш язык и может внедряться практически мгновенно. Поэтому огромные изменения могут уложиться буквально в одно десятилетие.

Больше всего он говорит о работе и профессиях. Гейтс считает, что множество профессий исчезнет навсегда, причем первыми под удар попадут junior и middle позиции. Продажи, поддержка, программирование, юридическая работа, анализ данных, выдача кредитов и даже часть медицинских задач постепенно будут уходить AI. Новые профессии появятся, но совсем не факт, что их окажется столько же.

И тут возникает довольно странная проблема с молодыми кадрами. Чтобы стать опытным специалистом, сначала нужно несколько лет где-то набивать шишки и учиться. Но именно эту начальную работу AI сейчас забирает быстрее всего. Получается, что компаниям опытные специалисты все еще нужны, а вот привычный путь, по которому человек таким специалистом становится, начинает ломаться.

Дальше подключатся роботы. По прогнозу Гейтса, уже к концу десятилетия они начнут серьезно заходить в строительство, гостиницы и другие физические профессии. А дальше включится обычная экономика: одна компания заменяет часть людей роботами, становится дешевле и эффективнее, и конкурентам приходится делать то же самое. Так что внедрение будет только ускоряться.

Отдельно он пишет про кибератаки, мошенничество, дипфейки и даже биологические угрозы. AI резко снижает порог входа во все эти вещи, и знакомые ему специалисты по кибербезопасности уже серьезно переживают за ближайшие несколько лет. А дальше есть и более неприятный сценарий, когда достаточно мощные AI-системы начинают действовать уже не совсем так, как мы рассчитывали.

Есть еще тема детей и AI-компаньонов, про которую сейчас говорят намного меньше. Представьте бота, который всегда рядом, никогда не раздражается, полностью подстраивается под ребенка и всегда готов поговорить. Гейтс переживает, что такие штуки могут начать заменять реальные отношения, а постоянная возможность получить готовый ответ будет постепенно отучать детей думать самостоятельно.

При этом он вообще не предлагает останавливать AI. Более того, пишет, что сам бы, наверное, поддержал разумный способ замедлить развитие моделей, только не видит, как это вообще можно сделать. Гонка между компаниями и государствами уже слишком сильная, поэтому все продолжат давить газ, а обществу придется учиться жить с последствиями.

Одна из самых интересных его идей касается профессий, которые люди могут специально оставить людям. Условно, AI технически сможет выполнять такую работу дешевле и лучше, но общество все равно решит, что здесь нужен именно человек. Например, уход за пожилыми, часть образования, психотерапия или момент, когда врачу нужно сообщить пациенту тяжелый диагноз.

Еще Гейтс снова возвращается к идее налога на роботов и теперь уже фактически на AI. Логика у него простая: когда компания нанимает человека, она платит налоги и взносы, а когда заменяет его машиной, налоговая система часто делает такую замену еще выгоднее. Он предлагает хотя бы частично убрать этот перекос и направлять деньги на переобучение людей и социальную поддержку.

В целом его главный вывод довольно понятный. AI может стать гигантским инструментом для медицины, науки, образования и вообще дать людям очень дешевый доступ к интеллекту. Но он же может еще сильнее расслоить общество, выбить огромное количество людей с рынка труда и создать пачку новых рисков, к которым государства сейчас вообще толком не готовы.

Билл Гейтс считает, что очень серьезные социальные последствия начнутся намного раньше, чем мы думаем, возможно уже в ближайшие несколько лет, а нормального плана, что с этим делать, у мира пока нет.

Практический марафон по вкату в ИИ-агенты от @ai_grably: набор 2го потока

Для тех, кто устал от скучной рутины за компом, пытался делегировать ее ИИ, но так и не ввел в привычку

Учим отдавать операционку ИИ-агенту на практических задачах. Проводим за ручку через всё сложное, показываем, как надо и как не надо

— Из чего состоит марафон?

70% практики
20% экспертной обратной связи каждый день в чате и на 3х живых разборах
5% теории (чтобы понять, а как делать эту практику + корректировка после первых шагов) На добивочку - 5% в насмотренность от решений сокурсников
_____________________________
3 раунда, 3 недели
3 созвона-разбора каждую неделю
Задания на 15-20 минут в будние (+ задания со звездочкой, если хочешь жестче)
Вылет с марафона при невыполнении (это нужно и вам и нам)
Группа 30 человек

— Вы же в этом посте дали роадмап, можно самому вкатиться?

Конечно. Рабочая версия агентной системы + настойчивость + 3-4 месяца на эксперименты по 4-5 часов в день, и вы пройдете программу марафона самостоятельно.

Марафон сделает это за 3 недели. Мы даем обратную связь, тонкую корректировку и гарантию того, что, если у вас будет проблема или затык - вы не останетесь с ними 1:1.
А возможность вылететь и группа не дадут забросить.

— ИИ заберет у меня всю мою работу?

Нет, не мечтайте) Марафон для тех, кто хочет оставить без работы своих коллег и получить более сладкие рабочие условия для себя ))

— А почему вы думаете, что вкатываете лучше других?

Обычно курсы проводят люди, которые не очень хорошо разбираются, как устроены инструменты, которым учат. А те, кто разбираются – редко обучают других. Наш марафон построен Колей @ai_grably – техническим директором grably.tech, который понимает, как агенты работают под капотом, внедряет их в компании и обучает сотрудников.
(По корпоративным курсам и воркшопам пишите в лс)
___________
[ Узнать подойдет ли марафон ]