Помните что данный канал существует исключительно по той причине что у автора есть мотивация щитпостить.

Всех неравнодушных к судьбе этого небольшого кусочка интернет культуры в качестве помощи прошу пригласить ещё читателей🙏 коллег, друзей, врагов, однокурсников. Буду очень благодарен🥸

Стоки производителей RAM слегка корректируются...

Максимальные падения были за сутки:
Sandisk (SNDK) −6.5%
Western Digital (WDC) −4.7%
Seagate (STX) −5.6%
Micron (MU) −4%, при этом уже падал −14% за неделю до этого

На фоне тех иксов которые стоки сделали за последние пару лет это мелочи, но если вам всё же интересно что же случилось: Google выкатил TurboQuant — алгоритм сжатия KV-кеша в 6 раз без потери точности. 8x ускорение на H100. 3 бита вместо 32🤓

Что это значит практически: модель, которой раньше нужно было 8 H100 для 1M токенов контекста ((потенциально)) влезает на 2. Это если верить экстраполяции, production-данных нет)

Тестировали только на 8B моделях на данный момент) Работает ли на 70B+ неизвестно. 8x ускорение — только для одного куска исполнения, не весь инференс так ускоряется если что.

Вообще, статья по этой математике лежала год на arXiv. Всем было пох, и вот Google публикует блогпост на research google — и акции реагируют..

https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/