Время вакансий в канале!
TLDR: HFT, кванты и ML, 360 – 500k USD на руки + profit sharing
Spectral::Technologies – HFT-фонд, успешно торгующий на рынках по всему миру 6+ лет. Познакомились на OpenTalks.AI: они были генспонсорами и буквально спасли конференцию в этом году. Ребята вообще много вкладывают не только в команду, но и в поддержку STEM-образования: четвёртый год покрывают 90%+ расходов НМУ, пишут курсы и дают гранты.
Ищут людей по двум направлениям – ML и Quant. Что круто: в Spectral идеальная среда для скоростного роста на любом грейде. Лид – золото IMO, команда постоянно растёт, джуны приходят без опыта в HFT и меньше чем через год уже делают рынки. Тайтлами не загоняют в рамки: дают столько ответственности, сколько вы готовы взять, и помогают найти, где ваши сильные стороны дают максимум для PnL.
ML Researcher (Middle / Senior)
Строить модели с высокими требованиями одновременно к скорости инференса и качеству, полный цикл – от гипотез до прода, Kaggle-like задачи
Кого ищут: сильная матбаза (как правило, tier-1 технический вуз), прод-опыт на Python и >= 1 из:
Коммерческий опыт в сильной ML-команде с подтвержденными кейсами / Опыт с моделями, где скорость инференса и качество важны одновременно / PhD по Computer Science, ML и/или публикации на топ-конференциях (NeurIPS, ICML, ICLR, CVPR) / Законченный ШАД по треку ML или DS / Соревновательный или HFT-бэк
Quant (Junior / Middle / Senior)
- Junior: можно без опыта. Python, базовый C++, linux
- Middle: 3+ года опыта в tech (не обязательно HFT). Python, C++, linux
- Senior: успешный опыт в HFT в квантовой роли («можете создать торговую стратегию»)
На все роли (и кванты, и ML) ребята ищут сильный соревновательный флекс, потому что сами такие же. Уровень победителей олимпиад по математике, проге, физике (межнар, ВсОШ, ICPC NEF+), Master+ на Kaggle или solo-золото, 2300+ на CF. Подойдёт любое достижение этого уровня – или успешный HFT-трек с ростом зоны ответственности.
Про вилки: Senior с сильным бэкграундом получает 360 – 500k USD на руки + profit sharing, Junior – 150–180k USD на руки + profit-sharing. Так что у Spectral не только есть интересные задачи, но они еще и очень хорошо платят за их успешное решение.
Общие условия:
– Profit-sharing на всех позициях
– Официальное трудоустройство, 5/2, оплачиваемая релокация; Дубай и другие локации по договорённости
– Всевозможные бенефиты: ДМС со стоматологией, учебные отпуска, перфоманс-коучинг, корпоративы в разных странах мира. Spectral умеют отдыхать красиво – несколько дней, полностью закрытые отели, уникальные экспириенсы, выступления артистов. А этим летом у них на корпоративе поет Дора 💔
Резюме и вопросы — сюда: @sophia_spectral 👀
TLDR: HFT, кванты и ML, 360 – 500k USD на руки + profit sharing
Spectral::Technologies – HFT-фонд, успешно торгующий на рынках по всему миру 6+ лет. Познакомились на OpenTalks.AI: они были генспонсорами и буквально спасли конференцию в этом году. Ребята вообще много вкладывают не только в команду, но и в поддержку STEM-образования: четвёртый год покрывают 90%+ расходов НМУ, пишут курсы и дают гранты.
Ищут людей по двум направлениям – ML и Quant. Что круто: в Spectral идеальная среда для скоростного роста на любом грейде. Лид – золото IMO, команда постоянно растёт, джуны приходят без опыта в HFT и меньше чем через год уже делают рынки. Тайтлами не загоняют в рамки: дают столько ответственности, сколько вы готовы взять, и помогают найти, где ваши сильные стороны дают максимум для PnL.
ML Researcher (Middle / Senior)
Строить модели с высокими требованиями одновременно к скорости инференса и качеству, полный цикл – от гипотез до прода, Kaggle-like задачи
Кого ищут: сильная матбаза (как правило, tier-1 технический вуз), прод-опыт на Python и >= 1 из:
Коммерческий опыт в сильной ML-команде с подтвержденными кейсами / Опыт с моделями, где скорость инференса и качество важны одновременно / PhD по Computer Science, ML и/или публикации на топ-конференциях (NeurIPS, ICML, ICLR, CVPR) / Законченный ШАД по треку ML или DS / Соревновательный или HFT-бэк
Quant (Junior / Middle / Senior)
- Junior: можно без опыта. Python, базовый C++, linux
- Middle: 3+ года опыта в tech (не обязательно HFT). Python, C++, linux
- Senior: успешный опыт в HFT в квантовой роли («можете создать торговую стратегию»)
На все роли (и кванты, и ML) ребята ищут сильный соревновательный флекс, потому что сами такие же. Уровень победителей олимпиад по математике, проге, физике (межнар, ВсОШ, ICPC NEF+), Master+ на Kaggle или solo-золото, 2300+ на CF. Подойдёт любое достижение этого уровня – или успешный HFT-трек с ростом зоны ответственности.
Про вилки: Senior с сильным бэкграундом получает 360 – 500k USD на руки + profit sharing, Junior – 150–180k USD на руки + profit-sharing. Так что у Spectral не только есть интересные задачи, но они еще и очень хорошо платят за их успешное решение.
Общие условия:
– Profit-sharing на всех позициях
– Официальное трудоустройство, 5/2, оплачиваемая релокация; Дубай и другие локации по договорённости
– Всевозможные бенефиты: ДМС со стоматологией, учебные отпуска, перфоманс-коучинг, корпоративы в разных странах мира. Spectral умеют отдыхать красиво – несколько дней, полностью закрытые отели, уникальные экспириенсы, выступления артистов. А этим летом у них на корпоративе поет Дора 💔
Резюме и вопросы — сюда: @sophia_spectral 👀
❤26😢21🔥14
# Новый эпизод в серии "как потерять работу": PLATA
В последнее время в канале было меньше контента. Всё потому, что я нашел работу.
В апреле-марте свободные деньги у меня совсем иссякали. Идею стартапа автоматизации мобильного QA было решено закопать (об этом в следующем посте). Я начал смотреть по сторонам и общаться с компаниями, и одновременно с этим на меня вышли из команды рисков Plata.
Первой моей реакцией было удивление: где я и где банки? За всю карьеру я выкатил в прод едва ли 2-3 табличных модели. Всё время занимался компьютерным зрением, DL, данными и инженерией. Риски мне представлялись так: фитишь деревья решений, чтобы объяснить что-то регуляторам.
Однако мои опасения сходу развеяли. Оказалось, что риски в Plata — это не только таблички с бустингами, и вообще не про ублажение регуляторов. В Plata переформулировали задачу рисков из "отсеять плохих" в "максимизировать прибыль при заданных ограничениях". При такой постановке риски — это не отдел по блокированию инициатив и объяснению предсказаний, а движок зарабатывания денег. В таком случае и задачи моделирования становятся шире. Поэтому ребята искали, как усилить свою экспертизу в DL: целенаправленно нанимали и нанимают людей без банковского и финтех опыта.
Мои глаза загорелись. Трансформеры в банках уже пробовали применять, но отставание от NLP серьезное, и подходы ещё не устоялись. Можно многое сделать, просто перенимая лучшие практики. Plata мне обозначила, что готова вкладываться и деньгами, и людьми. Бери ответственности сколько сможешь проглотить. Улучшение метрики риск-скоринговых моделей на один пункт — это буквально плюс десятки миллионов долларов в год, так что ресурсы дадут, если сможешь обосновать и сделать. Кроме того: растущая компания, в которой можно сделать себе имя, понятный горизонт, когда можно будет обкешить свои фантики, адекватные собеседования и хороший оффер. К тому же для меня очень важно иметь возможность спать в помещении и есть еду.
Я соблазнился и вышел на позицию Principal AI Engineer в Plata. Потом внутри приходилось всем объяснять, что я умею не только промпты, и вообще кто такой принципал. Самый простой вариант: это как стафф, но ещё круче, а стафф — это как синьор, но обязанный наносить добро в рамках нескольких команд. То есть как я люблю: нет подчиненных, надо работать руками, но и общаться тоже надо.
Внутри Plata мне просто понравилось. Я встретил очень сильную команду. Увидел самую крутую систему валидации моделей, что я когда-либо встречал. Культура ебашинга много работать есть, но она не показалась мне абсурдной или высосанной из пальца (косо смотрим в сторону печально известных R-компаний и P-компаний). Скажем так: на меня никто не токсил, мне никто не звонил в пять утра, по выходным работать не заставлял. Просто двигаться надо было быстро и включаться полностью, иначе просто отстаешь от коллег.
Также я не увидел культуры подсиживать коллег ради плюсика на ревью (косо смотрим на Я-компанию, да и любой бигтех). Скорее всего, Plata сейчас на очень здоровом этапе, когда надо просто делать работу, и это будет приносить деньги и результаты (в том числе сотруднику). Очень понятно, что делать, поэтому компания не обросла бюрократией, занимающейся обслуживанием самой себя.
За три месяца я сделал две небольшие DL-модельки, зачал проект большой вундервафли и начал искать под неё Research Engineer, высосал свой ML-нетворк в воронку найма Plata и организовал поездку нашей команды с докладами на ODS DataFest Belgrade (Салават, мы ждем записи!).
Кстати, вы можете податься на эту позицию и делать AI/ML R&D, который зарабатывает деньги: AI Research Engineer
Всё шло отлично. Plata — это место, где можно заработать миллионы долларов на обозримом горизонте. Но я заглянул глубоко в себя и задумался, чего я по-настоящему хочу. Что мне по-настоящему нравится? Тогда я понял: я не столько люблю зарабатывать деньги, сколько люблю их тратить. Тогда выбор очевиден: надо делать свой AI-стартап. Об этом в следующем посте.
В последнее время в канале было меньше контента. Всё потому, что я нашел работу.
В апреле-марте свободные деньги у меня совсем иссякали. Идею стартапа автоматизации мобильного QA было решено закопать (об этом в следующем посте). Я начал смотреть по сторонам и общаться с компаниями, и одновременно с этим на меня вышли из команды рисков Plata.
Первой моей реакцией было удивление: где я и где банки? За всю карьеру я выкатил в прод едва ли 2-3 табличных модели. Всё время занимался компьютерным зрением, DL, данными и инженерией. Риски мне представлялись так: фитишь деревья решений, чтобы объяснить что-то регуляторам.
Однако мои опасения сходу развеяли. Оказалось, что риски в Plata — это не только таблички с бустингами, и вообще не про ублажение регуляторов. В Plata переформулировали задачу рисков из "отсеять плохих" в "максимизировать прибыль при заданных ограничениях". При такой постановке риски — это не отдел по блокированию инициатив и объяснению предсказаний, а движок зарабатывания денег. В таком случае и задачи моделирования становятся шире. Поэтому ребята искали, как усилить свою экспертизу в DL: целенаправленно нанимали и нанимают людей без банковского и финтех опыта.
Мои глаза загорелись. Трансформеры в банках уже пробовали применять, но отставание от NLP серьезное, и подходы ещё не устоялись. Можно многое сделать, просто перенимая лучшие практики. Plata мне обозначила, что готова вкладываться и деньгами, и людьми. Бери ответственности сколько сможешь проглотить. Улучшение метрики риск-скоринговых моделей на один пункт — это буквально плюс десятки миллионов долларов в год, так что ресурсы дадут, если сможешь обосновать и сделать. Кроме того: растущая компания, в которой можно сделать себе имя, понятный горизонт, когда можно будет обкешить свои фантики, адекватные собеседования и хороший оффер. К тому же для меня очень важно иметь возможность спать в помещении и есть еду.
Я соблазнился и вышел на позицию Principal AI Engineer в Plata. Потом внутри приходилось всем объяснять, что я умею не только промпты, и вообще кто такой принципал. Самый простой вариант: это как стафф, но ещё круче, а стафф — это как синьор, но обязанный наносить добро в рамках нескольких команд. То есть как я люблю: нет подчиненных, надо работать руками, но и общаться тоже надо.
Внутри Plata мне просто понравилось. Я встретил очень сильную команду. Увидел самую крутую систему валидации моделей, что я когда-либо встречал. Культура ебашинга много работать есть, но она не показалась мне абсурдной или высосанной из пальца (косо смотрим в сторону печально известных R-компаний и P-компаний). Скажем так: на меня никто не токсил, мне никто не звонил в пять утра, по выходным работать не заставлял. Просто двигаться надо было быстро и включаться полностью, иначе просто отстаешь от коллег.
Также я не увидел культуры подсиживать коллег ради плюсика на ревью (косо смотрим на Я-компанию, да и любой бигтех). Скорее всего, Plata сейчас на очень здоровом этапе, когда надо просто делать работу, и это будет приносить деньги и результаты (в том числе сотруднику). Очень понятно, что делать, поэтому компания не обросла бюрократией, занимающейся обслуживанием самой себя.
За три месяца я сделал две небольшие DL-модельки, зачал проект большой вундервафли и начал искать под неё Research Engineer, высосал свой ML-нетворк в воронку найма Plata и организовал поездку нашей команды с докладами на ODS DataFest Belgrade (Салават, мы ждем записи!).
Кстати, вы можете податься на эту позицию и делать AI/ML R&D, который зарабатывает деньги: AI Research Engineer
Всё шло отлично. Plata — это место, где можно заработать миллионы долларов на обозримом горизонте. Но я заглянул глубоко в себя и задумался, чего я по-настоящему хочу. Что мне по-настоящему нравится? Тогда я понял: я не столько люблю зарабатывать деньги, сколько люблю их тратить. Тогда выбор очевиден: надо делать свой AI-стартап. Об этом в следующем посте.
❤125
Новый пост готовится, а пока
#дайджест
Дайджест AI/ML за неделю 29 июня – 5 июля 2026
Что происходило в мире в перерывах между пятичасовыми сессиями с Fable
Anthropic: Claude Sonnet 5
Перформанс не драматично хуже Opus 4.8 при цене $2/$10 до 31 августа, дальше $3/$15 (Opus — $5/$25). Агентный кодинг 63.2 против 69.2 у Opus 4.8 и 58.1 у Sonnet 4.6, на knowledge work Опуса даже слегка обходит. В Claude Code теперь дефолт с нативным 1M контекстом. Идиллию портят только то что чтобы добиться качества Opus 4.8 нужно потратить настолько больше токенов, что выйдет дороже.
Блогпост, System Card
Alibaba: Qwen-AgentWorld
Все тренируют агентов действовать в окружении - Qwen натренировали модель быть окружением. World model предсказывает, что вернёт среда на действие агента: терминал, поиск, MCP, SWE, Web, OS, Android — всё в одной модели, обученной на 10M+ реальных траекторий. Профит: симулятор для агентного RL (включая полностью выдуманные миры, где агент не может читерить parametric-знаниями) и warm-up, улучшающий агентов даже без агентного файнтюна. В опенсорсе 35B-A3B (Apache 2.0), флагман 397B-A17B на их собственном бенчмарке обходит GPT-5.4 (58.71 vs 58.25) - бенчмарк, правда, их же. Блогпост, GitHub
Fal.ai: LoRA для TRELLIS.2
Fal завезли LoRA-тюнинг для 3D-генерации: TRELLIS.2 теперь можно дообучить под свой стиль или тип объектов и гонять инференс с кастомной лорой у них же. Если делаете ассеты пачками под один арт-стиль - это ваш день. Тренер, Инференс
Anthropic: Claude Science
Claude Code для биотеха. Попытка, сделать харнесс, который упорядочит зоопарк из PubMed, Jupyter, R и десятка биобаз со своими схемами. Внутри координирующий агент со специализированным набором скиллов. Блогпост
Comfy: официальный MCP
Агент на естественном языке ищет модели и темплейты, собирает и запускает воркфлоу, генерирует картинки/видео/аудио/3D. Воркфлоу шарятся по URL и воспроизводимы. Блогпост, Доки
Google: Nano Banana 2 Lite
Самая быстрая и дешёвая модель семейства: <4 сек на генерацию (было ~20), $0.034 за картинку. Заодно до API доехала Gemini Omni Flash - генерация и разговорное редактирование видео до 10 сек за $0.10/сек.
Блогпост, Nano Banana 2 Lite
Proton: Lumo 2.0
Приватный ассистент от швейцарской компании пересобрали: thinking-режим, мультимодальность, веб-поиск, память - всё под zero-access шифрованием. До фронтира очень далеко, но на фоне июньских приключений Anthropic с правительством США питч Европейского суверенного™ ИИ продаёт себя сам. Блогпост
Base44: Base1
Vibe-coding платформа от Wix первой в классе съехала со съёмного жилья: своя модель Base1 вместо API. RL-файнтюн открытой модели на десятках миллионов взаимодействий с платформы, мотивация - счета за Opus при $150M ARR. Ждём, последуют ли Lovable и ко. TechCrunch
Princeton: CEO-Bench
агент получает $1M и рулит симулированным SaaS-стартапом 500 дней. В плюсе финишировали только Fable 5 ($47.15M), Opus 4.8 и GPT-5.5; rule-based скрипт без LLM заработал $15.76M и обошёл остальных.
Статья, GitHub
NVIDIA ввела revenue share для AI-облаков:
кредитная поддержка и выкуп простаивающих GPU в обмен на процент с облачной выручки. Лопаты на лихорадке плюс доля с прииска. Блогпост
cardiag - прикольный опенсорс недели:
Модель для диагностики авто по звуку работы. GitHub
Akrites - Linux Foundation
запустили орган координации устранения уязвимостей в опенсорсе.
Котелок агентного ИИ находит уязвимости слишком быстро. Мейнтейнеры тонут в дублях репортов, а каждый сидящий на непатченной дыре повышает шанс утечки. Akrites - точка координации находок для практически всего американского бигтеха. Кстати акриты это стражи границ Византии, красиво.
The New Stack
#дайджест
Дайджест AI/ML за неделю 29 июня – 5 июля 2026
Что происходило в мире в перерывах между пятичасовыми сессиями с Fable
Anthropic: Claude Sonnet 5
Перформанс не драматично хуже Opus 4.8 при цене $2/$10 до 31 августа, дальше $3/$15 (Opus — $5/$25). Агентный кодинг 63.2 против 69.2 у Opus 4.8 и 58.1 у Sonnet 4.6, на knowledge work Опуса даже слегка обходит. В Claude Code теперь дефолт с нативным 1M контекстом. Идиллию портят только то что чтобы добиться качества Opus 4.8 нужно потратить настолько больше токенов, что выйдет дороже.
Блогпост, System Card
Alibaba: Qwen-AgentWorld
Все тренируют агентов действовать в окружении - Qwen натренировали модель быть окружением. World model предсказывает, что вернёт среда на действие агента: терминал, поиск, MCP, SWE, Web, OS, Android — всё в одной модели, обученной на 10M+ реальных траекторий. Профит: симулятор для агентного RL (включая полностью выдуманные миры, где агент не может читерить parametric-знаниями) и warm-up, улучшающий агентов даже без агентного файнтюна. В опенсорсе 35B-A3B (Apache 2.0), флагман 397B-A17B на их собственном бенчмарке обходит GPT-5.4 (58.71 vs 58.25) - бенчмарк, правда, их же. Блогпост, GitHub
Fal.ai: LoRA для TRELLIS.2
Fal завезли LoRA-тюнинг для 3D-генерации: TRELLIS.2 теперь можно дообучить под свой стиль или тип объектов и гонять инференс с кастомной лорой у них же. Если делаете ассеты пачками под один арт-стиль - это ваш день. Тренер, Инференс
Anthropic: Claude Science
Claude Code для биотеха. Попытка, сделать харнесс, который упорядочит зоопарк из PubMed, Jupyter, R и десятка биобаз со своими схемами. Внутри координирующий агент со специализированным набором скиллов. Блогпост
Comfy: официальный MCP
Агент на естественном языке ищет модели и темплейты, собирает и запускает воркфлоу, генерирует картинки/видео/аудио/3D. Воркфлоу шарятся по URL и воспроизводимы. Блогпост, Доки
Google: Nano Banana 2 Lite
Самая быстрая и дешёвая модель семейства: <4 сек на генерацию (было ~20), $0.034 за картинку. Заодно до API доехала Gemini Omni Flash - генерация и разговорное редактирование видео до 10 сек за $0.10/сек.
Блогпост, Nano Banana 2 Lite
Proton: Lumo 2.0
Приватный ассистент от швейцарской компании пересобрали: thinking-режим, мультимодальность, веб-поиск, память - всё под zero-access шифрованием. До фронтира очень далеко, но на фоне июньских приключений Anthropic с правительством США питч Европейского суверенного™ ИИ продаёт себя сам. Блогпост
Base44: Base1
Vibe-coding платформа от Wix первой в классе съехала со съёмного жилья: своя модель Base1 вместо API. RL-файнтюн открытой модели на десятках миллионов взаимодействий с платформы, мотивация - счета за Opus при $150M ARR. Ждём, последуют ли Lovable и ко. TechCrunch
Princeton: CEO-Bench
агент получает $1M и рулит симулированным SaaS-стартапом 500 дней. В плюсе финишировали только Fable 5 ($47.15M), Opus 4.8 и GPT-5.5; rule-based скрипт без LLM заработал $15.76M и обошёл остальных.
Статья, GitHub
NVIDIA ввела revenue share для AI-облаков:
кредитная поддержка и выкуп простаивающих GPU в обмен на процент с облачной выручки. Лопаты на лихорадке плюс доля с прииска. Блогпост
cardiag - прикольный опенсорс недели:
Модель для диагностики авто по звуку работы. GitHub
Akrites - Linux Foundation
запустили орган координации устранения уязвимостей в опенсорсе.
Котелок агентного ИИ находит уязвимости слишком быстро. Мейнтейнеры тонут в дублях репортов, а каждый сидящий на непатченной дыре повышает шанс утечки. Akrites - точка координации находок для практически всего американского бигтеха. Кстати акриты это стражи границ Византии, красиво.
The New Stack
❤10👍5🔥2
Ухаживания
Раньше: оплатил девушке маникюр
Сейчас: оплатил девушке Codex Pro
Раньше: оплатил девушке маникюр
Сейчас: оплатил девушке Codex Pro
😢53
Forwarded from GigaDev — разработка GigaChat
Сегодня мы выкладываем в open source GigaChat 3.5 Ultra — новую 432B-модель под MIT-лицензией. Это первый в open source гибрид GatedDeltaNet и MLA, доведённый до сотен миллиардов параметров, — с собственным рецептом обучения, который мы собирали больше чем в 1500 экспериментах. Модель выросла в коде, математике, агентных сценариях и на аренах — и при этом стала на 40% меньше, чем GigaChat 3.1 Ultra.
Что внутри:
Результаты:
Весь стек — данные (своя LLM-фильтрация Common Crawl, 600+ языков программирования в коде), архитектура, рецепт обучения, инфраструктура — сделан нами end-to-end.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤78
Я на RAISE summit, ищу инвесторов, клиентов и партнеров.
И это буквально мем про лопаты. Каждый второй стенд это провайдер компьюта. Компьют компьют компьют дата-центры гпухи
Не пузырь, четко и ясно
И это буквально мем про лопаты. Каждый второй стенд это провайдер компьюта. Компьют компьют компьют дата-центры гпухи
Не пузырь, четко и ясно
TIL теперь существует профессия брокера компьюта. Человек, который ходит по клаудам и подбирает за тебя кластеры
Риелторы для гпу!
Риелторы для гпу!
🔥40
На конференции по AI вырубило свет
Upd: в туалете нельзя помыть руки потому что диспенсеры воды и мыла электрические
Upd: в туалете нельзя помыть руки потому что диспенсеры воды и мыла электрические
Forwarded from КПД
7x size reduction for Gemma4 Edge models
📝 Блогпост
Команда из Stage.AI выпустила занятный блогпост про сжатие Gemma-4 в 6,4 раза с умеренной просадкой качества.
Работа примечательна тем, что комбинирует многие классические и свежие практики, чтобы выдать наилучший trade-off между размером модели и качеством.
📝 Блогпост
Команда из Stage.AI выпустила занятный блогпост про сжатие Gemma-4 в 6,4 раза с умеренной просадкой качества.
Работа примечательна тем, что комбинирует многие классические и свежие практики, чтобы выдать наилучший trade-off между размером модели и качеством.
👍14
Forwarded from ChillHouse (Alexey Moiseenkov)
Ну что ж, вот и наш первый релиз на архив.
Это спекулятивный декодинг. SOTA(ну на qwen3.6 точно). Бьем все, что есть известного в паблике (ну dflash). Супер важная тема для быстрого инференса на устройстве, особенно когда понимаешь задачу.
GitHub
HF
Поддержка в нашем инференс движке скоро доедет
we achieve a 4.37-fold speedup over autoregressive decoding, and outperform a highly optimized DFlash baseline by 24.7%
Это спекулятивный декодинг. SOTA(ну на qwen3.6 точно). Бьем все, что есть известного в паблике (ну dflash). Супер важная тема для быстрого инференса на устройстве, особенно когда понимаешь задачу.
GitHub
HF
Поддержка в нашем инференс движке скоро доедет
🔥21👍5❤3
Мое тело это машина которая перерабатывает кофе в показы демо и "прикольно, а что помешает Антропику это сделать?"
🔥66