The Illustrated DeepSeek-R1
Заметка от Аламмара про устройство DeepSeek-R1
https://newsletter.languagemodels.co/p/the-illustrated-deepseek-r1
Заметка от Аламмара про устройство DeepSeek-R1
https://newsletter.languagemodels.co/p/the-illustrated-deepseek-r1
newsletter.languagemodels.co
The Illustrated DeepSeek-R1
A recipe for reasoning LLMs
🔥16👍7💯2
Forwarded from Сергей Марков: машинное обучение, искусство и шитпостинг
А вот скажите, есть ли среди вас кто-то, кто рубит в low-level-ML? Руками под CUDA писать, оптимизировать потоки данных, кэши, вот это всё? Если да, то черкните мне в личку (@oulenspiegel), возможно у меня для вас будет прямо хорошее предложение
🔥11😁6👍2
Так, очередной подгон от китайских коллег. Пойдемте посмотрим.
https://chat.qwenlm.ai/
Upd. Инференс дорогой, в 3-4 раза дороже gpt-4o.
https://chat.qwenlm.ai/
Upd. Инференс дорогой, в 3-4 раза дороже gpt-4o.
👍5👀4🔥2
Хорошая статья от Антона про обучение R1, test-time scaling, «озарение» и про то как Zero версия убирает узкое горлышко в виде человека из обучения модели рассуждениям.
👍8🤗3
Forwarded from AbstractDL
DeepSeek-R1 для чайников
Ну и наделала же DeepSeek шуму. Мне пришлось целый хабропост написать 😁
TLDR: мало слов про сравнение с ChatGPT и метрики, много слов про технические детали обучения, датасеты, GRPO и якобы эмерджентный «Aha! moment».
Ну и наделала же DeepSeek шуму. Мне пришлось целый хабропост написать 😁
TLDR: мало слов про сравнение с ChatGPT и метрики, много слов про технические детали обучения, датасеты, GRPO и якобы эмерджентный «Aha! moment».
❤20👍13🔥4⚡1
Интересный эфир на youTube, популяризаторы науки Сурдин и Семихатов смотрят и обсуждают фильм Интерстеллар.
https://www.youtube.com/watch?v=miheS43AasA
https://www.youtube.com/watch?v=miheS43AasA
🔥21👍10❤3👀2💅1
#perplexity_clone
Попробовал накидать страничку со стримингом из API Perplexity. Прикольно, из коробки работают поиск и рассуждения.
Жалко, что фильтр по поисковым источникам только на высоком tier'е работает (надо закинуть $500 на счет), а то бы поигрались.
Попробовал накидать страничку со стримингом из API Perplexity. Прикольно, из коробки работают поиск и рассуждения.
Жалко, что фильтр по поисковым источникам только на высоком tier'е работает (надо закинуть $500 на счет), а то бы поигрались.
👍16❤3🔥2
❤16👍6🆒3
Forwarded from Lingtrain (Sergei Averkiev)
🔺 Обновление Lingtrain
По просьбам учащихся добавил в lingtrain-aligner и Lingtrain Alignment Studio армянский язык. Спасибо Максиму Степанянцу из ВШЭ за помощь!
🔸 Отдельный язык нужен, чтобы текст корректно делился на предложения (при делении по привычным знакам препинания можно выбрать язык General).
🔸 В армянском пунктуация как раз своя, вместо точек используются двоеточия, а признаки вопросительного предложения могут стоять внутри, причем их может быть несколько в разных словах.
🔸 P.S. На каникулах добавил в библиотеку много нового — расчет эмбеддингов по API, хранение их в БД, новый модуль corrector. Никак руки не дойдут описать все это, но скоро сделаю.
По просьбам учащихся добавил в lingtrain-aligner и Lingtrain Alignment Studio армянский язык. Спасибо Максиму Степанянцу из ВШЭ за помощь!
🔸 Отдельный язык нужен, чтобы текст корректно делился на предложения (при делении по привычным знакам препинания можно выбрать язык General).
🔸 В армянском пунктуация как раз своя, вместо точек используются двоеточия, а признаки вопросительного предложения могут стоять внутри, причем их может быть несколько в разных словах.
🔸 P.S. На каникулах добавил в библиотеку много нового — расчет эмбеддингов по API, хранение их в БД, новый модуль corrector. Никак руки не дойдут описать все это, но скоро сделаю.
🔥28❤9❤🔥2👍2