🔺 Делаем свою Perplexity
Perplexity — это поисковая система, которая обрабатывает выдачу популярными моделями (в Pro версии их можно выбирать, это GPT-4o/o1, Claude и пара других) с удобным интерфейсом и списком источников.
Есть разные режимы, типа поиска видео или режим Writing, когда веб-поиск отключен и можно работать как с обычной языковой моделью.
Компания привлекла полмиллиарда долларов инвестиций в декабре и на днях запустила новый API.
🔸 Называется новый сервис Sonar API, есть две версии — sonar и sonar-pro. Стоит $1/$1 за 1M input/output токенов у базовой модели и $3/$15 у Pro.
🔸 Сами поисковые запросы, которые происходят внутри, тоже стоят денег, $5 за 1000 запросов. Базовая модель делает только 1 такой поиск, Pro может делать несколько.
🔸 В зависимости от расходов есть разные уровни использования (tiers), на них появляются дополнительные фичи, типа фильтров по доменам для поиска.
Так вот, поигрался немного с этим API (можете попробовать через playground), работает достаточно стабильно, находит данные по актуальным событиям и людям.
Ссылки на источники тоже выдает. То есть, чтобы самому сделать подобный сервис, по сути хватит одного такого API (и денег).
В целом так можно сделать и по частям — найти поисковое API типа Bing в Azure или DuckDuckGo, попарсить найденные сайты, подложить в контекст и сходить в следующее API. Не так сложно, но будет больше работы по поддержке, а тут один вызов — и готово.
По-моему, search API у OpenAI и других сервисов пока нет (может, вы где-то видели подобное API?).
Upd. Спасибо за ссылки!
Perplexity — это поисковая система, которая обрабатывает выдачу популярными моделями (в Pro версии их можно выбирать, это GPT-4o/o1, Claude и пара других) с удобным интерфейсом и списком источников.
Есть разные режимы, типа поиска видео или режим Writing, когда веб-поиск отключен и можно работать как с обычной языковой моделью.
Компания привлекла полмиллиарда долларов инвестиций в декабре и на днях запустила новый API.
🔸 Называется новый сервис Sonar API, есть две версии — sonar и sonar-pro. Стоит $1/$1 за 1M input/output токенов у базовой модели и $3/$15 у Pro.
🔸 Сами поисковые запросы, которые происходят внутри, тоже стоят денег, $5 за 1000 запросов. Базовая модель делает только 1 такой поиск, Pro может делать несколько.
🔸 В зависимости от расходов есть разные уровни использования (tiers), на них появляются дополнительные фичи, типа фильтров по доменам для поиска.
Так вот, поигрался немного с этим API (можете попробовать через playground), работает достаточно стабильно, находит данные по актуальным событиям и людям.
Ссылки на источники тоже выдает. То есть, чтобы самому сделать подобный сервис, по сути хватит одного такого API (и денег).
В целом так можно сделать и по частям — найти поисковое API типа Bing в Azure или DuckDuckGo, попарсить найденные сайты, подложить в контекст и сходить в следующее API. Не так сложно, но будет больше работы по поддержке, а тут один вызов — и готово.
По-моему, search API у OpenAI и других сервисов пока нет (может, вы где-то видели подобное API?).
Upd. Спасибо за ссылки!
❤19👍11👀1
The Illustrated DeepSeek-R1
Заметка от Аламмара про устройство DeepSeek-R1
https://newsletter.languagemodels.co/p/the-illustrated-deepseek-r1
Заметка от Аламмара про устройство DeepSeek-R1
https://newsletter.languagemodels.co/p/the-illustrated-deepseek-r1
newsletter.languagemodels.co
The Illustrated DeepSeek-R1
A recipe for reasoning LLMs
🔥16👍7💯2
Forwarded from Сергей Марков: машинное обучение, искусство и шитпостинг
А вот скажите, есть ли среди вас кто-то, кто рубит в low-level-ML? Руками под CUDA писать, оптимизировать потоки данных, кэши, вот это всё? Если да, то черкните мне в личку (@oulenspiegel), возможно у меня для вас будет прямо хорошее предложение
🔥11😁6👍2
Так, очередной подгон от китайских коллег. Пойдемте посмотрим.
https://chat.qwenlm.ai/
Upd. Инференс дорогой, в 3-4 раза дороже gpt-4o.
https://chat.qwenlm.ai/
Upd. Инференс дорогой, в 3-4 раза дороже gpt-4o.
👍5👀4🔥2
Хорошая статья от Антона про обучение R1, test-time scaling, «озарение» и про то как Zero версия убирает узкое горлышко в виде человека из обучения модели рассуждениям.
👍8🤗3
Forwarded from AbstractDL
DeepSeek-R1 для чайников
Ну и наделала же DeepSeek шуму. Мне пришлось целый хабропост написать 😁
TLDR: мало слов про сравнение с ChatGPT и метрики, много слов про технические детали обучения, датасеты, GRPO и якобы эмерджентный «Aha! moment».
Ну и наделала же DeepSeek шуму. Мне пришлось целый хабропост написать 😁
TLDR: мало слов про сравнение с ChatGPT и метрики, много слов про технические детали обучения, датасеты, GRPO и якобы эмерджентный «Aha! moment».
❤20👍13🔥4⚡1
Интересный эфир на youTube, популяризаторы науки Сурдин и Семихатов смотрят и обсуждают фильм Интерстеллар.
https://www.youtube.com/watch?v=miheS43AasA
https://www.youtube.com/watch?v=miheS43AasA
🔥21👍10❤3👀2💅1
#perplexity_clone
Попробовал накидать страничку со стримингом из API Perplexity. Прикольно, из коробки работают поиск и рассуждения.
Жалко, что фильтр по поисковым источникам только на высоком tier'е работает (надо закинуть $500 на счет), а то бы поигрались.
Попробовал накидать страничку со стримингом из API Perplexity. Прикольно, из коробки работают поиск и рассуждения.
Жалко, что фильтр по поисковым источникам только на высоком tier'е работает (надо закинуть $500 на счет), а то бы поигрались.
👍16❤3🔥2
❤16👍6🆒3