Forwarded from Data Secrets
Нашли тут для вас готовый ноутбук для файнтюна gpt-oss
Внутри все end-to-end, от скачивания модели и подготовки данных до обучения и инференса.
Еще и мощно оптимизировано, кстати. Моделька на 20В вмещается в 14GB видеопамяти. То есть теоретически запустится даже на бесплатных ресурсах колаба.
Ноутбук для 20В (его же можно использовать для 120В)
А вот тут лежат все текстовые пояснения к коду и «теория»:про то, как работает формат Harmony и почему он необходим, например. В общем все, чтобы запускать код не в слепую (хотя так тоже можно), а с достаточно глубоким пониманием.
Занятие на выходные что надо
Внутри все end-to-end, от скачивания модели и подготовки данных до обучения и инференса.
Еще и мощно оптимизировано, кстати. Моделька на 20В вмещается в 14GB видеопамяти. То есть теоретически запустится даже на бесплатных ресурсах колаба.
Ноутбук для 20В (его же можно использовать для 120В)
А вот тут лежат все текстовые пояснения к коду и «теория»:про то, как работает формат Harmony и почему он необходим, например. В общем все, чтобы запускать код не в слепую (хотя так тоже можно), а с достаточно глубоким пониманием.
Занятие на выходные что надо
Для любителей Claude code - как добавить выдачу информации об использованных токенах. Честно скажу, это и обычному Клоду не помешало бы. Крайне раздражает, что диалог заканчивается внезапно и ты не можешь поручить модели сделать саммари контекста для нового диалога.
Добавьте в ~/.claude/settings.json:
{
"statusLine": {
"type": "command",
"command": "bun x ccusage statusline"
}
}
Добавьте в ~/.claude/settings.json:
{
"statusLine": {
"type": "command",
"command": "bun x ccusage statusline"
}
}
Про эту модельку в интернетах мало информации, но вообще любопытно посмотреть. По части же gpt-oss все пробуют, но GLM и Qwen, похоже, превзойти не удалось
PS Почитал на ollama - это файнтьюненный Qwen 2.5 3B, выпущенный 7 месяцев назад. По меркам ИИ - вечность. Не стоит тратить время
PS Почитал на ollama - это файнтьюненный Qwen 2.5 3B, выпущенный 7 месяцев назад. По меркам ИИ - вечность. Не стоит тратить время
Telegram
Machine learning Interview
🧠 SmallThinker — новая серия LLM, нативно обученная для локального запуска
SmallThinker — это семейство языковых моделей, созданное с нуля для запуска на обычных устройствах:
📉 низкая память, 🐌 медленное хранилище, ❌ без GPU — и всё это без потери качества.…
SmallThinker — это семейство языковых моделей, созданное с нуля для запуска на обычных устройствах:
📉 низкая память, 🐌 медленное хранилище, ❌ без GPU — и всё это без потери качества.…
Нашел приложение для запуска локальных моделек… с iPhone! Завезли Qwen 3 с 1,7b параметров и 4-битной квантизацией, модельки LFM от LiquidAI, также есть phi-4, llama-3.2 и даже дистиллированный DeepSeek-R1. Баловство, но прикольно же…
Я так понимаю, это способ с телефона и к моделям на своем сервере подключаться
PS Qwen 3 1.7b у меня не заработал - телефон старенький, а LFM работает примерно так как на фото. Побаловались и хватит
Я так понимаю, это способ с телефона и к моделям на своем сервере подключаться
PS Qwen 3 1.7b у меня не заработал - телефон старенький, а LFM работает примерно так как на фото. Побаловались и хватит
Если вам потребуется работать с моделью по API - есть несколько ограниченно бесплатных вариантов. Во-первых, google дает 100 бесплатных запросов в день к gemini 2.5 pro (после этого на остальные варианты, можно, в общем и не смотреть), во-вторых, бесплатные запросы можно получить через GitHub (150 к маленьким моделькам, и 50 к большим - причем есть и gpt-5, и deepseek, но нет claude, да и к ризонингу доступ не дается, зато есть отдельные 150 запросов на эмбеддинг).
Это может пригодиться, если вы, например, работаете с такими программами как Repo prompt, о которой я писал выше. Штука действительно интересная. Она хранит разные промпты, анализирует проект, и дает сухую выжимку, которую надо передавать в контекст модели - не только для экономии токенов, но и для того, чтобы модель не растекалась по древу и не делала лишнего (а эта проблема у нейронок определенно есть). Кроме того, она позволяет править код по ответам нейронки. В моем случае я планирую так работать с Gemini 2.5 pro - это моя любимая модель для программирования, и да, отказался от курсора, работаю с ней через браузер, и автоматизации рутины по копированию кода туда-сюда очень хотелось бы. Кстати, Карпаты у себя тоже об это пишет ))
Это может пригодиться, если вы, например, работаете с такими программами как Repo prompt, о которой я писал выше. Штука действительно интересная. Она хранит разные промпты, анализирует проект, и дает сухую выжимку, которую надо передавать в контекст модели - не только для экономии токенов, но и для того, чтобы модель не растекалась по древу и не делала лишнего (а эта проблема у нейронок определенно есть). Кроме того, она позволяет править код по ответам нейронки. В моем случае я планирую так работать с Gemini 2.5 pro - это моя любимая модель для программирования, и да, отказался от курсора, работаю с ней через браузер, и автоматизации рутины по копированию кода туда-сюда очень хотелось бы. Кстати, Карпаты у себя тоже об это пишет ))
Google AI for Developers
Rate limits | Gemini API | Google AI for Developers
Google выкатил из бета-версии своего агента Жюля. Его можно найти по ссылке http://jules.google
Бесплатно доступно 15 обращений в день. Думаю, что у Клода появился серьезный конкурент. Подробности можно посмотреть, например, в этом видосике
Кстати, еще и на гитхабе к нему набор промптов можно посмотреть
Бесплатно доступно 15 обращений в день. Думаю, что у Клода появился серьезный конкурент. Подробности можно посмотреть, например, в этом видосике
Кстати, еще и на гитхабе к нему набор промптов можно посмотреть
jules.google
Jules - An Autonomous Coding Agent
Jules is an Autonomous agent that gets out of your way. It lets you focus on the coding you want to do, meanwhile picking up all the other random tasks that you rather not do.
От новостей уже начинаешь уставать, но тут на прошлой неделе еще одного агента подогнали - найти можно по адресу http://www.lindy.ai
Плохая новость - бесплатный он только в течение недели..
Плохая новость - бесплатный он только в течение недели..
www.lindy.ai
Lindy – The AI Teammate That Lets You Do More
Lindy is the AI employee that connects to all your tools, knows everything about your company, and does real work for the whole team.
Иногда пользовался Grok, чтобы узнать альтернативное мнение - моделька неплохая, но по ощущениям Grok 3 все же проигрывал основным конкурентам. Посмотрим, насколько Grok 4 действительно соответствует бенчмаркам, в которых он лидирует - возможности появились
Telegram
Machinelearning
✔️ Grok 4 доступен бесплатно!
Бесплатным пользователям доступно:
🟢Grok 3 - 15 запроса каждые 2 часа
🟢Grok 4 - 5 запросов каждые 12 часов
Бесплатный доступ, вероятно, является ответом на запуск ChatGPT5, хотя последний в настоящее время имеет более высокие…
Бесплатным пользователям доступно:
🟢Grok 3 - 15 запроса каждые 2 часа
🟢Grok 4 - 5 запросов каждые 12 часов
Бесплатный доступ, вероятно, является ответом на запуск ChatGPT5, хотя последний в настоящее время имеет более высокие…
Роскомнадзор в последнее время активизировался с баном легко вычисляемых vpn, работающих через нестандартные порты. Опять будут пляски с бубном.
Ну и whapsapp сегодня не только же у меня нормально позвонить не дает? Видимо, испытания проводятся. А может на постоянку уже решили прижать
Говорят, что скоро выход Gemini 3, и по бенчмаркам она будет рвать gpt-5 и grok 4. Вспоминая прошлые релизы Google, а это можно верить. Интересно, насколько она будет бесплатная..
Несмотря на море негатива с запуском gpt-5, про модель говорят, что она чудо как хорошо а в кодинге. Мало ошибок. При этом в работе с моделью есть один нюанс - она понимает то, что вы написали буквально, т.е. в промптах нужно быть максимально точным и конкретным, без двусмысленностей и додумываний.
Есть мнение, что комбинация Claude Opus 4.1 как оркестратора и GPT-5 как программиста дает максимальный результат
Кто-то говорит, что лучше наоборот. В любом случае, я достаточно часто по одному и тому же вопросу провожу обсуждение с несколькими моделями - и это лучше, чем все яйца положить в одну корзину
Есть мнение, что комбинация Claude Opus 4.1 как оркестратора и GPT-5 как программиста дает максимальный результат
Кто-то говорит, что лучше наоборот. В любом случае, я достаточно часто по одному и тому же вопросу провожу обсуждение с несколькими моделями - и это лучше, чем все яйца положить в одну корзину
Есть новости и от Антропика - теперь Claude может искать информацию в предыдущих диалогах. Казалось бы не так важно, но есть один кейс, когда это критично. Когда весь контекст для диалога выбран, он прекращается внезапно, без возможности сделать саммари для нового диалога. Вот этой проблемы теперь, надеюсь (не проверял еще) не существует - в новом диалоге можно попросить сделать выжимку из прошлого. Очевидная фича, даже непонятно, что так долго ее не выпускали, в любом случае, лучше поздно, чем никогда.
А в целом, учитывая, что большой контекст и дорого стоит, и модель на нем хуже работает, все должно прийти к тому, что контекст должен формироваться отдельной маленькой моделью чуть ли не при каждом запросе - это будет экономить множество вычислений.
В этом плане обратите внимание, что есть не только RAG, но и такая тема как CAG - управление информацией, которая сидит в кэше модели (кстати, эти токены для модели в разы дешевле)
А в целом, учитывая, что большой контекст и дорого стоит, и модель на нем хуже работает, все должно прийти к тому, что контекст должен формироваться отдельной маленькой моделью чуть ли не при каждом запросе - это будет экономить множество вычислений.
В этом плане обратите внимание, что есть не только RAG, но и такая тема как CAG - управление информацией, которая сидит в кэше модели (кстати, эти токены для модели в разы дешевле)
Google выпустила открытую библиотеку для извлечения с помощью LLM структурированной информации из неструктурированного текста
GitHub
GitHub - google/langextract: A Python library for extracting structured information from unstructured text using LLMs with precise…
A Python library for extracting structured information from unstructured text using LLMs with precise source grounding and interactive visualization. - google/langextract
❤🔥1
Forwarded from Vibe Coding Community
Бесплатная альтернатива Cursor - https://www.trae.ai/
Без ограничений по токенам. С Claude 3.7. Пользуйтесь пока не закрыли.
Без ограничений по токенам. С Claude 3.7. Пользуйтесь пока не закрыли.
www.trae.ai
TRAE - Collaborate with Intelligence
TraeCode integrates seamlessly into your workflow, collaborating with you to maximize performance and efficiency.
Открытые модельки got-oss раскатали у себя много кто, и, самое интересное, точность этой модели у разных провайдеров разная - об этом можно посмотреть по ссылке. Впрочем, статистически разные результаты будут возникать и при абсолютно одинаковых моделях, здесь надо внимательно смотреть на доверительные интервалы. В любом случае, обвязка, системные промпты - важны. Надо настраивать свои модели под себя
Forwarded from CodeCamp
Внезапная годнота для VSCode — Microsoft выкатили полноценную IDE для PostgreSQL прямо внутри редактора кода.
При чём это не просто плагин (хотя это плагин), а мощнейшая станция управления базой данных с кучей инструментов.
— Полная визуализация схемы — таблицы, связи, поля. Всё прямо в редакторе;
— Подсветка синтаксиса и автокомплит;
— Под капотом Copilot, он сейчас работает на Claude 4 Sonnet;
— История запросов и быстрый доступ к часто используемым шаблонам.
Всё работает через агента @pgsql, который реально помогает работать с запросами, как будто у вас на проекте появился свой DBA.
Уже в маркетплейсе
При чём это не просто плагин (хотя это плагин), а мощнейшая станция управления базой данных с кучей инструментов.
— Полная визуализация схемы — таблицы, связи, поля. Всё прямо в редакторе;
— Подсветка синтаксиса и автокомплит;
— Под капотом Copilot, он сейчас работает на Claude 4 Sonnet;
— История запросов и быстрый доступ к часто используемым шаблонам.
Всё работает через агента @pgsql, который реально помогает работать с запросами, как будто у вас на проекте появился свой DBA.
Уже в маркетплейсе
Вроде бы начинают раздавать Claude с контекстом в миллион токенов - давно пора. А вообще, память для моделей и большой контекст, похоже, - это звенья одной цепи, которые называются "управление памятью". Готов биться о заклад, что этот миллион токенов в контексте на поверку окажется, так скажем, "гибридным", а не прямолинейным. Антропик умеет считать баблос
Telegram
эйай ньюз
Контекст Claude 4 Sonnet расширили до миллиона токенов
Апдейт запустили в бете для клиентов Tier 4 — это те кто купили API кредитов на $400+. Про планы на доступность расширенного контекста в подписке ничего не говорят. Но их тут никто не подгоняет — главный…
Апдейт запустили в бете для клиентов Tier 4 — это те кто купили API кредитов на $400+. Про планы на доступность расширенного контекста в подписке ничего не говорят. Но их тут никто не подгоняет — главный…
После того, как Mistral спалили на то, что те выдавали за свою модель дистилированный DeepSeek, даже уж и не знаю как относиться к новой модельке. В свое время я им закинул на апи $5, теперь не знаю что с этим делать - правда, говорят что есть у них SOTA модель в части распознавания сканов, но после выхода библиотеки google по извлечению информации и в этом может быть мало смысла
Telegram
Machine learning Interview
🚀 Вышла Mistral Medium 3.1
- Повышена общая производительность
- Улучшен тон общения
- Обновлена и улучшена работа в вебе
Попробовать можно в Le Chat (стоит как модель по умолчанию)
или через API: mistral-medium-2508
- Повышена общая производительность
- Улучшен тон общения
- Обновлена и улучшена работа в вебе
Попробовать можно в Le Chat (стоит как модель по умолчанию)
или через API: mistral-medium-2508