Берем open-source LLM (вроде Qwen или DeepSeek) и дообучаем вытаскивать JSON из текста по схеме. Автор разобрал весь пайплайн: задача, метрики (Levenshtein + валидность JSON), датасет scrapegraphai/scrapegraphai-100k (1k примеров), тест на paraloq/json_data_extraction. И отдельно замерили MMLU. Если вам нужно заставить маленькую модель стабильно выдавать структурированный ответ — это годный референс.
Источник
P.S. Нравится ли вам такой формат на канале?
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Как дообучить LLM. Рассказываю шаг за шагом
Всем привет, меня зовут Максимов Максим. Я Team Lead в R&D-лаборатории компании red_mad_robot и автор Telegram‑канала Максим Максимов // IT, AI . Сегодня мы погрузимся в тему дообучения...
1❤23🔥10 4
Экономный ИИ. 12 способов снизить расходы (токенов/на токены)
Сжечь меньше токенов — 12 способов от того, кто 3 года экономит на ИИ. Главное: не пихать всё в один контекст, юзать китайские модели (они в 10 раз дешевле), писать спеки на английском и выносить ревью в отдельные сессии. Самый жирный совет — подписки вместо API, если работаешь активно. Правильный workflow экономит x5–x7, и это не про жадность, а про архитектуру.
Хоть у меня такой проблемы именно на разработке нету, но почитать было интересно. Появилось пару вдохновляющих идей на оптимизацию в моем SaaS.
Источник
Сжечь меньше токенов — 12 способов от того, кто 3 года экономит на ИИ. Главное: не пихать всё в один контекст, юзать китайские модели (они в 10 раз дешевле), писать спеки на английском и выносить ревью в отдельные сессии. Самый жирный совет — подписки вместо API, если работаешь активно. Правильный workflow экономит x5–x7, и это не про жадность, а про архитектуру.
Хоть у меня такой проблемы именно на разработке нету, но почитать было интересно. Появилось пару вдохновляющих идей на оптимизацию в моем SaaS.
Источник
Хабр
Экономный ИИ. 12 способов снизить расходы (токенов/на токены)
Наверное, всем уже очевидно, что ИИ крайне полезен, мир поменялся, нас всех заменят роботы и вообще ИИ уже нас во всём превзошёл :) Всё так или почти так, "но есть одно но" как поётся в одной...
1👍8❤4👏2🗿1
Рофл про «бан Python» вышел из-под контроля и долетел до меня 😆
Cегодня у меня все деплои полегли разом.
Решение простое — полные зеркала PyPI держите, может поможет кому (подставил в мой ci):
Cегодня у меня все деплои полегли разом.
pip install ломится в pypi.org, а в ответ — тишина и таймаут.Решение простое — полные зеркала PyPI держите, может поможет кому (подставил в мой ci):
variables:
PIP_INDEX_URL: "https://mirrors.aliyun.com/pypi/simple/"
PIP_EXTRA_INDEX_URL: "https://pypi.tuna.tsinghua.edu.cn/simple/" # запасной
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥6 3❤2👍1😁1
Сегодня в 20:00 в нашем закрытом сообществе будет крутейшая встреча с Евгением Титковым @frontend_engineer_blog
Поговорим про Harness (это полная программная инфраструктура, обёртывающая LLM). Про то сколько ещё продлится счастье с подписками и, что не всё так однозначно. И гость действительно знает о чём говорит, ведь он работает в Facebook, в команде, которая делает все эти штуки.
В честь данного события скидка на 50% в сообщество, доступ только для уровня "Хозяин".
Осталось всего два места. Открывать без впн для оплаты РУ картой.
Поговорим про Harness (это полная программная инфраструктура, обёртывающая LLM). Про то сколько ещё продлится счастье с подписками и, что не всё так однозначно. И гость действительно знает о чём говорит, ведь он работает в Facebook, в команде, которая делает все эти штуки.
В честь данного события скидка на 50% в сообщество, доступ только для уровня "Хозяин".
Осталось всего два места. Открывать без впн для оплаты РУ картой.
❤8🤣5🔥1 1
Please open Telegram to view this post
VIEW IN TELEGRAM
Fable, ну оооочень сладкий, мне прям очень зашла новая модель.
Но не просто так они же фейканули новым опусом, который был не таким крутым по инкрименту относительно прошлого. Вообщем маркетологи у антропиков сильные ребята.
Сейчас все мы половим эйфорию и потом выключат рубильник/пересадят на подписку за 200.
Если бы можно было бы сделать ставку, что через год адекватные модели по подписке будут стоить 400$+ в месяц, я бы её не задумываясь сделал😨
Но не просто так они же фейканули новым опусом, который был не таким крутым по инкрименту относительно прошлого. Вообщем маркетологи у антропиков сильные ребята.
Сейчас все мы половим эйфорию и потом выключат рубильник/пересадят на подписку за 200.
Если бы можно было бы сделать ставку, что через год адекватные модели по подписке будут стоить 400$+ в месяц, я бы её не задумываясь сделал
Please open Telegram to view this post
VIEW IN TELEGRAM
Openclaw теперь легаси, Hermes набирает обороты. Уже 200 к звездочек. Я всё ещё не понимаю зачем это кому-то нужно, напишите в комменты юзкейсы 😭
https://github.com/NousResearch/hermes-agent
https://github.com/NousResearch/hermes-agent
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - NousResearch/hermes-agent: The agent that grows with you
The agent that grows with you. Contribute to NousResearch/hermes-agent development by creating an account on GitHub.
Fable закрыли для прогрева гоев. Какие же гении в антропиках, шок просто! Моё почтение 🎩
https://www.anthropic.com/news/fable-mythos-access
https://www.anthropic.com/news/fable-mythos-access
Please open Telegram to view this post
VIEW IN TELEGRAM
Anthropic
Statement on the US government directive to suspend access to Fable 5 and Mythos 5
The US government has issued an export control directive to suspend all access to Fable 5 and Mythos 5 by any foreign national, whether inside or outside the United States.
1😁12💯4🤣3
Please open Telegram to view this post
VIEW IN TELEGRAM
4🤣21❤5👍1😁1
📰 Контекстное окно: почему нейросеть забывает части разговора
Нейросеть забывает диалог не потому что тупая, а из-за архитектуры Transformer. Без контекстного окна — никуда, но оно не резиновое: каждое новое сообщение доупаковывается в промпт, и модель перечитывает всё с нуля. Плюс на русском тексте токенов уходит в 1.5–2 раза больше, чем на английском — та же история упирается в лимит быстрее. Механизм self-attention пытается удержать связи, но с ростом длины диалога это становится вычислительным адом. Короче: не ругай нейронку, что забыла начало — она просто не может иначе.
Источник
Нейросеть забывает диалог не потому что тупая, а из-за архитектуры Transformer. Без контекстного окна — никуда, но оно не резиновое: каждое новое сообщение доупаковывается в промпт, и модель перечитывает всё с нуля. Плюс на русском тексте токенов уходит в 1.5–2 раза больше, чем на английском — та же история упирается в лимит быстрее. Механизм self-attention пытается удержать связи, но с ростом длины диалога это становится вычислительным адом. Короче: не ругай нейронку, что забыла начало — она просто не может иначе.
Источник
Хабр
Контекстное окно: почему нейросеть забывает части разговора
Представьте, что вы разговариваете с невероятно умным и эрудированным собеседником. Только очень странным. Несмотря на весь свой интеллект и тысячи фактов, которые он непринужденно рассказывает, он не...
1❤7🔥4👍2 1
Вначале думай, потом делай 🏴☠️
Раньше все идеи продумывались очень тщательно и тщательно планировались. Но и много идей хороших не проходили из-за сложности реализации. Сейчас приходит любая хрень в голову, и Клод говорит, что это отличная тема, гоу пробовать. Но для качественной реализации надо походить с ней пару дней и обкашлять, а то рискуете сделать что-то для одного пользователя (для вас). Вообщем, нужно что-то среднее между обдумыванием и реализацией.
Инструменты для валидации идеи и нужности её обществу уже давно существуют, просто не забываем, что наша цель — не просто выжечь токены за день, но и выжечь их с пользой.
Раньше все идеи продумывались очень тщательно и тщательно планировались. Но и много идей хороших не проходили из-за сложности реализации. Сейчас приходит любая хрень в голову, и Клод говорит, что это отличная тема, гоу пробовать. Но для качественной реализации надо походить с ней пару дней и обкашлять, а то рискуете сделать что-то для одного пользователя (для вас). Вообщем, нужно что-то среднее между обдумыванием и реализацией.
Инструменты для валидации идеи и нужности её обществу уже давно существуют, просто не забываем, что наша цель — не просто выжечь токены за день, но и выжечь их с пользой.
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤14👍4 2💯1
HH выкатил новую фичу — автогенерация письма сопроводительного. Но тут несколько моментов:
1. Работодатель может оплатить функцию палева таких автооткликов и вы выстрелите себе в ногу)
Напомню, что в @roaster_resume_bot уже давно есть генерации сопроводительных писем, а ещё и автоответы рекрутерам. А самое главное, что hh воспринимает отлкик, через этот сервис, как ручной🏴☠️
Уже 320 000 автооткликов было сделано на платформе. WW! А ещё куча других фич, я реально постарался.
P.S. Если хотите сидеть в вебверсии вот держите ссылку https://jobturbo.ru/
1. Работодатель может оплатить функцию палева таких автооткликов и вы выстрелите себе в ногу)
Напомню, что в @roaster_resume_bot уже давно есть генерации сопроводительных писем, а ещё и автоответы рекрутерам. А самое главное, что hh воспринимает отлкик, через этот сервис, как ручной
Уже 320 000 автооткликов было сделано на платформе. WW! А ещё куча других фич, я реально постарался.
P.S. Если хотите сидеть в вебверсии вот держите ссылку https://jobturbo.ru/
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤11👍5 4👏1
Стародубцев x IT-ХОЗЯЕВА
HH выкатил новую фичу — автогенерация письма сопроводительного. Но тут несколько моментов: 1. Работодатель может оплатить функцию палева таких автооткликов и вы выстрелите себе в ногу) Напомню, что в @roaster_resume_bot уже давно есть генерации сопроводительных…
Кстати 160 лямов токенов потребление за 5 дней у моего SaaS'a. Вообще удивительно, конечно насколько быстро растут нагрузки/потребление, решил сейчас видосики снимать с отчетами каждую неделю. Вы бы знали сколько неочивидных проблем я решил за время существования проекта, просто шок 😨
P.S. В личке у меня спросили почему у меня такой дешевый сервис, а у меня нету цели прям жестко заработать с него. Я использую это как опыт, ну и верю, что с хорошим отношением и диалогом с потребителями на кусок хлеба с маслом точно будет хватать.
P.S. В личке у меня спросили почему у меня такой дешевый сервис, а у меня нету цели прям жестко заработать с него. Я использую это как опыт, ну и верю, что с хорошим отношением и диалогом с потребителями на кусок хлеба с маслом точно будет хватать.
Please open Telegram to view this post
VIEW IN TELEGRAM
2❤21👍5🔥3 2👏1
Forwarded from Front Ed x IT-ХОЗЯЕВА
Пройдемся по базе и обсудим, как в Claude Code, Codex и других агентах экономить токены, меньше засорять контекст, какие инструменты использовать, и в каких ситуациях.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5🔥4🗿3🎉1
Как я себя ощущаю на двух подписках codex + claude 😆
Решил таки продолжить сравнение, не хочу быть фанатом одного тулинга. Из необычного gpt, сама проактивно мне предложила улучшение моего mr, после успешной реализации.
Решил таки продолжить сравнение, не хочу быть фанатом одного тулинга. Из необычного gpt, сама проактивно мне предложила улучшение моего mr, после успешной реализации.
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥16 6❤3👍1
Стародубцев x IT-ХОЗЯЕВА
Навайбкодились?
This media is not supported in your browser
VIEW IN TELEGRAM
🤣15🔥3😁3