Модель превращает документ в структуру:
• выделяет блоки через bounding boxes
• понимает типы элементов: заголовок, таблица, формула, подпись
• показывает confidence score по страницам и словам
• работает на 170 языках
Главная польза не в «распознать текст», а в том, чтобы дальше нормально использовать документы в RAG, enterprise search, редактировании, проверке человеком и агентных пайплайнах.
Mistral заявляет, что OCR 4 обошла конкурентов в слепом сравнении на 600+ реальных документах и набрала 85.20 на OlmOCRBench.
Модель можно запускать self-hosted в одном контейнере, чтобы документы не покидали вашу инфраструктуру.
Цена через API: $4 за 1000 страниц, через Batch API: $2 за 1000 страниц.
https://mistral.ai/news/ocr-4/
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9👍4🔥3
Идёт регистрация на Робозон — хакатон по оптимизации складских процессов от Ozon Tech.
Призовой фонд: 15 000 000 рублей.
Три задачи на выбор, два месяца на решение, один реальный бизнес-процесс, в рамках которого и нужно думать.
Какие решения ждут:
— модель движения товаров в сортировочном центре;
— проект-конструкция автосортера;
— алгоритм классификации и обработки товаров с помощью CV.
Робозон — это возможность поработать с логикой и ограничениями высоконагруженной среды. Проверить свои навыки на процессах индустрии e-com. Обсудить решения с экспертами Ozon Tech.
Призовой фонд: 15 000 000 рублей.
Три задачи на выбор, два месяца на решение, один реальный бизнес-процесс, в рамках которого и нужно думать.
Какие решения ждут:
— модель движения товаров в сортировочном центре;
— проект-конструкция автосортера;
— алгоритм классификации и обработки товаров с помощью CV.
Робозон — это возможность поработать с логикой и ограничениями высоконагруженной среды. Проверить свои навыки на процессах индустрии e-com. Обсудить решения с экспертами Ozon Tech.
❤6🔥3😁2👍1🎉1
Сохрани, если работаешь с парсингом, RAG, LLM-пайплайнами или автоматизацией браузера.
Важно: использовать такие инструменты стоит только там, где у вас есть право собирать данные, с учётом ToS, robots.txt и лимитов сайта.
1. Firecrawl
Превращает сайт в чистый Markdown или JSON, удобный для LLM и RAG.
https://github.com/firecrawl/firecrawl
2. Crawl4AI
Краулер, который делает страницы LLM-ready без лишней настройки.
https://github.com/unclecode/crawl4ai
3. Browser Use
AI-агент, который управляет браузером: клики, формы, навигация, сбор данных через UI.
https://github.com/browser-use/browser-use
4. Crawlee
Production-фреймворк для краулинга: очереди, ретраи, браузерная автоматизация, хранение результатов.
https://github.com/apify/crawlee
5. Scrapy
Классика Python-скрейпинга. Подходит для больших краулеров и стабильных data pipelines.
https://github.com/scrapy/scrapy
6. MarkItDown
Инструмент Microsoft для конвертации PDF, Office, HTML и других форматов в Markdown.
https://github.com/microsoft/markitdown
7. Scrapling
Фреймворк для более устойчивого парсинга страниц, которые часто меняют структуру.
https://github.com/D4Vinci/Scrapling
8. scrcpy
Управление Android-устройством с компьютера. Полезно для тестирования и автоматизации mobile-only сценариев.
https://github.com/Genymobile/scrcpy
9. AutoScraper
Показываете пример нужных данных, а он сам пытается найти похожие элементы на странице.
https://github.com/alirezamika/autoscraper
10. curl-impersonate
Версия curl, которая имитирует сетевой профиль популярных браузеров. Полезно для тестов и совместимости.
https://github.com/lwthiker/curl-impersonate
Современный scraping давно перерос
requests + BeautifulSoup.Теперь это целая инфраструктура: браузерные агенты, Markdown для LLM, очереди, мобильная автоматизация и пайплайны для подготовки данных под AI.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥14❤5👍2🎉2🤩1
В Python есть встроенный кэш, о котором многие забывают.
Если функция часто вызывается с одними и теми же аргументами, не всегда нужно руками писать словарь, Redis или отдельный слой кэширования.
Иногда хватает
Пример:
Первый вызов выполнит функцию.
Повторный вызов с тем же
Полезно для:
• тяжёлых вычислений
• запросов к API
• чтения редко меняющихся данных
• рекурсивных алгоритмов
Главное помнить:
Если функция часто вызывается с одними и теми же аргументами, не всегда нужно руками писать словарь, Redis или отдельный слой кэширования.
Иногда хватает
lru_cache из стандартного модуля functools.Пример:
from functools import lru_cache
@lru_cache(maxsize=128)
def get_user(user_id):
print("Запрос к базе")
return {"id": user_id}
Первый вызов выполнит функцию.
Повторный вызов с тем же
user_id вернёт результат из кэша.
get_user(1) # Запрос к базе
get_user(1) # уже из кэша
maxsize ограничивает размер кэша, а старые значения вытесняются по принципу LRU: least recently used.Полезно для:
• тяжёлых вычислений
• запросов к API
• чтения редко меняющихся данных
• рекурсивных алгоритмов
Главное помнить:
lru_cache хорошо работает, когда результат функции зависит только от её аргументов.🎉9❤4👍4🔥1
Вышел scikit-learn 1.9.
Это не релиз про «новую модную модель», а про то, что библиотека становится удобнее для реальной ML-разработки.
Главное:
• experimental callbacks
Теперь можно вешать callbacks на estimator-ы через set_callbacks() и отслеживать ключевые этапы fit.
Из коробки есть ProgressBar для прогресса и ScoringMonitor для логирования метрик.
• лучшее HTML-представление моделей
В Jupyter estimator-ы теперь показывают больше полезной информации после fit: fitted attributes, типы, значения, output features у трансформеров и пайплайнов.
Для сложных Pipeline, ColumnTransformer и FeatureUnion это реально удобнее, чем вручную копаться в атрибутах.
• новый sparse_interface
Появилась настройка:
Она позволяет управлять тем, возвращает scikit-learn старые SciPy sparse matrix или новые sparse array.
Пока default остаётся spmatrix, но дальше библиотека будет постепенно двигаться к sparray.
• больше поддержки Array API
Часть моделей и метрик теперь лучше работает с Array API-compatible inputs.
• Narwhals как новая лёгкая зависимость
Она нужна, чтобы проще поддерживать разные dataframe-библиотеки, например pandas и polars, особенно в связке с set_output.
Обновление:
https://blog.scikit-learn.org/updates/release-1-9/
Это не релиз про «новую модную модель», а про то, что библиотека становится удобнее для реальной ML-разработки.
Главное:
• experimental callbacks
Теперь можно вешать callbacks на estimator-ы через set_callbacks() и отслеживать ключевые этапы fit.
Из коробки есть ProgressBar для прогресса и ScoringMonitor для логирования метрик.
• лучшее HTML-представление моделей
В Jupyter estimator-ы теперь показывают больше полезной информации после fit: fitted attributes, типы, значения, output features у трансформеров и пайплайнов.
Для сложных Pipeline, ColumnTransformer и FeatureUnion это реально удобнее, чем вручную копаться в атрибутах.
• новый sparse_interface
Появилась настройка:
sklearn.set_config(sparse_interface="sparray")
Она позволяет управлять тем, возвращает scikit-learn старые SciPy sparse matrix или новые sparse array.
Пока default остаётся spmatrix, но дальше библиотека будет постепенно двигаться к sparray.
• больше поддержки Array API
Часть моделей и метрик теперь лучше работает с Array API-compatible inputs.
• Narwhals как новая лёгкая зависимость
Она нужна, чтобы проще поддерживать разные dataframe-библиотеки, например pandas и polars, особенно в связке с set_output.
Обновление:
pip install --upgrade scikit-learn
https://blog.scikit-learn.org/updates/release-1-9/
❤10👍9🔥4🎉2
Автор показал, как сделать лёгкую платформу для хостинга статических сайтов без фреймворков и тяжёлой инфраструктуры. Только стандартная библиотека Python.
Идея простая:
•
http.server отдаёт статические файлы• небольшой Python-код добавляет логику деплоя
• автоматизация обновляет сайт после изменений
• HTTPS можно прикрутить без отдельного большого стека
Главный кайф не в том, чтобы «убить GitHub Pages», а в том, чтобы понять механику под капотом.
Статический хостинг - это не магия. Это файловая раздача, маршруты, деплой, сертификаты и немного аккуратной автоматизации.
Хороший материал для тех, кто хочет лучше понимать web-инфраструктуру, а не просто нажимать кнопку Deploy.
https://blog.klemek.fr/articles/2026-06-14/
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8❤2🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Как запустить своего Джарвиса за 5 минут: локальный AI-ассистент OpenJarvis
Идея простая: вместо очередного облачного чат-бота вы собираете персонального AI-помощника, который работает ближе к вашему устройству, файлам и задачам.
https://github.com/open-jarvis/OpenJarvis
Идея простая: вместо очередного облачного чат-бота вы собираете персонального AI-помощника, который работает ближе к вашему устройству, файлам и задачам.
https://github.com/open-jarvis/OpenJarvis
🔥4👍3❤2😢1🎉1
Forwarded from Machinelearning
Anthropic выкатила Claude Sonnet 5 - мощнейший «агентный» Sonnet в линейке.
Главная идея: модель теперь лучше планирует, пользуется инструментами, браузером, терминалом и может дольше вести сложные задачи без постоянного контроля.
По словам Anthropic, Sonnet 5 приблизился к Opus 4.8 по агентным задачам, но стоит дешевле. Особенно упор сделали на кодинг, tool use, reasoning и работу с многошаговыми процессами.
Модель уже доступна во всех планах Claude, включая Free и Pro, а также в Claude Code и API.
Цена для разработчиков до 31 августа 2026:
• $2 за 1 млн input tokens
• $10 за 1 млн output tokens
Потом стандартная цена:
• $3 за input
• $15 за output
Интересный момент: Anthropic отдельно пишет, что Sonnet 5 безопаснее Sonnet 4.6 в агентных сценариях, лучше отказывается от вредных запросов и устойчивее к prompt injection.
По сути, это попытка сделать «рабочую лошадку» для AI-агентов: не самую дорогую, но достаточно сильную, чтобы закрывать кодинг, автоматизацию, браузерные задачи и долгие пайплайны.
https://www.anthropic.com/news/claude-sonnet-5
Главная идея: модель теперь лучше планирует, пользуется инструментами, браузером, терминалом и может дольше вести сложные задачи без постоянного контроля.
По словам Anthropic, Sonnet 5 приблизился к Opus 4.8 по агентным задачам, но стоит дешевле. Особенно упор сделали на кодинг, tool use, reasoning и работу с многошаговыми процессами.
Модель уже доступна во всех планах Claude, включая Free и Pro, а также в Claude Code и API.
Цена для разработчиков до 31 августа 2026:
• $2 за 1 млн input tokens
• $10 за 1 млн output tokens
Потом стандартная цена:
• $3 за input
• $15 за output
Интересный момент: Anthropic отдельно пишет, что Sonnet 5 безопаснее Sonnet 4.6 в агентных сценариях, лучше отказывается от вредных запросов и устойчивее к prompt injection.
По сути, это попытка сделать «рабочую лошадку» для AI-агентов: не самую дорогую, но достаточно сильную, чтобы закрывать кодинг, автоматизацию, браузерные задачи и долгие пайплайны.
https://www.anthropic.com/news/claude-sonnet-5
❤10👍7🔥4