shapash
Обучить модель машинного обучения — это только первый шаг. Самая болезненная часть начинается, когда нужно объяснить начальству или бизнес-команде, почему модель выдала именно такой прогноз. В случае с «черными ящиками» обычно просто нечего сказать.
Недавно я нашел на GitHub библиотеку Shapash — Python-инструмент, который как раз помогает сделать модель «понятной», превращая сложную алгоритмическую логику в наглядные визуализации.
Библиотека умеет генерировать интерактивную веб-панель, где наглядно показано, какие признаки и как влияют на работу модели. Поддерживается детальный разбор от глобального уровня до отдельных предсказаний. И самое важное — все графики сопровождаются понятными бизнес-лейблами, так что даже люди без техбэкграунда смогут быстро разобраться.
Работает с CatBoost, XGBoost, LightGBM и Sklearn — то есть покрывает основные ML-фреймворки.
Помимо визуализации, библиотека может одним вызовом собрать отдельный HTML-отчет для аудита. Есть даже легковесный предиктор для продакшена, который ставится через pip и сразу готов к использованию.
Если ты регулярно показываешь результаты моделей нетехническим командам или тебе нужна прозрачность для регуляторных проверок, этот проект реально экономит кучу времени на объяснениях.
📁 Language: #Python 14.3%
⭐️ Stars: 3.1k
➡️ Cсылка на GitHub
📱 @git_developer
Обучить модель машинного обучения — это только первый шаг. Самая болезненная часть начинается, когда нужно объяснить начальству или бизнес-команде, почему модель выдала именно такой прогноз. В случае с «черными ящиками» обычно просто нечего сказать.
Недавно я нашел на GitHub библиотеку Shapash — Python-инструмент, который как раз помогает сделать модель «понятной», превращая сложную алгоритмическую логику в наглядные визуализации.
Библиотека умеет генерировать интерактивную веб-панель, где наглядно показано, какие признаки и как влияют на работу модели. Поддерживается детальный разбор от глобального уровня до отдельных предсказаний. И самое важное — все графики сопровождаются понятными бизнес-лейблами, так что даже люди без техбэкграунда смогут быстро разобраться.
Работает с CatBoost, XGBoost, LightGBM и Sklearn — то есть покрывает основные ML-фреймворки.
Помимо визуализации, библиотека может одним вызовом собрать отдельный HTML-отчет для аудита. Есть даже легковесный предиктор для продакшена, который ставится через pip и сразу готов к использованию.
Если ты регулярно показываешь результаты моделей нетехническим командам или тебе нужна прозрачность для регуляторных проверок, этот проект реально экономит кучу времени на объяснениях.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍5
Media is too big
VIEW IN TELEGRAM
OpenContracts
Когда работаешь с юридическими документами и договорами, боль обычно не в самом чтении, а в том, чтобы из сотен и тысяч файлов вытащить ключевую инфу, разметить важные пункты и при этом привести данные к единому формату, чтобы потом нормально анализировать.
Недавно на GitHub попался OpenContracts, опенсорсная платформа для анализа документов, заточенная под knowledge-intensive задачи, чтобы управление документами и извлечение данных было проще и быстрее.
Поддерживает загрузку, разметку и анализ PDF и текстовых документов. Внутри есть плагинный движок парсинга, который может автоматически извлекать признаки лейаута документа и строить векторные эмбеддинги для дальнейшего поиска/ретривала.
Главная фича это пакетное извлечение данных: можно одновременно задавать вопросы по сотням документов и вытаскивать структурированные данные, а результаты сразу подсвечиваются прямо в исходнике. Ещё есть поддержка кастомных схем метаданных, совместной разметки, управления доступами и прочих enterprise-историй.
Платформа построена на фреймворке PydanticAI: там собрана полноценная LLM-система с управлением диалогом и стримингом ответов в реальном времени. Разворачивается быстро через Docker.
Если у тебя много контрактов, юрдоков или другой “тяжёлой” по знаниям документации, и хочется превратить анализ из ручной рутины в более системный воркфлоу, платформу стоит попробовать.
📁 Language: #Python 52.0%
⭐️ Stars: 1.1k
➡️ Cсылка на GitHub
📱 @git_developer
Когда работаешь с юридическими документами и договорами, боль обычно не в самом чтении, а в том, чтобы из сотен и тысяч файлов вытащить ключевую инфу, разметить важные пункты и при этом привести данные к единому формату, чтобы потом нормально анализировать.
Недавно на GitHub попался OpenContracts, опенсорсная платформа для анализа документов, заточенная под knowledge-intensive задачи, чтобы управление документами и извлечение данных было проще и быстрее.
Поддерживает загрузку, разметку и анализ PDF и текстовых документов. Внутри есть плагинный движок парсинга, который может автоматически извлекать признаки лейаута документа и строить векторные эмбеддинги для дальнейшего поиска/ретривала.
Главная фича это пакетное извлечение данных: можно одновременно задавать вопросы по сотням документов и вытаскивать структурированные данные, а результаты сразу подсвечиваются прямо в исходнике. Ещё есть поддержка кастомных схем метаданных, совместной разметки, управления доступами и прочих enterprise-историй.
Платформа построена на фреймворке PydanticAI: там собрана полноценная LLM-система с управлением диалогом и стримингом ответов в реальном времени. Разворачивается быстро через Docker.
Если у тебя много контрактов, юрдоков или другой “тяжёлой” по знаниям документации, и хочется превратить анализ из ручной рутины в более системный воркфлоу, платформу стоит попробовать.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
Constrict
Нужно сжать видео до заданного размера для загрузки. Ручная подгонка битрейта с кучей проб и ошибок отнимает время, а онлайн-сервисы вызывают вопросы к приватности и скорости.
На GitHub нашелся Constrict — open-source инструмент для сжатия видео. Ты просто задаешь целевой размер файла, а он сам рассчитывает оптимальные параметры кодирования. Все обрабатывается локально, без загрузок в облако.
Инструмент построен на FFmpeg и автоматически подбирает битрейт, разрешение, FPS и качество аудио, стараясь сохранить максимум качества при нужном размере.
Поддерживает пакетную обработку в одну директорию, ограничение FPS для баланса четкости и плавности, а также кодеки H.264, HEVC, AV1 и VP9.
Если часто приходится ужимать видео под конкретный лимит и не хочется возиться с настройками или онлайн-сервисами, стоит попробовать.
📁 Language: #Python 94.2%
⭐️ Stars: 323
➡️ Cсылка на GitHub
📱 @git_developer
Нужно сжать видео до заданного размера для загрузки. Ручная подгонка битрейта с кучей проб и ошибок отнимает время, а онлайн-сервисы вызывают вопросы к приватности и скорости.
На GitHub нашелся Constrict — open-source инструмент для сжатия видео. Ты просто задаешь целевой размер файла, а он сам рассчитывает оптимальные параметры кодирования. Все обрабатывается локально, без загрузок в облако.
Инструмент построен на FFmpeg и автоматически подбирает битрейт, разрешение, FPS и качество аудио, стараясь сохранить максимум качества при нужном размере.
Поддерживает пакетную обработку в одну директорию, ограничение FPS для баланса четкости и плавности, а также кодеки H.264, HEVC, AV1 и VP9.
Если часто приходится ужимать видео под конкретный лимит и не хочется возиться с настройками или онлайн-сервисами, стоит попробовать.
Please open Telegram to view this post
VIEW IN TELEGRAM