Forwarded from HypEx (Дмитрий Тихомиров)
Новый год не за горами, а мы уже приготовили для вас подарок!
Анонсируем цикл лекций на Хабре, посвящённый Causal Inference — ключевому инструменту анализа данных, который помогает находить причины событий и оценивать их последствия.
В ней вы узнаете, почему сочетание машинного обучения и эконометрики стало неотъемлемой частью Data Science. Мы поговорим о том, как Causal Inference помогает не просто прогнозировать, но и понимать, что на самом деле влияет на результат.
Через несколько дней выйдет продолжение, где мы углубимся в методы и практику. Следите за обновлениями!
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from LightAutoML framework (Rinchin)
👋 Всем привет!
🎁 Принесли вам под елочку релиз LightAutoML 0.4.0, в котором:
* Поддержка Pandas v2+, LightGBM v4+, python: 3.8 - 3.12
* Добавлен XGBoost в качестве MLAlgo
* Автоматический маппинг колонок на выходе мультикласса (теперь не нужно использовать руками длинные конструкции с class_mapping)
* Автосохранение модели сразу после обучения (path_to_save в fit_predict) -- больше вы не потеряете результаты обучения
* OptunaTuner толерантнее к падениям триалов (параметр fail_tolerance)
* Автоматическая подстройка параметра кросс-валидации для работы в малым числом исходов
* HypEx выделился в отдельную библиотеку
* И много-много фиксов небольших багов
🎄с наступающим Новым годом!
🎁 Принесли вам под елочку релиз LightAutoML 0.4.0, в котором:
* Поддержка Pandas v2+, LightGBM v4+, python: 3.8 - 3.12
* Добавлен XGBoost в качестве MLAlgo
* Автоматический маппинг колонок на выходе мультикласса (теперь не нужно использовать руками длинные конструкции с class_mapping)
* Автосохранение модели сразу после обучения (path_to_save в fit_predict) -- больше вы не потеряете результаты обучения
* OptunaTuner толерантнее к падениям триалов (параметр fail_tolerance)
* Автоматическая подстройка параметра кросс-валидации для работы в малым числом исходов
* HypEx выделился в отдельную библиотеку
* И много-много фиксов небольших багов
🎄с наступающим Новым годом!
GitHub
Releases · sb-ai-lab/LightAutoML
Fast and customizable framework for automatic ML model creation (AutoML) - sb-ai-lab/LightAutoML
#helthchek@dm_projects_log
С ноября не было никакого авторского контента. Последнее время занимаюсь более тщательной проработкой того, что делал.
Из ближайших планов есть 2.
1. Инсайт из хайпекса 🤫. Новая архитектура готовится к релизу. Дело не скорое. По плану хочу релизнуть до конца первого квартала. Надеюсь получится. Возможно будет больше публикаций по теме с архитектурными заметками.
2. У меня с 2021 года лежит полузабытое и полуготовое исследование, которое должно было стать моей кандидатской. 👨🔬Оно про кластеризацию и исследование подхода через квадратичное взаимодействие точек пространства с вершинами описанного вокруг него симплекса.✅ В рамках исследования я уже получал proof-of-concept, но был ряд проблем с краевыми точками, а так же не было сравнения с другими алгоритмами. Вернее я его начинал и был расстроен тем обстоятельством, что идейно исследуемый алгоритм - версия OPTICS, которая в определенных ситуациях должна быть оптимальнее базовой реализации. 📔В планах изучить теорию и практику базовых подходов кластеризации, чтобы понять есть ли среди них место для исследуемого подхода.
С ноября не было никакого авторского контента. Последнее время занимаюсь более тщательной проработкой того, что делал.
Из ближайших планов есть 2.
1. Инсайт из хайпекса 🤫. Новая архитектура готовится к релизу. Дело не скорое. По плану хочу релизнуть до конца первого квартала. Надеюсь получится. Возможно будет больше публикаций по теме с архитектурными заметками.
2. У меня с 2021 года лежит полузабытое и полуготовое исследование, которое должно было стать моей кандидатской. 👨🔬Оно про кластеризацию и исследование подхода через квадратичное взаимодействие точек пространства с вершинами описанного вокруг него симплекса.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from LightAutoML framework (Alex Ryzhkov)
Добрый день, коллеги!
От лица команды LightAutoML поздравляю всех с наступающим 2025 годом! Хотим пожелать вам всем побольше качественных датасетов, ML моделей и счастливых бизнес-заказчиков 🎄
Со своей стороны мы подвели итоги 2024 года, среди которых можно отметить следующие:
1) Победа на Kaggle AutoML Grand Prix 2024, где мы были единственной командой, выигравшей 2 из 5 этапов
2) Фактически двукратный рост ⭐ на основном GitHub репозитории sb-ai-lab/LightAutoML
3) Чуть более трети от всех 230k загрузок LightAutoML с PyPI произошли в 2024 году
4) В 2024 году в журнале JMLR вышла статья по прогону OpenML AutoML benchmark, в которой мы попали в топ-3 общемирового рейтинга AutoML решений для различных задач
5) В мае 2024 более недели находились в топе рейтинга Trending Research на сайте paperswithcode.com
6) Руководитель команды LightAutoML Александр Рыжков полностью прошел Kaggle - стал 4x Kaggle Grandmaster (теперь их 10 человек по миру)
Счастливого 2025-ого года и спасибо, что вы с нами🦙
P.S. Верю в силу 6 рукопожатий - если вдруг кто-то из ваших друзей/коллег еще не знает про lama, приглашайте к нам в канал 🙃
От лица команды LightAutoML поздравляю всех с наступающим 2025 годом! Хотим пожелать вам всем побольше качественных датасетов, ML моделей и счастливых бизнес-заказчиков 🎄
Со своей стороны мы подвели итоги 2024 года, среди которых можно отметить следующие:
1) Победа на Kaggle AutoML Grand Prix 2024, где мы были единственной командой, выигравшей 2 из 5 этапов
2) Фактически двукратный рост ⭐ на основном GitHub репозитории sb-ai-lab/LightAutoML
3) Чуть более трети от всех 230k загрузок LightAutoML с PyPI произошли в 2024 году
4) В 2024 году в журнале JMLR вышла статья по прогону OpenML AutoML benchmark, в которой мы попали в топ-3 общемирового рейтинга AutoML решений для различных задач
5) В мае 2024 более недели находились в топе рейтинга Trending Research на сайте paperswithcode.com
6) Руководитель команды LightAutoML Александр Рыжков полностью прошел Kaggle - стал 4x Kaggle Grandmaster (теперь их 10 человек по миру)
Счастливого 2025-ого года и спасибо, что вы с нами
P.S. Верю в силу 6 рукопожатий - если вдруг кто-то из ваших друзей/коллег еще не знает про lama, приглашайте к нам в канал 🙃
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
#open_source@dm_projects_log
Мысли материальны! (нет)
Только я задумался о глубоком ресерче алгоритмов кластеризации, как случайно наткнулся, на эту великолепную репу!
https://github.com/collinleiber/ClustPy
Честно говоря, если бы я её не нашёл, то стал бы создавать её сам. Пока не успел попробовать в действии либу, но даже просто существование этой репы вызывает дичайший восторг и сулит много часов ресерча. Пока конкретных планов нет, но после более-менее детального изучения репы, возможно, попробую вписаться в её развитие.
Дима🐠 дуреет от такой прикормки!
Мысли материальны! (нет)
Только я задумался о глубоком ресерче алгоритмов кластеризации, как случайно наткнулся, на эту великолепную репу!
https://github.com/collinleiber/ClustPy
Честно говоря, если бы я её не нашёл, то стал бы создавать её сам. Пока не успел попробовать в действии либу, но даже просто существование этой репы вызывает дичайший восторг и сулит много часов ресерча. Пока конкретных планов нет, но после более-менее детального изучения репы, возможно, попробую вписаться в её развитие.
Дима
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - collinleiber/ClustPy: A Python library for advanced clustering algorithms
A Python library for advanced clustering algorithms - collinleiber/ClustPy
🤔2🏆1
Forwarded from HypEx (Дмитрий Тихомиров)
Иван Юрашку снова радует нас своими статьями на Хабре.
Эти статьи идеально подходят для праздничных вечеров с чашкой чая или какао.
— Накидайте
— И поставьте
С Новым годом, друзья! Пусть ваш праздник будет не только весёлым, но и полезным.
Please open Telegram to view this post
VIEW IN TELEGRAM
🍾2🎄2
Forwarded from Градиент обреченный (Sergei Averkiev)
Осваиваю ComfyUI, прикольная штука. Пайплайн для нужной задачи нужно составлять самому из набора блоков и это занятие само по себе довольно увлекательное (пока разберешься, что куда прикручивать, узнаешь много нового).
Какие-то несложные вещи, типа добавления цветности к ч/б фото или масштабирования, можно освоить довольно быстро. Попробую сделать что-то поинтересней, типа подключения LoRA и массовой обработки фоточек.
Хорошей документации я пока не нашел (может вы видели?), зато отдельных примеров есть огромное количество.
🔸 Установить ComfyUI можно локально, просто скачав и распаковав архив.
🔸 Сразу установите ComfyUI-Manager, через него можно будет находить и устанавливать кастомные блоки, которые будут почти в каждом примере, которые вы увидите.
🔸 Вот тут есть сотни моделей для upscale'а картинок. Надо скачать веса и подложить в папку upscale_models.
🔸 А вот тут написано про то как установить модуль ComfyUI-DDColor для задачи добавления цветности.
👉 Предлагаю поразбираться на досуге и собрать собственный AI-редактор изображений у себя на компьютере. Легкие операции будут спокойно отрабатывать без видеокарты.
Какие-то несложные вещи, типа добавления цветности к ч/б фото или масштабирования, можно освоить довольно быстро. Попробую сделать что-то поинтересней, типа подключения LoRA и массовой обработки фоточек.
Хорошей документации я пока не нашел (может вы видели?), зато отдельных примеров есть огромное количество.
🔸 Установить ComfyUI можно локально, просто скачав и распаковав архив.
🔸 Сразу установите ComfyUI-Manager, через него можно будет находить и устанавливать кастомные блоки, которые будут почти в каждом примере, которые вы увидите.
🔸 Вот тут есть сотни моделей для upscale'а картинок. Надо скачать веса и подложить в папку upscale_models.
🔸 А вот тут написано про то как установить модуль ComfyUI-DDColor для задачи добавления цветности.
👉 Предлагаю поразбираться на досуге и собрать собственный AI-редактор изображений у себя на компьютере. Легкие операции будут спокойно отрабатывать без видеокарты.
👍2
Forwarded from Представляешь,
помните Rambler? Теперь он будет LLM-порталом
Не слышали про «Рамблер» лет сто, решили проверить, как там дела, а у него оказывается жизнь бурлит.
Медиахолдинг Rambler&Co решил перезапустить «Рамблер» и прикрутить к нему GigaChat. На портале уже доступен агрегатор новостей на базе ИИ и тематический полезный контент, дополненный встроенными инструментами. В планах добавить персонализированный календарь, в который можно будет записывать личные планы.
GigaChat отвечает за новостной модуль «Что нужно знать сейчас», в котором публикуется дайджест свежих событий, меняющийся в режиме реального времени.
Ставьте 💔, для кого Rambler навсегда остался поисковиком из детства...
@your_tech
Не слышали про «Рамблер» лет сто, решили проверить, как там дела, а у него оказывается жизнь бурлит.
Медиахолдинг Rambler&Co решил перезапустить «Рамблер» и прикрутить к нему GigaChat. На портале уже доступен агрегатор новостей на базе ИИ и тематический полезный контент, дополненный встроенными инструментами. В планах добавить персонализированный календарь, в который можно будет записывать личные планы.
GigaChat отвечает за новостной модуль «Что нужно знать сейчас», в котором публикуется дайджест свежих событий, меняющийся в режиме реального времени.
Ставьте 💔, для кого Rambler навсегда остался поисковиком из детства...
@your_tech
💔2
#book@dm_projects_log
В последний день прошлого года закончил в очередной (5) раз перечитывать свою любимую книгу: "Глубокое обучение на Python" за авторством Франсуа Шолле.
О втором издании
Все предыдущие разы я читал первое издание, но когда вышло второе на русском языке, я сразу же её заказал. Второе издание на 2/3 переработано, и в 2 раза объемнее. Надо сказать, что содержательно и качественно она стала гораздо лучше.
Содержание
Несмотря на то, что книга предназначена для новичков в области глубокого обучения, в ней заложены так же глубокие рассуждения на тему. В книге подробно разобраны основы и довольно поверхностно (скорее с ознакомительной точки зрения) продвинутые темы.
Особенность книги
Особенностью этой книги является то, что в ней только необходимый математический минимум и ни одной формулы. Математические формулы есть, но они написаны кодом. Упор делается на практику. Все примере на фреймворке Karas, создателем которого является автор книги.
Личные итоги
Мои личные итоги прочтения:
* Повторил основы глубокого обучения и углубил свое понимание темы
* Наконец понял, как устроены рекурентные нейронки, и чем они отличаются от трансформеров.
* Переосмыслил свой взгляд на жизнь.
* Получил новые интересные интерпретации машинного обучения.
* Дополнил свой план написания книги несколькими пунктами
* Переосмыслил значимость разных способов обучения
* Осознал часть проблем создания ИИ
Личное отношение
Эта книга является моим главным ориентиром того, как надо популярно писать о машинном обучении, хотя в своей книге я намерен раскрывать тему более глубоко и всесторонне. Эта книга была моей первой книгой по машинному обучению и являлась проводником в профессию.
Моё отношение к нейронкам
Я в своей работе редко использую нейронки. После этого прочтения я окончательно определился в границах интересного для меня применения нейронных сетей. Мне интереснее всего они в контексте RL и UL, хотя эти темы практически не затрагиваются в книге.
О чтении
Надо сказать, что чтение книг - это хорошая регуляризация сложившихся представлений. Для меня это еще и способ медитации. Чтение позволяет развивать способность более конструктивно строить свои мысли и держать свой разум в тонусе. Сейчас я понял более глубоко пользу от этого процесса и намерен хотя-бы 3 часа в неделю уделять чтению. Книг у меня много, а бэклог глубокий.
Мониитог прочтения
Новое слово: многообразие - эффективное в рамках задачи подпространство.
Ключевая идея: иерархическое представление.
P. S. В ходе чтения я делал конспект и думал им поделиться здесь, но Шолле сам законспектировал её в последней главе, что очень круто. Так что свой конспект я переработаю для базы знаний.
P. P. S. Забавно, что прошлый год я тоже закончил так же 5 раз перечитывая ещё одну из моих любимых книг. В тот раз это была "Ветер и сталь" Алексея Бессонова. Это фантастический боевик. Можно сказать, что это первая книга, которую я прочитал самостоятельно с удовольствием ещё в 14 лет. Хотя книга совсем не подростковая.
В последний день прошлого года закончил в очередной (5) раз перечитывать свою любимую книгу: "Глубокое обучение на Python" за авторством Франсуа Шолле.
О втором издании
Все предыдущие разы я читал первое издание, но когда вышло второе на русском языке, я сразу же её заказал. Второе издание на 2/3 переработано, и в 2 раза объемнее. Надо сказать, что содержательно и качественно она стала гораздо лучше.
Содержание
Несмотря на то, что книга предназначена для новичков в области глубокого обучения, в ней заложены так же глубокие рассуждения на тему. В книге подробно разобраны основы и довольно поверхностно (скорее с ознакомительной точки зрения) продвинутые темы.
Особенность книги
Особенностью этой книги является то, что в ней только необходимый математический минимум и ни одной формулы. Математические формулы есть, но они написаны кодом. Упор делается на практику. Все примере на фреймворке Karas, создателем которого является автор книги.
Личные итоги
Мои личные итоги прочтения:
* Повторил основы глубокого обучения и углубил свое понимание темы
* Наконец понял, как устроены рекурентные нейронки, и чем они отличаются от трансформеров.
* Переосмыслил свой взгляд на жизнь.
* Получил новые интересные интерпретации машинного обучения.
* Дополнил свой план написания книги несколькими пунктами
* Переосмыслил значимость разных способов обучения
* Осознал часть проблем создания ИИ
Личное отношение
Эта книга является моим главным ориентиром того, как надо популярно писать о машинном обучении, хотя в своей книге я намерен раскрывать тему более глубоко и всесторонне. Эта книга была моей первой книгой по машинному обучению и являлась проводником в профессию.
Моё отношение к нейронкам
Я в своей работе редко использую нейронки. После этого прочтения я окончательно определился в границах интересного для меня применения нейронных сетей. Мне интереснее всего они в контексте RL и UL, хотя эти темы практически не затрагиваются в книге.
О чтении
Надо сказать, что чтение книг - это хорошая регуляризация сложившихся представлений. Для меня это еще и способ медитации. Чтение позволяет развивать способность более конструктивно строить свои мысли и держать свой разум в тонусе. Сейчас я понял более глубоко пользу от этого процесса и намерен хотя-бы 3 часа в неделю уделять чтению. Книг у меня много, а бэклог глубокий.
Мониитог прочтения
Новое слово: многообразие - эффективное в рамках задачи подпространство.
Ключевая идея: иерархическое представление.
P. S. В ходе чтения я делал конспект и думал им поделиться здесь, но Шолле сам законспектировал её в последней главе, что очень круто. Так что свой конспект я переработаю для базы знаний.
P. P. S. Забавно, что прошлый год я тоже закончил так же 5 раз перечитывая ещё одну из моих любимых книг. В тот раз это была "Ветер и сталь" Алексея Бессонова. Это фантастический боевик. Можно сказать, что это первая книга, которую я прочитал самостоятельно с удовольствием ещё в 14 лет. Хотя книга совсем не подростковая.
🔥2
#quote
Джеффри Хинтон
Чтобы иметь дело с гиперпланами в 14-мерном пространстве, визуализируйте 3D-пространство и очень громко говорите "четырнадцать". Все это делают.
Джеффри Хинтон
😁3
#life
#review
Обновил телефончик с Samsung Galaxy Fold 5 до Samsung Galaxy S24 Ultra.
Пока я ходил с раскладушкой, многие спрашивали меня о нём, и вот, пропользовавшись им 15 месяцев, и поменяв, я готов сделать большой обзор и заодно объяснить почему поменял.
🔋 У него довольно маленькая батарея при большом энергопотреблении. Первые полгода это было не особо заметно, но потом мне перестало хватать зарядки на весь день.
💁♂ Эргономика требует привыкания, но она не плохая. Кто-то считает, что это минус, кто-то, что плюс, но в сложеном состоянии телефон узкий. На мой взгляд оба правы, но в разных аспектах. Мне нравится идея с тем, что он узкий в сложенном состоянии. В таком виде он удобно лежит в кармане и по нему очень удобно разговаривать, как по мобилам начала 2000. Минусы такого решения...
🖥 Экраны. Они не стандартного размера. Некоторые приложения не могут нормально работать в обоих форматах. В сложенном виде экран слишком узкий, а в разложенном - широкий. Сами по себе они отличные.
💥 Хрупкость. Это контринтуитивно, но он совсем не хрупкий. Много раз у меня падали в сложеном и в разложеном состоянии, и ему норм.
🧹 Уход. Телефончик весьма капризный. На него не большое разнообразие чехлов, плёнка клеется только га внешний экран, а внутренняя плёнка специальная. По идее на неё гарантия год и вот через год и месяц мне надо её менять.
✏️ Стилус. Краеугольный камень. То из-за чего я по большей части решил сменить телефончик. По пунктам:
1. Он дорогой. Годится только фирменный, чтобы это было удобно, нужен фирменный чехол. Это 11к. Половина чехла за год у меня сломался, а стилус стерся. В общем, дорого.
2. Пользоваться им, как на планшете неудобно. Если положить телефон на стол, то он будет шататься в чехле хуже, чем без него, но все равно неоч.
3. Линия сгиба. В ней стилус работает плохо и сигнал искажается.
4. Стилус не работает полноценно с телефоном (не связывается по блютузу). Чтобы его хранить нужен специальный чехол (по опыту только фирменный).
В общем, телефончик специфический, но классный. Под мои задачи подходит, не идеально. Когда стал много работать со стилусом, было не комфортно. Привлекает много внимания и необычный. Рекомендую только тем, кому хочется чего-то необычного, нового, нравится привлекать внимания, не жалко денег и не в лом за ним ухаживать. Я его оставлю в коллекцию, поэтому сменил, пока он не убит. Думаю, что вложусь в уход за ним и положу на полку. Это были классные 15 месяцев, но пора вернуться к классике.
#review
Обновил телефончик с Samsung Galaxy Fold 5 до Samsung Galaxy S24 Ultra.
Пока я ходил с раскладушкой, многие спрашивали меня о нём, и вот, пропользовавшись им 15 месяцев, и поменяв, я готов сделать большой обзор и заодно объяснить почему поменял.
🔋 У него довольно маленькая батарея при большом энергопотреблении. Первые полгода это было не особо заметно, но потом мне перестало хватать зарядки на весь день.
💁♂ Эргономика требует привыкания, но она не плохая. Кто-то считает, что это минус, кто-то, что плюс, но в сложеном состоянии телефон узкий. На мой взгляд оба правы, но в разных аспектах. Мне нравится идея с тем, что он узкий в сложенном состоянии. В таком виде он удобно лежит в кармане и по нему очень удобно разговаривать, как по мобилам начала 2000. Минусы такого решения...
🖥 Экраны. Они не стандартного размера. Некоторые приложения не могут нормально работать в обоих форматах. В сложенном виде экран слишком узкий, а в разложенном - широкий. Сами по себе они отличные.
💥 Хрупкость. Это контринтуитивно, но он совсем не хрупкий. Много раз у меня падали в сложеном и в разложеном состоянии, и ему норм.
🧹 Уход. Телефончик весьма капризный. На него не большое разнообразие чехлов, плёнка клеется только га внешний экран, а внутренняя плёнка специальная. По идее на неё гарантия год и вот через год и месяц мне надо её менять.
✏️ Стилус. Краеугольный камень. То из-за чего я по большей части решил сменить телефончик. По пунктам:
1. Он дорогой. Годится только фирменный, чтобы это было удобно, нужен фирменный чехол. Это 11к. Половина чехла за год у меня сломался, а стилус стерся. В общем, дорого.
2. Пользоваться им, как на планшете неудобно. Если положить телефон на стол, то он будет шататься в чехле хуже, чем без него, но все равно неоч.
3. Линия сгиба. В ней стилус работает плохо и сигнал искажается.
4. Стилус не работает полноценно с телефоном (не связывается по блютузу). Чтобы его хранить нужен специальный чехол (по опыту только фирменный).
В общем, телефончик специфический, но классный. Под мои задачи подходит, не идеально. Когда стал много работать со стилусом, было не комфортно. Привлекает много внимания и необычный. Рекомендую только тем, кому хочется чего-то необычного, нового, нравится привлекать внимания, не жалко денег и не в лом за ним ухаживать. Я его оставлю в коллекцию, поэтому сменил, пока он не убит. Думаю, что вложусь в уход за ним и положу на полку. Это были классные 15 месяцев, но пора вернуться к классике.