#skrub
Эту полезную либу мы уже рассматривали. Есть поддержка поларс, надо бы проверить.
https://youtu.be/Oho53bvl4rg?si=pDGUanxgDycLvvBr
Эту полезную либу мы уже рассматривали. Есть поддержка поларс, надо бы проверить.
https://youtu.be/Oho53bvl4rg?si=pDGUanxgDycLvvBr
YouTube
Gaël Varoquaux: Prepping Tables for Machine Learning Gets Easier [PyData Südwest]
Recorded live at PyData Südwest 27 June 2023 at Mathematikon, University of Heidelberg
Skrub: Prepping Tables for Machine Learning Gets Easier
Gaël Varoquaux, Research Director, Inria, France
In standard data-science practice, a significant effort is spent…
Skrub: Prepping Tables for Machine Learning Gets Easier
Gaël Varoquaux, Research Director, Inria, France
In standard data-science practice, a significant effort is spent…
#timeseries #ensembling #hetboost #pmdarima #todo
Вот попался классный пример, где идея "гетерогенного бустинга" отлично отрабатывает.
Лектор на синтетике сравнивает ариму и ансамбль линрег+дерево.
В задачах на временные ряды декомпозиция на тренд, сезонность и остаточные нерегулярный сигнал очевидна и необходима, но можно посмотреть на проблему в общем - классы моделей имеют свои ограничения (деревянные модели регрессии, к примеру, плохо моделируют линейные зависимости), и обучение модели одного класса на невязках модели другого класса способно показать отличные результаты.
В то же время, сейчас самыми распространёнными методами ансамблирования являются стэкинг (когда для моделей последующего уровня меняется признаковое пространство) и гомогенный бустинг (например, градиентный над деревьями в catboost/xgboost/lightgbm), а вот идею бустинга гетерогенного как будто никто и не рассматривает, и как будто бы нет опенсорсных реализаций.
Истоки такого предубеждения, похоже, растут из ранних статей о бустинговом подходе над "слабыми моделями" (weak learners). Выбор именно слабых моделей аргументировался контролем переобучения, равномерностью шагов процесса обучения, фокусом на сложных для предсказания примерах (которые более сильная модель могла бы просто запомнить).
Мне кажется, "слабость" и одинаковость участников ансамбля не всегда благо, и на практике есть смысл в каждой конкретной задаче проверять (на CV) наиболее выгодный подход к ансамблированию, от простого усреднения моделей и ensemble selection (который мы недавно рассматривали) до стэкинга и двух видов бустинга, одно- и разнородного.
На этот год планирую сравнительное исследование )
Видимо, относительно небольшая статья о том, как стать лучше в DS, которую я подготовил, столкнувшись с неспособностью современных библиотек градиентного бустинга хорошо смоделировать простую зависимость Y=X, вырастет в большое сравнение алгоритмов ансамблирования.
Постараюсь захватить Ensemble Selection (1, 2, 3), опции ансамблирования рассмотренные в #kagglebook (1, 2, 3), и Cascade Generalization/Cascading/Delegating (or Selective Routing)/Arbitrating.
Вот попался классный пример, где идея "гетерогенного бустинга" отлично отрабатывает.
Лектор на синтетике сравнивает ариму и ансамбль линрег+дерево.
В задачах на временные ряды декомпозиция на тренд, сезонность и остаточные нерегулярный сигнал очевидна и необходима, но можно посмотреть на проблему в общем - классы моделей имеют свои ограничения (деревянные модели регрессии, к примеру, плохо моделируют линейные зависимости), и обучение модели одного класса на невязках модели другого класса способно показать отличные результаты.
В то же время, сейчас самыми распространёнными методами ансамблирования являются стэкинг (когда для моделей последующего уровня меняется признаковое пространство) и гомогенный бустинг (например, градиентный над деревьями в catboost/xgboost/lightgbm), а вот идею бустинга гетерогенного как будто никто и не рассматривает, и как будто бы нет опенсорсных реализаций.
Истоки такого предубеждения, похоже, растут из ранних статей о бустинговом подходе над "слабыми моделями" (weak learners). Выбор именно слабых моделей аргументировался контролем переобучения, равномерностью шагов процесса обучения, фокусом на сложных для предсказания примерах (которые более сильная модель могла бы просто запомнить).
Мне кажется, "слабость" и одинаковость участников ансамбля не всегда благо, и на практике есть смысл в каждой конкретной задаче проверять (на CV) наиболее выгодный подход к ансамблированию, от простого усреднения моделей и ensemble selection (который мы недавно рассматривали) до стэкинга и двух видов бустинга, одно- и разнородного.
На этот год планирую сравнительное исследование )
Видимо, относительно небольшая статья о том, как стать лучше в DS, которую я подготовил, столкнувшись с неспособностью современных библиотек градиентного бустинга хорошо смоделировать простую зависимость Y=X, вырастет в большое сравнение алгоритмов ансамблирования.
Постараюсь захватить Ensemble Selection (1, 2, 3), опции ансамблирования рассмотренные в #kagglebook (1, 2, 3), и Cascade Generalization/Cascading/Delegating (or Selective Routing)/Arbitrating.
Telegram
Aspiring Data Science
#ensembling #hpo #hpt #autosklearn
Вот какой интересный метод ансамблирования опробовали авторы оптимизатора auto-sklearn:
"Two important problems in AutoML are that (1) no single machine learning method performs best on all datasets and (2) some machine…
Вот какой интересный метод ансамблирования опробовали авторы оптимизатора auto-sklearn:
"Two important problems in AutoML are that (1) no single machine learning method performs best on all datasets and (2) some machine…
🔥4👍1
#ensembling #tabm #anns
Из интересного:
эмбеддинги непрерывных признаков позволяют лучше учиться - выучивают "высокочастотные" зависимости, делают сеть НЕинвариантной к поворотам
ансамбли оптимизируются как единое целое, синхронно по итерациям
https://www.youtube.com/watch?v=qpdGUFF7vsI
Из интересного:
эмбеддинги непрерывных признаков позволяют лучше учиться - выучивают "высокочастотные" зависимости, делают сеть НЕинвариантной к поворотам
ансамбли оптимизируются как единое целое, синхронно по итерациям
https://www.youtube.com/watch?v=qpdGUFF7vsI
YouTube
Открытая лекция: DL в табличных данных
Занятие ведёт Юра Горишний, исследователь из Yandex Research, автор научных статей по обучению нейросетей на табличных данных.
Ссылка на материалы занятия:
- Презентация: https://drive.google.com/file/d/1SO4CMRmNQQljBzOD8ZYOGQMCl6h51Qef/view?usp=sharing…
Ссылка на материалы занятия:
- Презентация: https://drive.google.com/file/d/1SO4CMRmNQQljBzOD8ZYOGQMCl6h51Qef/view?usp=sharing…
👍1
#hpo #hpt #optuna
Приятное интро в Оптуну, с примерами, в т.ч. пруннинга. Вообще у него классный ютуб-канал по ML/DS, такие темы отличные поднимает, и очень продуктивный лектор.
https://www.youtube.com/live/QejQVLkkgRA?si=eiBKOrAQ6bbt4y24
Приятное интро в Оптуну, с примерами, в т.ч. пруннинга. Вообще у него классный ютуб-канал по ML/DS, такие темы отличные поднимает, и очень продуктивный лектор.
https://www.youtube.com/live/QejQVLkkgRA?si=eiBKOrAQ6bbt4y24
YouTube
Optuna: a hyperparameter optimization framework
Scikit-learn allows you to perform hyperparameter search but a lot of it happens in memory. Sometimes you want to have a storage layer for these hyperparameters and that's where a project like Optuna might be helpful. We will explore it in this livestream…
#skrub #tablevectorizer
Реальный пример работы с библой очистки данных skrub.
https://www.youtube.com/watch?v=wn0g1wBzDfQ
Реальный пример работы с библой очистки данных skrub.
https://www.youtube.com/watch?v=wn0g1wBzDfQ
YouTube
Probabl Livestream: Exploring TableVectorizer with Tabular Benchmarks
We're experimenting with live streams!
Each livestream will feature live coding and discussing a topic. This week we'll discuss the TableVectorizer in skrub. It's a neat tool to help you get started instantly with a tabular use-case, but there are a few…
Each livestream will feature live coding and discussing a topic. This week we'll discuss the TableVectorizer in skrub. It's a neat tool to help you get started instantly with a tabular use-case, but there are a few…
#sklearn
А вот пример роутинга метаданных в sklearn, появившийся относительно недавно. Раньше подобных эффектов (передачи произвольных именованных массивов/объектов любым компонентам конвейера) можно было достичь лишь частично, с использованием глобальных переменных, что к тому же было ненадёжно, неэлегантно и криво.
https://www.youtube.com/watch?v=lQ_-Aja-slA
А вот пример роутинга метаданных в sklearn, появившийся относительно недавно. Раньше подобных эффектов (передачи произвольных именованных массивов/объектов любым компонентам конвейера) можно было достичь лишь частично, с использованием глобальных переменных, что к тому же было ненадёжно, неэлегантно и криво.
https://www.youtube.com/watch?v=lQ_-Aja-slA
YouTube
Metadata routing in scikit-learn
Metadata routing is a relatively new feature that allows you to, as the name implies, route metadata to different components in your machine learning setup. It's especially useful for things like sample_weight, which require data per row of your input to…
🔥1
#hpo #hpt
Забавная иллюстрация важной концепции - устойчивости оптимального решения.
https://www.youtube.com/watch?v=vC9sAD-ymhk
Забавная иллюстрация важной концепции - устойчивости оптимального решения.
https://www.youtube.com/watch?v=vC9sAD-ymhk
YouTube
The optimisers curse
When looking for the best hyperparameters you can spend a lot of compute. So much so, that you can also spend *too much*. It is a sutble thing, but if you're not careful you can become a victim to something that's known as "the optimisers curse". This video…
👍1
#nlp #pca #dimreducers
Интересный рецепт: блок, дающий разреженные (sparse) признаки, после него PCA, дающий на выходе уже разумное количество плотных (dense) признаков.
https://www.youtube.com/watch?v=x7RX8VprCnE
Интересный рецепт: блок, дающий разреженные (sparse) признаки, после него PCA, дающий на выходе уже разумное количество плотных (dense) признаков.
https://www.youtube.com/watch?v=x7RX8VprCnE
YouTube
PCA as an embedding technique
If you have text represented as a sparse vector then there are a few things that you cannot do. In particular; not every scikit-learn model inside of scikit-learn can deal with it. Most notably the histogram boosted ensemble models. So what if we use PCA…
#nlp #skrub #topicmodelling
Другой компонент для той же задачи.
https://www.youtube.com/watch?v=l7y7gBpGa5U
Другой компонент для той же задачи.
https://www.youtube.com/watch?v=l7y7gBpGa5U
YouTube
How the GapEncoder works
The GapEncoder is an estimator from the skrub library that can do feature generation and topic modelling at the same time. Being able to do both is great for utility, but it also comes with some benefits for accuracy.
Link to paper: https://inria.hal.science/hal…
Link to paper: https://inria.hal.science/hal…
#fairness #weights
Извечный вопрос: большая модель для всей популяции, или индивидуальные модели для подгрупп?
Автор предлагает еще более успешную альтернативу - учиться на всём датасете, а для нужной подгруппы использовать большие веса.
И даже подбирать веса важной группы на CV - хотя тут CV будет нестандартной, ибо веса не являются гиперпараметром модели, формально они на самом деле параметры метода fit )
https://www.youtube.com/watch?v=REIg5NH2SNc
Извечный вопрос: большая модель для всей популяции, или индивидуальные модели для подгрупп?
Автор предлагает еще более успешную альтернативу - учиться на всём датасете, а для нужной подгруппы использовать большие веса.
И даже подбирать веса важной группы на CV - хотя тут CV будет нестандартной, ибо веса не являются гиперпараметром модели, формально они на самом деле параметры метода fit )
https://www.youtube.com/watch?v=REIg5NH2SNc
YouTube
Improving models via subsets
Sometimes you can improve a model by tuning hyperparameters, but sometimes you can also improve the model by thinking about what matters. It could be that a subset is most interesting for a task, but that does not mean we merely want to zoom in on a subset.…
❤2
#music #poetry #gpt
"А ты подбросила мне грамм" )
"Here it comes, it's beginning now,
Someone knocks, hear the knocking sound.
Soon the door will be breaking down,
It won’t hold, they will force it out.
Hello, I knew,
The final act would come for me and you.
I knew,
But never thought it’s you—
Them and you,
With those honest eyes so true.
You recall, I said before,
Love will strike us to the core.
It could have been another face,
But for you, it was set in stone—
Drop a gram, then leave no trace,
Wear a badge and play their role.
Hello, I knew,
The final act would come for me and you.
I knew,
But never thought it’s you—
Them and you,
With those honest eyes so true.
You recall, I said before,
Love will strike us to the core.
And you planted me that gram..."
https://www.youtube.com/watch?v=o0e3NYC6tjE
"А ты подбросила мне грамм" )
"Here it comes, it's beginning now,
Someone knocks, hear the knocking sound.
Soon the door will be breaking down,
It won’t hold, they will force it out.
Hello, I knew,
The final act would come for me and you.
I knew,
But never thought it’s you—
Them and you,
With those honest eyes so true.
You recall, I said before,
Love will strike us to the core.
It could have been another face,
But for you, it was set in stone—
Drop a gram, then leave no trace,
Wear a badge and play their role.
Hello, I knew,
The final act would come for me and you.
I knew,
But never thought it’s you—
Them and you,
With those honest eyes so true.
You recall, I said before,
Love will strike us to the core.
And you planted me that gram..."
https://www.youtube.com/watch?v=o0e3NYC6tjE
YouTube
В дверь стучат
Provided to YouTube by Союз Мьюзик
В дверь стучат · Глеб Самойлоff & The MATRIXX
Прекрасное жестоко
℗ 2025 Союз Мьюзик
Released on: 2010-09-15
Auto-generated by YouTube.
В дверь стучат · Глеб Самойлоff & The MATRIXX
Прекрасное жестоко
℗ 2025 Союз Мьюзик
Released on: 2010-09-15
Auto-generated by YouTube.
👍1
#politics
О, как и сообщала компания СВР & Соловей еще год назад, талибов собираются "ратифицировать". В то же время в тюрьму сажают честных смелых людей, которые высказываются против войны, а террористами признают журналистов и россиян, делавших небольшие пожертвования в ФБК на борьбу с коррупцией в стране.
"Новость дня, которая многое говорит о сегодняшней России.
Генпрокуратура попросила Верховный Суд разрешить в России движение «Талибан»
Исковое заявление за подписью генерального прокурора уже поступило в Верховный Суд и принято к производству. Заседание назначено на 17 апреля. Проведёт его судья Олег Нефёдов, который в ноябре 2023 года признал «экстремистским» и запретил в России несуществующее «движение ЛГБТ».
Надзорное ведомство просит приостановить запрет на деятельность движения «Талибан», которое находится в списке террористических организаций больше 20 лет.
В суде уже уточнили, что заседание пройдет в закрытом режиме. То есть журналисты скорее всего не услышат причин, по которым Генпрокуратура считает талибов друзьями.
Несмотря на запрещенный статус, представители «Талибана» уже несколько лет ездят на официальные мероприятия в Россию: они принимали участие в международных форумах в Санкт-Петербурге и Казани, где обсуждали борьбу с терроризмом, наркотрафиком и высказывались о проблемах образования. В прошлом году Путин назвал их «союзниками».
В декабре Госдума приняла закон, позволяющий исключать организации из списка террористических. Ранее эту идею поддержали в Минюсте и Министерстве иностранных дел.
Напомним, что талибы пришли к власти в Афганистане в 2021 году. Они запрещают женщинам учиться даже в начальной школе, выходить на улицу без чадры, ходить в спортзалы и гулять в парках с мужчинами. Представители движения неоднократно говорили о намерении забивать женщин камнями за измены, а также публично пороть."
О, как и сообщала компания СВР & Соловей еще год назад, талибов собираются "ратифицировать". В то же время в тюрьму сажают честных смелых людей, которые высказываются против войны, а террористами признают журналистов и россиян, делавших небольшие пожертвования в ФБК на борьбу с коррупцией в стране.
"Новость дня, которая многое говорит о сегодняшней России.
Генпрокуратура попросила Верховный Суд разрешить в России движение «Талибан»
Исковое заявление за подписью генерального прокурора уже поступило в Верховный Суд и принято к производству. Заседание назначено на 17 апреля. Проведёт его судья Олег Нефёдов, который в ноябре 2023 года признал «экстремистским» и запретил в России несуществующее «движение ЛГБТ».
Надзорное ведомство просит приостановить запрет на деятельность движения «Талибан», которое находится в списке террористических организаций больше 20 лет.
В суде уже уточнили, что заседание пройдет в закрытом режиме. То есть журналисты скорее всего не услышат причин, по которым Генпрокуратура считает талибов друзьями.
Несмотря на запрещенный статус, представители «Талибана» уже несколько лет ездят на официальные мероприятия в Россию: они принимали участие в международных форумах в Санкт-Петербурге и Казани, где обсуждали борьбу с терроризмом, наркотрафиком и высказывались о проблемах образования. В прошлом году Путин назвал их «союзниками».
В декабре Госдума приняла закон, позволяющий исключать организации из списка террористических. Ранее эту идею поддержали в Минюсте и Министерстве иностранных дел.
Напомним, что талибы пришли к власти в Афганистане в 2021 году. Они запрещают женщинам учиться даже в начальной школе, выходить на улицу без чадры, ходить в спортзалы и гулять в парках с мужчинами. Представители движения неоднократно говорили о намерении забивать женщин камнями за измены, а также публично пороть."
Original-Microsoft-Source-Code.pdf
94.5 MB
#basic #gates
"Altair BASIC он назвал «самым крутым кодом, который я когда-либо писал». Источником вдохновения для этого проекта послужил номер журнала Popular Electronics за январь 1975 года — на его обложке был компьютер Altair 8800, побудивший Гейтса заняться разработкой ПО. Он и Аллен обратились в выпустившую компьютер компанию MITS (Micro Instrumentation and Telemetry Systems) и предложили интерпретатор языка программирования BASIC для этой модели.
Этот продукт позволил бы большому числу пользователей с лёгкостью создавать собственные программы, но Гейтсу и Аллену потребовались несколько месяцев, чтобы добиться этого результата. Altair BASIC стал первым продуктом, который Гейтс и Аллен разработали для новой компании, тогда называвшейся Micro-Soft, а от дефиса они избавились позже. Исходный код занимает 157 страниц."
https://3dnews.ru/1120740/k-50letiyu-microsoft-bill-geyts-opublikoval-samiy-krutoy-kod-kotoriy-kogdalibo-pisal
"Altair BASIC он назвал «самым крутым кодом, который я когда-либо писал». Источником вдохновения для этого проекта послужил номер журнала Popular Electronics за январь 1975 года — на его обложке был компьютер Altair 8800, побудивший Гейтса заняться разработкой ПО. Он и Аллен обратились в выпустившую компьютер компанию MITS (Micro Instrumentation and Telemetry Systems) и предложили интерпретатор языка программирования BASIC для этой модели.
Этот продукт позволил бы большому числу пользователей с лёгкостью создавать собственные программы, но Гейтсу и Аллену потребовались несколько месяцев, чтобы добиться этого результата. Altair BASIC стал первым продуктом, который Гейтс и Аллен разработали для новой компании, тогда называвшейся Micro-Soft, а от дефиса они избавились позже. Исходный код занимает 157 страниц."
https://3dnews.ru/1120740/k-50letiyu-microsoft-bill-geyts-opublikoval-samiy-krutoy-kod-kotoriy-kogdalibo-pisal