Feature Engineering:

https://www.youtube.com/watch?v=ZckQtif4v1o

If you want to go deeper in practical methods, you can check the following links :
Scikit-learn: feature extraction, feature selection, feature improvement
Feature-Engine : feature engineering
AutoFeat : automated feature engineering
Feature Tools : automated feature engineering

Feature engineering bookcamp
https://www.manning.com/books/feature-engineering-bookcamp


https://arxiv.org/pdf/2403.11395

За что же биржи обычно берут деньги с бедных участников?

Оценим на примере CME минимальные расходы для гипотетическое фирмы, торгующей на собственный капитал.

Market Data

Лицензии на доступ к рыночным данным многообразны и разноплановы. (Интересно, как именно биржи придумывают за что взять с участников денег и почему именно столько...)

Для героев нашего примера ежемесячная стоимость доступа к рыночным данным для торговых роботов (non-display device) будет такой:

* Non-Display Category A – Trading As a Principal: 1 приложение $589 - 4+ приложений $3,521
* Category B – Internal Order Processing: 1 приложение $2,357 - 4+ приложения $2,951
* Category C - Risk Management/Research and Analysis etc: 1 приложение $351 - 4+ приложений $589

Если наши герои захотят использовать рыночные данные CME для отправки заявок за пределы CME, то придётся раскошелиться ещё на Category A3 – Trading on Alternative Venue: 1 приложение $1,759 - 4+ приложений - $4,132 в месяц.

Плюс ещё есть комиссии за display devices, но для этой оценки ими можно пренебречь.

(Интересный побочный вопрос - кто владеет интеллектуальной собственностью на рыночные данные? Кажется по факту получается что биржа, поэтому за доступ к историческим данным или за предоставление сохранённых вами данных третьим лицам она выставит отдельный счёт).

Подключение

Прямое подключение к сети биржи достаточно дорогое удовольствие. Для HFT нужна самая быстрая физическая линия в сo-location - 10 Gb - это $12к в месяц.

Торговые роботы работают на железе в co-location, но трейдеры там сидеть не могут. Чтобы им зайти на торговые машины через интернет нужно настроить VPN, который стоит $500/m за каждые 0.5 Mbps.

Итого

Таким образом, если вдруг наши герои смогут зарабатывать торгуя только лишь одним приложением через одну физическую линию только лишь на CME, то придётся заплатить бирже за рыночные данные от $40k в год и за физическое подключение к сети от $150k в год, и это не считая стоимости электричества и аренды серверной стойки в co-location, а также остальных сопутствующих расходов.

@engineer10x

Небольшая заметка от Рони Кохави - P-values and Bayes Factors in A/B Testing: Frequentist or Bayesian A/B

Многие критикуют A/B тесты за то, что им непонятно, что такое P-value, и вместо этого хочется видеть какую-то вероятность успеха.
Отсюда люди начинают прибегать ко всякому: гаданию, Таро, баесовским приорам.

Рони говорит: всё здорово, но почему бы просто не использовать False Positive Risk?

In this document, I show that mapping from p-values to minimum and calibrated Bayes Factors, which can then be mapped to probabilities, seem to give values close to the FPR (False Positive Risk), or the probability that a statistically significant result is a false positive. This is an important empirical confirmation that I have not seen before.

Классическая история: если у вас 15% A/B тестов действительно успешны, вероятность ошибки первого рода составляет 5%, а второго рода — 20%, то какой у вас False Positive Rate? А False Positive Rate в нужную сторону? Все это довольно легко посчитать, безо всяких чудес.

А вот баесовские методы, требующие различных приоров и онлайн-калькуляторы, предлагающие их, почему-то либо не дают дополнительной информации, либо завышают положительную вероятность.

If all we are doing is providing a different mapping from four parameters (sample size of control, sample size of treatment, successes in control, successes in treatment) to probabilities using non-informative priors, then I find the Bayesian exercise losing much of the promise. Worse, the online Bayesian A/B calculators not only require fewer parameters than FPR does, but the “Chance to beat Control” seems highly exaggerated.

Рекомендую просматривать заметку каждый раз, когда рука будет тянуться к Баесу

#ml #dl #books

📚 Книги по ML/DS

Мы периодически рекомендуем вам книги по DS или разыгрываем их в канале, решили собрать полезные книги в одном посте! 📚

💻 Если знакомы с DS/ML слабо и хотите чуть лучше понять где и как это может применяться:
0. Роман с Data Science
Автор книги Роман Зыков - человек, который строил с нуля аналитику в Ozon.ru, а также основал свою компанию, которая занимается анализом данных. В книге он рассказывает о своих
1. Машинное обучение для бизнеса и маркетинга
На пальцах про все основные возможности применения машинного обучения в классическом бизнесе (на самом деле, совсем не только в маркетинге!)
2. DS для карьериста
Достаточно старая книжка, но многие советы ещё актуальны!
Про то, как строить карьеру в DS


💼 Если хотите натаскаться к собеседованиям и отточить знания основ:
0. [ENG]Cracking the coding interview
Тут собраны все задачки с алгоритмических интервью в корпорациях, а также ключевые идеи и подходы к их решению
1. Серия "Грокаем": сложные вещи описаны простым языком и дополнены нестандартными иллюстрациями
- Грокаем алгоритмы
- Грокаем машинное обучение
- Грокаем глубокое обучение
2. Доверительное А/В-тестирование
Ключевые идеи АВ-тестирования понятным языком

🥷 Если уже знаете основы и хотите углубить свои знания:
0. [ENG]Machine Learning System Design
Книга Валерия Бабушкина и Арсения Кравченко по ML System Design. И этим всё сказано 🙂
1. [ENG]Understanding Deep Learning
Книга с лекциями, презентациями и приложенными юпитер-ноутбуками для того, чтобы разобраться в DL. Часто обновляется (последний апдейт 21 November 2024)

Обязательно ставьте ❤️ и 🔥 под постом, если подборка полезна!

#dl #cv

🎄 Привет, друзья!

Часто можно столкнуться с ситуацией, когда фреймворк, в котором реализован метод объяснения, просто не "дружит" с реализацией модели.

На днях я решала именно такую проблему — в рамках практики на заводе (🗿) мне нужно было проанализировать стабильность YOLO NAS. Так и появился туториал, в котором я решила разобрать, как использовать CAM (class activation map) для объяснения моделей зрения.

Почему CAM?

Class Activation Maps (CAM) — базовый инструмент для визуализации того, какие области изображения наиболее важны для модели при принятии решения. Он позволяет понять:

1. Какие признаки извлекает модель на разных слоях свертки;
2. Какие зоны изображения вносят вклад в прогноз конкретного класса;

С практической точки зрения:

1. Его почти всегда можно реализовать руками (если у вас есть задача классификации и сверточный слой);
2. Его можно использовать практически в любой задаче классификации с использованием сверточных нейронных сетей.

Прошу к чтению!

1. Туториал на Хабр
2. Туториал на гитхаб (ноутбук файлом)
3. Туториал на английском (коллаб)

P.S. а ещё там милые животные и красивые картинки — можно позапускать и поиграть =)
Всё ещё Ваш,
Дата-автор!

#ml #dl #nlp #llm #rag