#Tip42 #EDA #Pandas

На прошлой неделе поучаствовал в хакатоне GO ALGO, организованный Московской фондовой биржей.
Для решения задачи нужно было анализировать биржевую информацию. И наконец-то мне мне удалось применить на практике очень редкий вид графиков — Спарклайны (Sparkline).

Спарклайны — это небольшие немаркированные графики. Обычно они не содержат ни осей ни подписей, поэтому в основном предназначены для передачи какой-то общей идеи.

А т.к. спарклайны очень маленькие, то они отлично помещаются в ячейках Pandas'а :)

import base64
from io import BytesIO
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from IPython.display import HTML

def sparkline(data):
    data = list(data)
    
    fig, ax = plt.subplots(1, 1, figsize=(4, 0.25))
    ax.plot(data)
    
    # Убираем все лишнее с графика
    ax.set_axis_off()
    
    # Заливаем график
    ax.fill_between(range(len(data)), data, len(data)*[min(data)], alpha=0.1)
    
    # Выводим min/max
    plt.plot(np.argmax(data), data[np.argmax(data)], 'r.')
    plt.plot(np.argmin(data), data[np.argmin(data)], 'm.')

    img = BytesIO()
    plt.savefig(img)
    img.seek(0)
    plt.close()
    
    return '<img src="data:image/png;base64,{}"/>'.format(base64.b64encode(img.read()).decode())

agg_df = df.groupby('tradedate', as_index=False)['pr_open'].agg(list)
agg_df['sparkline'] = agg_df['pr_open'].map(sparkline)

HTML(agg_df[['tradedate','sparkline']][-10:].to_html(escape=False))

Графики можно редактировать в определенных границах: менять их ширину/высоту, можно разукрасить на свое усмотрение. Также вы можете вывести другие типы графиков: барплоты, гистограммы и пр.

З.Ы. Сам хакатон проходил в интересном формате. С одной стороны это был обычный хактон - с чек-поинтами и общением с экспертами. С другой - он длился целых 10 дней (вместо обычных 2-3). А за это время можно было сделать неплохой продукт :)

#курс

После почти года доработок, я таки дописал последние два урока - про Градиентнный бустинг (регрессия и классификация). И теперь самый лучший в мире курс по ML (Алгоритмы Машинного обучения с нуля) перешел в релизную стадию (версия 1.0).

Напоминаю, что в курсе вам необходимо с нуля (на чистом Python, NumPy и Pandas) реализовать все основные алгоритмы машинного обучения:
1. Линейные модели:
- Линейная регрессия
- Логистическая регрессия
2. Метод ближайших соседей, kNN (классификация и регрессия)
3. Деревья решений (классификация и регрессия)
4. Ансамбли:
- Случайный лес (регрессия и классификация)
- Бэггинг (регрессия и классификация)
- Градиентный бустинг (регрессия и классификация)
5. Кластеризация:
- Метод k-средних (K-Means)
- Иерархическая агломеративная кластеризация
- DBSCAN
6. Снижение размерности (Метод главных компонент, PCA)

Курс находится на платформе степик: https://stepik.org/a/68260

З.Ы.1. По мере возможности буду дописывать и менее популярные темы из классического ML (рекомендашки, SVM и т.д.)
З.Ы.2. Градиентный бустинг оказался не таким простым как о нем рассказывают на вводных курсах :)
З.Ы.3. Спасибо всем кто помогал тестировать курс :)

Написал на хабре статью, как с помощью Оптуны оптимизировать гиперпараметры RAG-системы (это такой карманный поисковик):
https://habr.com/ru/articles/811239/

Плей-лист соревнований февраля (пополняемый):

[ХАК] Система Хак: Нижний Новгород
⏰ Даты: 15-16.02 (рег. до 13.02)
💡 [STT] Трек 1. Общение без барьеров. Задача – разработать систему генерации автоматических субтитров в реальном времени для интеграции на платформу МТС для видеозвонков, которая сделает онлайн-конференции доступнее для людей с особыми потребностями.
💡 [NLP] Трек 2. Удобный дом. Необходимо придумать и разработать улучшение для приложения, управляющего многоквартирным домом. Новая функция должна сделать сервис комфортнее для всех жильцов: например, автоматически включит домофон для ребенка или вызовет консьержа пожилому человеку.
💰 Приз: 750 000 р. + мерч всем участникам на площадке
🏀 Участие: команда 2-6 человек
🌐 Формат: гибрид , но больше половины участников команды должны быть на площадке (Нижний Новгород)

[СОР] Siam ML Hack
⏰ Даты: 28.02 - 19.03 (рег. до 27.02)
💡 [REG] Трек 1. Обнаружение бинарных характеристик в данных. Необходимо разработать модель для распознавания ключевых паттернов и их характеристик в дискретных данных, отображаемых на специализированном графике.
💡 [TS] Трек 2. Выделение полезных данных для анализа. Цель — разработать алгоритм, который выявляет самые информативные участки временных рядов и четко определяет их начало и конец, чтобы в дальнейшем проводить более глубокий анализ.
💰 Приз: 1 000 000 р.
🏀 Участие: команда 1-5 человек
🌐 Формат: онлайн

[СОР] Data Fusion Contest 2025
⏰ Даты: 13.02 - 07.04
💡 [NLP] Label Craft — необходимо предсказать категорию товаров на основе не полных данных о товаре (названиях и их описаний).
💡 [TS] 4cast — прогнозирование временных рядов для клиентов банка (юридических лиц) на основе их профилей и истории транзакций.
💡 [REG] Distribution — необходимо создать алгоритм, способный предсказывать распределение остатков на счетах клиента на 2 месяца вперед.
💰 Приз: 3 000 000 р. + мерч
🏀 Участие: соло или командой (до 4 человек)
🌐 Формат: онлайн

Соревнования марта (выше добавил февральское соревнование Data Fusion Contest 2025):

[ХАК] Kryptonite ML Challenget
⏰ Даты: 01.03 - 09.03, 16.03 питчинг (рег. до 01.03)
💡 [CV] Необходимо обучить модель распознавания лиц, которая корректно работает с задачей верификации и определяет фальшивые изображения, созданные с помощью DeepFake-технологий.
💰 Приз: 600 000 р.
🏀 Участие: соло или командой
🌐 Формат: онлайн

[ХАК] Марафон Цифровых Решений
⏰ Даты: 17.03 - 14.04 (рег. до 17.03)
💡 [КОМ] Кейс 1 - Оптимизация процесса паллетизации товаров.
💡 [REG] Кейс 2 - прогнозирование и оценка упущенных продаж.
💡 [CV] Кейс 4 - автоматической верификации наличия товара в видео-клипах.
💡 [CLF] Кейс 5 - прогнозироdание ситовых характеристик пульпы.
💡 [REG] Кейс 6 - создание предиктивной модели износа техники.
💰 Приз: индивидуально на кейс (до 1 миллиона).
🏀 Участие: соло или командой
🌐 Формат: онлайн

Дополнительные источники заработка на апрель :)

[СОР] Avito ML Cup 2025
⏰ Даты: 31.03 - 28.05
💡 [REC] Задача 1. Персональные рекомендации: создать модель, которая предскажет интересные для пользователя товары на основе его действий на платформе.
💡 [CV] Задача 2. Поиск дублей: разработать решение для обнаружения одинаковых товаров.
💰 Приз: 1 200 000 рублей
🏀 Участие: соло или командой (до 4 человек)
🌐 Формат: онлайн

[ХАК] Tender Hack Москва
⏰ Даты: 04.04 - 06.04 (рег. до 04.04)
💡 [NLP] Реализация ИИ-ассистента для анализа поисковых запросов пользователей в режиме чата.
💰 Приз: 500 000 рублей
🏀 Участие: командой (от 3 до 5 человек)
🌐 Формат: офлайн (отель «Лесная Сафмар»)

[ХАК] LLM Coding Challenge
⏰ Даты: 10.04 - 19.04
💡 [NLP] Сервис структурирования сообщений от агрономов - необходимо разработать решение, которое позволит полностью автоматизировать процесс получения и обработки сообщений (от агрономов) в единую базу данных.
💡 [NLP] Репортер качества кода разработчиков - разработать решение для автоматического ревью кода.
💰 Приз: 600 000 рублей
🏀 Участие: командой (от 2 до 3 человек)
🌐 Формат: онлайн

[СОР] IT_ONE Cup
⏰ Даты: 12.04 - 29.04 (рег. до 11.04)
💡 [NLP] Трек 1 - Динамические контекстные подсказки для системного аналитика.
💡 [NLP] Трек 2 - AI-генератор дизайн-макетов по описанию требований.
💡 [NLP] Трек 3 - Система визуализации BPMN-диаграмм.
💰 Приз: 1 500 000 рублей
🏀 Участие: соло или командой (до 5 человек)
🌐 Формат: онлайн

[ХАК] МТС True Tech Hack
⏰ Даты: 17.04 - 22.04 (рег. до 16.04)
💡 [CV] TouchVision: AI-ассистент для незрячих и слабовидящих пользователей.
💡 [NLP] MWS GPT: разработай компактную модель «ученик» для эффективной и быстрой классификации текста, которая будет дистиллирована знаниями из тяжелой модели «учителя».
💰 Приз: 1 500 000 рублей
🏀 Участие: командой (от 2 до 5 человек)
🌐 Формат: онлайн

Соревнования на июль-сентябрь :)

[СОР] E-CUP 2025
⏰ Даты: 18.07 - 14.09 (рег. с 07.07)
💡 [REC] Задача 1. Предсказание следующей покупки пользователя Ozon.
💡 [OPT] Задача 2. Логистика: автопланирование работы курьеров.
💡 [ML/CV] Задача 3. Контроль качества: автоматическое выявление поддельных товаров по описанию и метаданным.
💰 Приз: 7 200 000 рублей
🏀 Участие: соло или командой (до 5 человек)
🌐 Формат: онлайн


[ХАК] ODS Pethathon 2025: Vibe Coding Challenge

Онлайн-соревновании, где участники объединяются в команды по интересам, чтобы под руководством менторов разработать с нуля продукт за столь сжатый срок, используя последние достижения в области ИИ для кодинга.
Это шанс не только прокачать навыки вайб-кодинга, но и узнать, как правильно использовать агентов: как и у любого инструмента, у них есть сильные и слабые стороны, особенности эксплуатации; обменяться ценными лайфхаками и получить практический опыт на проектах, приближенных к реальности.

Регистрация и темы проектов.

Таймлайн:
- 24 июля закрывается регистрация.
- 25 июля - вводные лекции, менторы создают чатики для команд в телеграмме.
- 27 июля - капитаны утверждают состав, название и тему.
- 3 августа команды проводят свои презентации. Призовых рубрики две - "Лучший проект" (определяется жюри), и "Лучшие лайфхаки" (определяется открытым голосованием среди участников).


[СОР] FlightRank 2025: Aeroclub RecSys Cup
⏰ Даты: 17.06 - 17.08
💡 [REC] Создайте модель ранжирования рейсов, которая предсказывает, какой вариант полета выберет бизнес-путешественник.
💰 Приз: $10,000 (в России также выплачиваются)
🏀 Участие: соло или командой
🌐 Формат: онлайн


[ХАК] MORE.Tech
⏰ Даты: 27.08 – 20.09
💡 [NLP] AI HR. ИИ-ассистент для проведения собеседований.
💰 Приз: 500 000 рублей
🏀 Участие: команда (2-5 человек)
🌐 Формат: онлайн


[ХАК] RLT.Tender_Guide
⏰ Даты: 06.09 - 07.09
💡 [NLP] Создание интеллектуальной системы для поддержки пользователей.
💰 Приз: 525 000 рублей
🏀 Участие: команда
🌐 Формат: гибридный (офлайн в Новосибирске должно быть 50% команды)


[ХАК] ЛЦТ
⏰ Даты: 18.08 – 23.09
💡 20 разнообразных задач
💰 Приз: 40 000 000 рублей
🏀 Участие: команда (2-5 человек)
🌐 Формат: онлайн


[ХАК] Tender Hack. Самара
⏰ Даты: 19.09 – 21.09
💡 [NLP] Умная поисковая строка: реализовать умную поисковую строку, позволяющую обрабатывать запросы на естественном языке и выполнять действия, соответствующие намерениям пользователей .
💰 Приз: 500 000 рублей
🏀 Участие: команда (3-5 человек)
🌐 Формат: офлайн (г. Самара)


[ХАК] Т1
⏰ Даты: 19.09 – 22.09
💡 [NLP] HR Консультант: разработай персонального ИИ-консультанта, который предлагает сотрудникам персонализированные карьерные сценарии и помогает HR искать внутренние таланты по умным фильтрам.
💰 Приз: 300 000 рублей
🏀 Участие: команда (3-5 человек)
🌐 Формат: онлайн + финал на площадке

Осень - время созревания хакатонов :)

[СОР] Up Great «Экспедиция. Data Science»
⏰ Даты: 15.09 – 31.12 (рег. до 14.10)
💡 [CV] Создай алгоритм для обнаружения археологических объектов (скрытых курганов, древних дорог и исторических артефактов) с помощью спутниковых снимков, LiDAR и аэрофотосъёмки.
💰 Приз: 5 000 000 ₽
🏀 Участие: команда (2-5 человек)
🌐 Формат: онлайн


[СОР] Wunder RNN Challenge
⏰ Даты: 15.09 – 01.12
💡 [ML] Соревнование по нейронкам от HFT-фонда Wunder Fund. Участникам предстоит создать модель, предсказывающую следующее состояние рынка на основе последовательности предыдущих состояний.
💰 Приз: 13 600 $
🏀 Участие: соло
🌐 Формат: онлайн


[СОР] RuCode
⏰ Даты: 01.09 – 26.10
💡 [ML] Контент-мейкер. Предсказать предсказывающую просмотр видео пользователями на основе истории просмотров, метаданных видео и демографических сведений.
💡 [ML] Найди инвестора. Предсказать готовность клиентов банка инвестировать в новые инновационные проекты, используя данные предыдущих предложений.
💡 [ML] Что посмотрим? Создать систему рекомендаций, формирующую для каждого пользователя упорядоченный топ-10 видеороликов, по его предпочтениям и истории просмотров.
💡 [ML] Тайна исчезнувших пассажиров. Ваша задача предсказать, кто из пассажиров оказался перемещён в другое измерение, используя данные бортового компьютера.
💡 [ML] Финансовый щит. Банку требуется классификатор транзакций в реальном времени, способный выявлять мошенничество среди потока поступающих данных с учётом изменения поведения пользователей.
💰 Приз: игровая приставка, умная колонка, внешний накопитель, мышь беспроводная
🏀 Участие: команда или соло
🌐 Формат: онлайн (в финале — очная защита)


[ХАК] Finam AI Trade Hack
⏰ Даты: 03.10 – 04.10 (рег. до 29.09)
💡 [NLP] Прогноз динамики цен с учетом новостей
💡 [NLP] LLM‑интерфейс к Trade API
💡 [NLP] Поиск горячих новостей на тему финансов
💰 Приз: 1 200 000 рублей
🏀 Участие: командное
🌐 Формат: онлайн


[СОР] AI Journey Contest 2025
⏰ Даты: 04.09 – 30.10
💡 [NLP] Agent-as-Judge: создай универсального «судью» для оценки текстов, сгенерированных ИИ.
💡 [NLP] Human-centered AI Assistant: разработай персонализированного ассистента на основе GigaChat.
💡 [NLP] GigaMemory: придумай механизм долговременной памяти для LLM.
💰 Приз: 6 500 000 ₽
🏀 Участие: команда или соло
🌐 Формат: онлайн


[ХАК] Т1 в Минске
⏰ Даты: 14.10 – 17.10 (рег. до 12.10)
💡 [NLP] Smart Support: поддержка нового поколения. Разработайте ИИ-ассистента для службы поддержки с real-time подсказками из базы знаний.
💰 Приз: 300 000 ₽
🏀 Участие: команда (3-5 человек)
🌐 Формат: онлайн + очный финал (Минск, проспект Победителей, д. 2)


[ХАК] Открой#Моспром
⏰ Даты: 17.10 – 19.10 (рег. до 13.10)
💡 [NLP] ИИ-агент: прототип агентной системы для обработки обращений в техподдержку.
💰 Приз: 2 500 000 ₽
🏀 Участие: команда (3-5 человек)
🌐 Формат: онлайн или офлайн (ОЭЗ «Технополис Москва»)


[ХАК] Т1 в Новосибирске
⏰ Даты: 23.10 – 26.10
💡 [CV] Цифровой дресс-код: необходимо разработать модель, которая сегментирует в видеопотоке человека от фона.
💰 Приз: 400 000 ₽
🏀 Участие: команда (3-5 человек)
🌐 Формат: онлайн + очный финал (Новосибирск, Академгородок, ул. Пирогова, д. 3)


[СОР] Overnight Finance Challenge
⏰ Даты: 20.10 - продолжительность 1.5-2 месяца
💡 [ML] Разработать модель, которая решает задачу MultiClass Classification на 5 классов — то есть делать краткосрочные предсказания направления движения цены пары ETH/USDC (spot), разделяя исходы на пять категорий.
💰 Приз: 5000 USD (криптой)
🏀 Участие: команда или соло
🌐 Формат: онлайн