Всем привет!🤟

Кто-то ждал, а кто-то не ждал, но я дописал вторую часть обзора дельта-метода.
Совокупно с первой частью получилось очень много математики, очень много практических кейсов.

Во второй части мы обсудим рег. тесты, оценки АБ-тестов с квантилями, которые, как окажется, являются просто продолжение рег. тестов :)

Надеюсь, что я смог убедить вас в неиспользовании бутстрапа, так как я официально отказываюсь от него в своих расчетах, кроме может быть быстрых расчетов в тетрадке, но не в проде!

Ставь 🐳, если перешел в клуб любителей дельта-метода!

https://telegra.ph/Delta-metod-v-AB-testah-CHast-2-09-21

Всем хорошего дня!

#llm #code #petproject

На внутреннем митапе сделал доклад про свой опыт использования ИИ-инструментов в разработке - какие есть виды, полезные советы, как сэкономить. Решил переложить его в текстовую форму - опытные вайб-кодеры, наверное, не найдут очень много полезного, но остальным может быть интересно.

Недавно с помощью ИИ как раз запилил интересный внутренний инструмент на основе LLM - алерт-менеджер, который помогает дежурным лучше работать с инцидентами. Если интересно - могу написать постик.

И ещё пара моментов.

Вопрос - мне надоел Телеграф, картинки неудобно вставлять, ссылки на разделы нельзя давать, где лучше писать посты, есть идеи? Или проще свой поднять сайт?

Предложение - пройти опрос State of Data 2025 от моего товарища из PT Олега Кочергина, результаты он подобьёт в инсайты на конфе SmartData в октябре.

#Жека #llm

#analytics #career #courses #novice

Подготовили для вас роадмапу по аналитике с подробным гайдом по работе с ней, с основными и провдинутыми темами, а также пет-проектами. Этот гайд поможет структуировать ваши знания по аналитике. Всем успешной подготовки к следующим сезонам стажировок!

Давайте наберём 500 огоньков 🔥 и соберем такой же только в ML.

@postypashki_old

#llm #petproject

Большинство советов по ускорению Pandas звучат одинаково: «уберите циклы», «используйте apply», «снижайте размер типов». Но правда в том, что в реальном проекте эти правила работают не всегда — иногда даже замедляют пайплайн и увеличивают потребление памяти.

В статье на Хабре мы собираем бенчмарки скорости и памяти на разных сценариях и делаем практические выводы, какие из лайфхаков реально работают и при каких ограничениях. А именно:

👾 Iterrows vs itertuples: почему официальная рекомендация из документации pandas может привести к Out of Memory и замедлению пайплайна.
👾 apply с raw=True: малоизвестный аргумент, который даёт почти тот же прирост, что NumPy-векторизация — без полного переписывания кода.
👾 merge → loc или reindex: правда ли merge — швейцарский нож в мире датафреймов?
👾 Типы данных: int8 vs int64, float32 vs float64, categorical и sparse — что реально экономит ресурсы, а что даёт мизерный эффект.
👾 Параллелизация: pandarallel и multiprocessing — какой инструмент выбрать и почему (или не выбирать ни один).

Если вы работаете с большими объёмами данных на Pandas, наша статья поможет избавиться от «оптимизаций ради оптимизаций».

#dl #nlp #interview

Внимание. С картинками.

До того, как стала популярна механистическая интерпретируемость, в трансформерах много надежды возлагалось на Attention. Кажется, что сейчас интерес к голому исследованию Attention спал, но всё же это чертовски красивый механизм.

Один из примеров визуализации красоты — наткнулась сегодня — визуализация Attention Flows. И вот, в статье, авторы попробовали понять механизм fine-tuning на основе сравнения Attention для претрейненной и нет модели.

Что сделали:

1. Рассмотрели граф внимания, рассмотрев как отправной [CLS] токен (на последнем слое);
2. Для каждой головы внимания выбрали токены, на которые [CLS] смотрит с весом выше порога (τ).
3. Этим токенам присвоили значения узлов на предыдущем слое, а ребра (связь слоя l-1, со слоем l) — обозначили за силу их влияния.
4. Повторили процесс для каждого выбранного токена, двигаясь слой за слоем назад, пока не будут пройдены все слои.

Почему [CLS] — в BERT финальное эмбеддинг-представление используется для классификации (через линейный слой). И всё, что модель «собирает» из текста, в итоге агрегируется в [CLS]. Поэтому, чтобы понять, какие слова повлияли на решение, начали анализ именно с этого токена.

Если алгоритм вас не впечатлил — просто посмотрите на картинку. Получилось безумно красиво.

Чего достигли на основе построения таких картинок:

Решили 3 задачи. Вернее, попробовали решить.

* T1 – Trace and query self-attention: выбор токенов или голов внимания и просмотр, как внимание распространяется по слоям вперёд и назад.
* T2 – Discover attention functionality: понимание того, какие головы и слова наиболее важны для решения задачи — как в сумме, так и по отдельности.
* T3 – Compare models: сравнение внимания в исходной и дообученной модели, поиск уникальных и общих голов внимания и различий в слоях.

Модели между собой посранивали интересно. Инсайты можно найти в статье. И очень ведь красивый инструмент — сравнивать модели на основе вот этих визуальных карт. Красивый, но чертовски непродуктивный — можно упустить детали, если анализировать своими глазами.

Но картинки — просто чудо.

#llm #ab

#gan #petproject

Зацените как можно на лету добавлять различные элементы в видео: юнцу - бороду, тигру - полосы, афродядьке - новую голову

Все выглядит вполне консистентно

Добавить себе татухи или подкачать бицухи можно тут:
https://ebsynth.com/

Nano banana + Veo + EbSynth: и ты сам себе режиссер!