Forwarded from Борис опять
Новая, хорошая и подробная статья от Яндекса на Хабре про применение YandexGPT для пересказа видео. Достаточно редкий материал про обучение и применение большой языковой модели на стыке текста и видео.
Очень подробно описывают этапы решения задачи. Постановка проблемы, формализация качества, структурирование выхода, выбор модели, промежуточные классификаторы в пайплайне для разбивки видео на осмысленные части (моя любимая тема), (до)обучение, проверка модели на криты (конкретные бесящие примеры, интересный подход, почти как юнит-тесты).
Ребята выбрали не обучать модель с нуля, а учить LoRA адаптер, что уже стало для них стандартом. Пишут интересную вещь про масштабирование: докидывание больше 50 000 примеров не добавляло модели качества. В итоге остановились на 20 000 примеров (ручных саммаризаций видео) в тренировочном датасете. Так же оказалось, что LoRA тюн более устойчив к промпт-инъекциям.
К тому же статья легко читается, так что советую не ограничиваться моим пересказом.
Очень подробно описывают этапы решения задачи. Постановка проблемы, формализация качества, структурирование выхода, выбор модели, промежуточные классификаторы в пайплайне для разбивки видео на осмысленные части (моя любимая тема), (до)обучение, проверка модели на криты (конкретные бесящие примеры, интересный подход, почти как юнит-тесты).
Ребята выбрали не обучать модель с нуля, а учить LoRA адаптер, что уже стало для них стандартом. Пишут интересную вещь про масштабирование: докидывание больше 50 000 примеров не добавляло модели качества. В итоге остановились на 20 000 примеров (ручных саммаризаций видео) в тренировочном датасете. Так же оказалось, что LoRA тюн более устойчив к промпт-инъекциям.
К тому же статья легко читается, так что советую не ограничиваться моим пересказом.
Forwarded from Aspiring Data Science (Anatoly Alekseev)
YouTube
Recap | Quant Trading in Futures
Remember that quant trading is all about predicting the future, and not about modeling the past. A disciplined approach that recognizes and avoids biases is absolutely critical in order to avoid overfitting and find success as a quant trader.
Playlist …
Playlist …
Forwarded from novichkov.net (Алексей Новичков)
Смотрите, вот сылки на видео, которые обязательно даю студентам на своём курсе. Это коллекция, которую я собрал, храню и распространяю. Вот и с вами теперь поделился
- Надежда Андрианова про экономическую инфографику
- Надежда Андрианова про пайчарты
- Антон Мизинов про инфографику о COVID-19
- Максим Осовский про схемы
- Роман Бунин про Эдварда Тафти
- Михаил Шифрин про инфографику в науке
- Татьяна Мисютина про инфографику в образовании
- Татьяна Мисютина про алгоритм визуализации сложных данных
Очень благодарен Тине Бережной, которая организовала и провела часть этих интервью. Рад что тоже немного причастен. Надеюсь, хоть кто-то из студентов посмотрит )
- Надежда Андрианова про экономическую инфографику
- Надежда Андрианова про пайчарты
- Антон Мизинов про инфографику о COVID-19
- Максим Осовский про схемы
- Роман Бунин про Эдварда Тафти
- Михаил Шифрин про инфографику в науке
- Татьяна Мисютина про инфографику в образовании
- Татьяна Мисютина про алгоритм визуализации сложных данных
Очень благодарен Тине Бережной, которая организовала и провела часть этих интервью. Рад что тоже немного причастен. Надеюсь, хоть кто-то из студентов посмотрит )
YouTube
Надежда Андрианова на Media & Design Conference
Как мы создавали площадку для экспертного экономического сообщества и работает ли она?
Надежда Андрианова
Арт-директор, econs.online:
«Организация производства инфографики, адаптированной под площадку, необходима для серьезного экономического издания».
Надежда Андрианова
Арт-директор, econs.online:
«Организация производства инфографики, адаптированной под площадку, необходима для серьезного экономического издания».
Forwarded from Базы данных & SQL
Forwarded from New World AI 🌐
Какими качествами должен обладать настоящий руководитель и лидер?
Найти настоящего менеджера – это очень непростая задача. За 10 лет я от интервьюировал в районе 1000 человек на разные позиции.
И могу сказать, что из них конверсия в действительно настоящего менеджера ~ 1-1,5%
Типы менеджеров тоже можно сгруппировать по разным когортам в зависимости от контура, за который он отвечает, культуры компании, стадия и так далее.
Ниже постарался вынести за скобки качества, которым необходимо обладать C-level в независимости от всех факторов:
1. Умение копать и дожимать. Большинство руководителей поверхностные. Они не умеют копать в суть. А копать в суть часто — это идти в конфликт. Не мириться с халатностью. Безответственностью. Дожимать цели до результата. 99% – для него это не результат.
2. Умение отделять важное от второстепенного и фокусироваться на важном. Что самое важное? Эта задача, не сделав которую впервую очередь все остальные задачи не имеют смысла.
3. Мышление собственника бизнеса. Настоящий высокоуровневый менеджер = бизнесмен. Он полностью несёт ответственность за свой участок в бизнесе и ему не нужен контроль или чтобы кто-то ткнул носом, что здесь жопа.
4. У него есть чёткая система управления и ритуалы. Он проводит Daly, weekly и monthly митинги с командой. У него оцифрованный все ключевые показатели.
Чем дилетант отличается от профессионала? Профессионал всегда управляет и влияет на цифры. Буквально если разбудить его ночью он сходу до десятичных долей назовёт точные цифры по своему направлению.
5. Требовательный. Если есть договорённости, он требует как от себя так и от всех остальных их соблюдения. Он требует лучшего качества, более высокой юскорости производительности.
6. Последовательный. Все его действия синергетичесны со стратегией компании и целесообразны.
7. Эмпатичный и приятный как человек. Вне рамках бизнеса с ним просто интересно и приятно проводить время. В рамках бизнеса он выслушает, постарается разобраться в голове и решить проблему. При этом он чётко отделяет бизнес, как профессиональный спорт и личный отношения.
8. Желание быть №1 в мире и победить. Для него бизнес это как гоночная трасса, цель которой прийти к финишу первыми. Он каждый день улучшается и быстро учится и тянет за собой всю команду.
9. Он ставит цели команде и помогает выстроить тактические действия, а не ждёт, пока ему спустят цели и скажут как достичь. Он обладает введением и самостоятельно формулирует цели и пути достижения общих целей компании
10. Преданность и вовлечённость. Он предан идее и вовлечен на 101% во бизнес и видение и своим энтузиазмом заражает всю команду
Найти настоящего менеджера – это очень непростая задача. За 10 лет я от интервьюировал в районе 1000 человек на разные позиции.
И могу сказать, что из них конверсия в действительно настоящего менеджера ~ 1-1,5%
Типы менеджеров тоже можно сгруппировать по разным когортам в зависимости от контура, за который он отвечает, культуры компании, стадия и так далее.
Ниже постарался вынести за скобки качества, которым необходимо обладать C-level в независимости от всех факторов:
1. Умение копать и дожимать. Большинство руководителей поверхностные. Они не умеют копать в суть. А копать в суть часто — это идти в конфликт. Не мириться с халатностью. Безответственностью. Дожимать цели до результата. 99% – для него это не результат.
2. Умение отделять важное от второстепенного и фокусироваться на важном. Что самое важное? Эта задача, не сделав которую впервую очередь все остальные задачи не имеют смысла.
3. Мышление собственника бизнеса. Настоящий высокоуровневый менеджер = бизнесмен. Он полностью несёт ответственность за свой участок в бизнесе и ему не нужен контроль или чтобы кто-то ткнул носом, что здесь жопа.
4. У него есть чёткая система управления и ритуалы. Он проводит Daly, weekly и monthly митинги с командой. У него оцифрованный все ключевые показатели.
Чем дилетант отличается от профессионала? Профессионал всегда управляет и влияет на цифры. Буквально если разбудить его ночью он сходу до десятичных долей назовёт точные цифры по своему направлению.
5. Требовательный. Если есть договорённости, он требует как от себя так и от всех остальных их соблюдения. Он требует лучшего качества, более высокой юскорости производительности.
6. Последовательный. Все его действия синергетичесны со стратегией компании и целесообразны.
7. Эмпатичный и приятный как человек. Вне рамках бизнеса с ним просто интересно и приятно проводить время. В рамках бизнеса он выслушает, постарается разобраться в голове и решить проблему. При этом он чётко отделяет бизнес, как профессиональный спорт и личный отношения.
8. Желание быть №1 в мире и победить. Для него бизнес это как гоночная трасса, цель которой прийти к финишу первыми. Он каждый день улучшается и быстро учится и тянет за собой всю команду.
9. Он ставит цели команде и помогает выстроить тактические действия, а не ждёт, пока ему спустят цели и скажут как достичь. Он обладает введением и самостоятельно формулирует цели и пути достижения общих целей компании
10. Преданность и вовлечённость. Он предан идее и вовлечен на 101% во бизнес и видение и своим энтузиазмом заражает всю команду
Forwarded from Samvel K
#LB_probing три истории про эксплойты через зондирование лидерборда
1. https://export.arxiv.org/pdf/1707.01825
2. https://www.kaggle.com/code/cdeotte/lb-probing-strategies-0-890-2nd-place/
3. https://www.kaggle.com/c/30-days-of-ml/discussion/269541/
1. https://export.arxiv.org/pdf/1707.01825
2. https://www.kaggle.com/code/cdeotte/lb-probing-strategies-0-890-2nd-place/
3. https://www.kaggle.com/c/30-days-of-ml/discussion/269541/
Forwarded from Сиолошная
Некто "Denis Shiryaev" (aka @denissexy) хвастается новым алгоритмом рекомендации музыки на... Claude 3.
1) выгрузить весь плейлист из Spotify
2) дать простой промпт с запросом на рекомендацию музыки
3) (опционально) указать настроение
4) поднять температуру генерации
5) PROFIT, 8 из 10 предложенных треков добавлены
Промпт (в 3 разных последовательных шага):
😭 жаль все мои треки в VK, над посмотреть как выгрузить
1) выгрузить весь плейлист из Spotify
2) дать простой промпт с запросом на рекомендацию музыки
3) (опционально) указать настроение
4) поднять температуру генерации
5) PROFIT, 8 из 10 предложенных треков добавлены
Промпт (в 3 разных последовательных шага):
Assume you are a personal music expert with vast industry knowledge. You are the most well-known music critic in the world. I will send you a list of my favorite songs and the commands for what to do with them.
---
Describe what music taste I have.
---
Your goal will be to recommend the top 10 songs that I will like and that are NOT on this list.
Focus on the less famous and niche songs/bands.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Start Career in DS
🌐 ML на графах для решения задачи матчинга
Один из наших подписчиков, Иван, написал очень крутую статью про решение задач матчинга с помощью графовых нейронных сетей.
А если конкретнее - про применение алгоритмов кластеризации на графах при поиске одинаковых товаров в онлайн-магазине.
Классический подход для решения такой задачи состоит из двух этапов:
1. Подбор кандидатов. На этом этапе используется грубый, но быстрый алгоритм для подбора большого количества схожих объектов, потенциальных пар
2. Проверка пар моделью (т. н. матчинг) — более точная проверка того, действительно ли в паре одинаковые объекты.
У объекта может быть более одного дубликата, и хочется их объединять в одну группу, один кластер.
Просто склеить все найденные пары в один кластер — не лучшая идея, поскольку предсказания модели на 2 этапе имеют не нулевой процент ошибок, а такая склейка их только размножит.
В статье рассказывается про то, как алгоритмы Community Detection позволяют эту проблему решать
Статья на хабре тут
Один из наших подписчиков, Иван, написал очень крутую статью про решение задач матчинга с помощью графовых нейронных сетей.
А если конкретнее - про применение алгоритмов кластеризации на графах при поиске одинаковых товаров в онлайн-магазине.
Классический подход для решения такой задачи состоит из двух этапов:
1. Подбор кандидатов. На этом этапе используется грубый, но быстрый алгоритм для подбора большого количества схожих объектов, потенциальных пар
2. Проверка пар моделью (т. н. матчинг) — более точная проверка того, действительно ли в паре одинаковые объекты.
У объекта может быть более одного дубликата, и хочется их объединять в одну группу, один кластер.
Просто склеить все найденные пары в один кластер — не лучшая идея, поскольку предсказания модели на 2 этапе имеют не нулевой процент ошибок, а такая склейка их только размножит.
В статье рассказывается про то, как алгоритмы Community Detection позволяют эту проблему решать
Статья на хабре тут
Forwarded from КПД
Сказ о потерянном skip connection.
Забабахал архитектуру.
Обучаю трансформер.
Чет лосс почти не падает.
Кручу-верчу лернинг рейт, один хрен.
Смотрю на выход (с zero инициализацией на последнем слое), и он еле-еле колеблется в районе 0.
Чешу репу, смотрю код, и опа!
В трансформерном блоке было нечто такое (для краткости опущены нормализации и RoPE):
Добавил потерянный skip и все заработало 🚀.
Мораль сей басни такова - не теряйте skip connections!
Забабахал архитектуру.
Обучаю трансформер.
Чет лосс почти не падает.
Кручу-верчу лернинг рейт, один хрен.
Смотрю на выход (с zero инициализацией на последнем слое), и он еле-еле колеблется в районе 0.
Чешу репу, смотрю код, и опа!
В трансформерном блоке было нечто такое (для краткости опущены нормализации и RoPE):
x = x + self_attn(x)
x = cross_attn(x)
x = x + feedforward(x)Добавил потерянный skip и все заработало 🚀.
Мораль сей басни такова - не теряйте skip connections!
Forwarded from Заметки Computer Vision инженера
Я смотрю тут все ждут тестов двух новых плат?
Пока что не будет! И даже... Не будет куда более эпичного видео которое я готовлю последний месяц, но которое скоро выйдет...;)
Сегодня будет продолжение прошлого видео о том где используется Computer Vision. Я продолжу рассказывать о том где применяется Computer Vision. Но на этот раз я попробую рассказать про сложные системы которые помогал разрабатывать. Попробовал уложить каждый из них в ~1 минуту, чтобы дать общую картинку того что такое Computer Vision. Надеюсь это будет просто любопытно + поможет новичкам понять что им может быть интересно.
https://youtu.be/9t8eASTrIP0
Пока что не будет! И даже... Не будет куда более эпичного видео которое я готовлю последний месяц, но которое скоро выйдет...;)
Сегодня будет продолжение прошлого видео о том где используется Computer Vision. Я продолжу рассказывать о том где применяется Computer Vision. Но на этот раз я попробую рассказать про сложные системы которые помогал разрабатывать. Попробовал уложить каждый из них в ~1 минуту, чтобы дать общую картинку того что такое Computer Vision. Надеюсь это будет просто любопытно + поможет новичкам понять что им может быть интересно.
https://youtu.be/9t8eASTrIP0
YouTube
Computer Vision from inside
00:00:00 - Intro
00:00:56 - Iris recognition
00:01:42 - Car Plate Recognition
00:02:54 - Vien Palm Recognition
00:04:02 - 3D reconstruction - ICP, SLAM, Scanning
00:05:20 - X-Ray fluorography
00:06:44 - Goods recognition in stores
00:08:42 - 3D navigation…
00:00:56 - Iris recognition
00:01:42 - Car Plate Recognition
00:02:54 - Vien Palm Recognition
00:04:02 - 3D reconstruction - ICP, SLAM, Scanning
00:05:20 - X-Ray fluorography
00:06:44 - Goods recognition in stores
00:08:42 - 3D navigation…
Forwarded from Клуб CDO (Denis Afanasev)
Дайджест статей
Baseline OpenAI end-to-end chat reference architecture
https://learn.microsoft.com/en-us/azure/architecture/ai-ml/architecture/baseline-openai-e2e-chat
Using Data Democratization for Better Business Forecasting and Results
https://www.smartdatacollective.com/using-data-democratization-for-better-business-forecasting-and-results/?utm_source=pocket_saves
Data Cleaning in Python vs. Data Quality Tools
https://www.datasciencecentral.com/data-cleaning-in-python-vs-data-quality-tools/?utm_source=pocket_saves
Introduction to Modern Data Stack
https://dzone.com/articles/introduction-to-modern-data-stack?utm_source=pocket_saves
Data Analytics Trends To Watch in 2024
https://dzone.com/articles/data-analytics-trends-to-watch?utm_source=pocket_saves
The Evolution of Database Architectures: Navigating Big Data, Cloud, and AI Integration
https://dzone.com/articles/the-evolution-of-database-architectures-navigating?utm_source=pocket_saves
Платформа Rasa в действии: оценка работы виртуального ассистента с помощью конвейера данных диалогов и аналитики
https://habr.com/ru/articles/798879
6 способов применения искусственного интеллекта для автоматизации процессов продаж
https://habr.com/ru/articles/799127/
Эпоха цифровых двойников: как виртуальные модели выводят промышленность на новый уровень
https://habr.com/ru/companies/sberbank/articles/797827/
Цена качества модели: как метрики качества модели машинного обучения влияют на финансовый результат
https://habr.com/ru/articles/798077/
Baseline OpenAI end-to-end chat reference architecture
https://learn.microsoft.com/en-us/azure/architecture/ai-ml/architecture/baseline-openai-e2e-chat
Using Data Democratization for Better Business Forecasting and Results
https://www.smartdatacollective.com/using-data-democratization-for-better-business-forecasting-and-results/?utm_source=pocket_saves
Data Cleaning in Python vs. Data Quality Tools
https://www.datasciencecentral.com/data-cleaning-in-python-vs-data-quality-tools/?utm_source=pocket_saves
Introduction to Modern Data Stack
https://dzone.com/articles/introduction-to-modern-data-stack?utm_source=pocket_saves
Data Analytics Trends To Watch in 2024
https://dzone.com/articles/data-analytics-trends-to-watch?utm_source=pocket_saves
The Evolution of Database Architectures: Navigating Big Data, Cloud, and AI Integration
https://dzone.com/articles/the-evolution-of-database-architectures-navigating?utm_source=pocket_saves
Платформа Rasa в действии: оценка работы виртуального ассистента с помощью конвейера данных диалогов и аналитики
https://habr.com/ru/articles/798879
6 способов применения искусственного интеллекта для автоматизации процессов продаж
https://habr.com/ru/articles/799127/
Эпоха цифровых двойников: как виртуальные модели выводят промышленность на новый уровень
https://habr.com/ru/companies/sberbank/articles/797827/
Цена качества модели: как метрики качества модели машинного обучения влияют на финансовый результат
https://habr.com/ru/articles/798077/
Docs
Baseline Microsoft Foundry Chat Reference Architecture - Azure Architecture Center
Learn how to build network-secured, highly available, and zone-redundant enterprise chat applications by using Microsoft Foundry tools and Azure App Service.