Сегодня на Practical ML
Уже третий раз на этой конференции. Она опять круто сделана. Качество докладов очень высокое.
Мы и в этот раз с докладом. Ходили с ребятами поддержать Антона с его выступлением про DL CTR.
И, конечно, подходите познакомится и пообщаться! Буду очень рад 🙂
Уже третий раз на этой конференции. Она опять круто сделана. Качество докладов очень высокое.
Мы и в этот раз с докладом. Ходили с ребятами поддержать Антона с его выступлением про DL CTR.
И, конечно, подходите познакомится и пообщаться! Буду очень рад 🙂
🔥20❤5👍3
Как нас с другом приняли за ***
Предыстория. Приехали мы в командировку в СПб, чтобы посидеть вместе с сейлзами и послушать, как они общаются с клиентами.
Я обожаю все, что касается общения с клиентами. На такое у нас кстати берут не только менеджеров, но и обычных дата сайнтистов. Но к теме
Мы с Денисом заходим в отель. Отель шикарный, исторический - нам открывают дверь швейцары, интерьер с вензелями, вид на Исакий. Мы даем паспорта. Мой паспорт что-то долго смотрят и ничего не говорят. Берут паспорт Дениса и говорят - нашли вашу бронь.
Спрашивают - вы вдвоем? А к Денису должна приехать жена. Он говорит - да, вдвоем, до выходных. Нам улыбаются и начинают оформлять 😅
Я понимаю, что что-то не так. Проверяю бронь и понимаю, что у меня другой отель. К счастью он в соседнем доме. Я об этом говорю, возникает неловкая пауза, мы с Денисом заливаемся смехом, а ресепшионист нет 😂 Я забираю паспорт и поспешно ретируюсь.
Совет: внимательнее проверяйте отель в который вы заселяетесь 😀
Предыстория. Приехали мы в командировку в СПб, чтобы посидеть вместе с сейлзами и послушать, как они общаются с клиентами.
Я обожаю все, что касается общения с клиентами. На такое у нас кстати берут не только менеджеров, но и обычных дата сайнтистов. Но к теме
Мы с Денисом заходим в отель. Отель шикарный, исторический - нам открывают дверь швейцары, интерьер с вензелями, вид на Исакий. Мы даем паспорта. Мой паспорт что-то долго смотрят и ничего не говорят. Берут паспорт Дениса и говорят - нашли вашу бронь.
Спрашивают - вы вдвоем? А к Денису должна приехать жена. Он говорит - да, вдвоем, до выходных. Нам улыбаются и начинают оформлять 😅
Я понимаю, что что-то не так. Проверяю бронь и понимаю, что у меня другой отель. К счастью он в соседнем доме. Я об этом говорю, возникает неловкая пауза, мы с Денисом заливаемся смехом, а ресепшионист нет 😂 Я забираю паспорт и поспешно ретируюсь.
Совет: внимательнее проверяйте отель в который вы заселяетесь 😀
😁45❤2🔥1
Поиск и LLM. Как сломался data-driven подход
Из разговоров на кухне☕ . Я уже давно перестал пользоваться традиционным поиском, таким как Яндекс и Google, и перешел на ChatGPT. Это глобальный тренд. ChatGPT и его аналоги существенно лучше работают. Кто-то использует Perplexity, например
Что мне меньше нравится в обычном поиске - это качество источников. Вводишь условно «как лучше спать», тебе выходят статьи из комсомольской правды. А ChatGPT даст саммари и подкрепит ссылками на рецензируемые статьи с PubMed. Это конечно круто.
Необычность ситуации в том, что поиск - зрелая индустрия. В технологических гигантах сотни людей годами качают метрики качества поиска. Например, релевантность или конверсию в клик в ранжировании. И тут такой заметный скачок в пользовательском восприятии.
Почему так произошло? У меня одно объяснение. Традиционные метрики поиска на самом деле паршивые. Они недостаточно хорошо отражают пользовательское качество. Надеюсь не сильно расстроил читателей, который обучают ML модели в поиске на эти метрики (я сам из них🤷♂ ). Может быть поисковикам стоит начать показывать две выдачи слева и справа как ChatGPT?
#tech@big_ledovsky
Из разговоров на кухне
Что мне меньше нравится в обычном поиске - это качество источников. Вводишь условно «как лучше спать», тебе выходят статьи из комсомольской правды. А ChatGPT даст саммари и подкрепит ссылками на рецензируемые статьи с PubMed. Это конечно круто.
Необычность ситуации в том, что поиск - зрелая индустрия. В технологических гигантах сотни людей годами качают метрики качества поиска. Например, релевантность или конверсию в клик в ранжировании. И тут такой заметный скачок в пользовательском восприятии.
Почему так произошло? У меня одно объяснение. Традиционные метрики поиска на самом деле паршивые. Они недостаточно хорошо отражают пользовательское качество. Надеюсь не сильно расстроил читателей, который обучают ML модели в поиске на эти метрики (я сам из них
#tech@big_ledovsky
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥10❤2
Forwarded from Доска AI-объявлений
Собеседование в прямом эфире: ML system design
13 октября | 18:30 мск
Что будет на стриме:
1️⃣ Разберём ML system design кейс, который ещё в недавнем прошлом предлагали на реальных собеседованиях.
2️⃣ Поговорим про компетенции, которые в Авито ждут от DS-инженеров.
3️⃣ Разберём результаты по итогам решения кейса и ответим на ваши вопросы.
Кто будет на стриме:
👤 Интервьюеры — Саша Ледовский, руководитель DS команд монетизации Авито и Максим Каширин, руководитель Data Science направления в модерации Авито.
👤 Кандидат —Дмитрий Савелко, LLM-инженер в R&D команде банка Точка.
Больше информации про событие и регистрация на Timepad.
Пришлём вам ссылку с напоминанием за 5 минут до старта 🚀
13 октября | 18:30 мск
Что будет на стриме:
1️⃣ Разберём ML system design кейс, который ещё в недавнем прошлом предлагали на реальных собеседованиях.
2️⃣ Поговорим про компетенции, которые в Авито ждут от DS-инженеров.
3️⃣ Разберём результаты по итогам решения кейса и ответим на ваши вопросы.
Кто будет на стриме:
👤 Интервьюеры — Саша Ледовский, руководитель DS команд монетизации Авито и Максим Каширин, руководитель Data Science направления в модерации Авито.
👤 Кандидат —Дмитрий Савелко, LLM-инженер в R&D команде банка Точка.
Больше информации про событие и регистрация на Timepad.
Пришлём вам ссылку с напоминанием за 5 минут до старта 🚀
🔥18👍6❤2🤡2
Карьерные изменения и вакансии
Всем привет! У меня две новости 🙂
Во-первых, я постепенно перехожу на новую позицию внутри Авито. Я не могу рассказать подробности, но это новое направление бизнеса, и я буду отвечать там за DS. Я очень воодушевлен и верю, что новое направление будет очень успешным!
Во-вторых, у меня открываются вакансии. В новом направлении нужно будет собрать поиск и рекомендации практически с нуля. Конечно, мы по-максимуму используем все наработки, которые уже есть внутри компании. Но специфика нового направления очень велика. И это будет отдельно работающая система.
Кого ищу
Сейчас я ищу трех ребят уровня DS4 и DS5 по уровням Авито: мидл+ и синьоры. Ожидаю, что у вас есть опыт продового ML. Замечательно если в поиске, рекомендациях или рекламе. Но может быть это что-то другое, например чат-боты, автоматизация поддержки или модерация. Будет сложно, но очень интересно! Искренне думаю, что это одна из наиболее интересных позиций сейчас на рынке.
💎 Пишите в личку @aledovsky
Всем привет! У меня две новости 🙂
Во-первых, я постепенно перехожу на новую позицию внутри Авито. Я не могу рассказать подробности, но это новое направление бизнеса, и я буду отвечать там за DS. Я очень воодушевлен и верю, что новое направление будет очень успешным!
Во-вторых, у меня открываются вакансии. В новом направлении нужно будет собрать поиск и рекомендации практически с нуля. Конечно, мы по-максимуму используем все наработки, которые уже есть внутри компании. Но специфика нового направления очень велика. И это будет отдельно работающая система.
Кого ищу
Сейчас я ищу трех ребят уровня DS4 и DS5 по уровням Авито: мидл+ и синьоры. Ожидаю, что у вас есть опыт продового ML. Замечательно если в поиске, рекомендациях или рекламе. Но может быть это что-то другое, например чат-боты, автоматизация поддержки или модерация. Будет сложно, но очень интересно! Искренне думаю, что это одна из наиболее интересных позиций сейчас на рынке.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥40⚡8🍾7👍3❤1
Как инженеру качать навыки общения
Откровенно, многим инженерам чтобы расти, нужно качать софты😀 . Особенно, коммуникацию. И я на самом деле могу порекомендовать только один путь - поработать в колл-центре в холодных продажах позаниматься в актерской студии. Я ходил на голос и речь в мае, а потом продолжил с сентября и это очень круто.
Речь, пластика, то, как мы себя ведем, меняется очень медленно и регулярными усилиями. Совсем как тело меняется в спортзале. Однодневные тренинги по публичным выступлениям - это полнейшая шляпа.
А знаете эти обсуждения на 1-1? "Давай качать коммуникацию, сейчас составим роадмап, в этом квартале тебе нужно прочитать две книги и выступать на митапе" 😂
По итогу, мне занятия очень понравились. Я поразился насколько велика пропасть между профессиональным актером и обычным человеком с точки зрения владения собой. И ощутил эффект от того, что у меня что-то начало лучше получаться. Например, я научишся держать зрительный контакт с аудиторией.
Имплементировать в жизнь получается сильно не все. Я не понимаю как так происходит, что когда я забываюсь, начинаю быстро говорить, глотать слова и заполнять речь словами-паразитами. Но, все чаще я учусь это замечать и исправлять.
На фото - на мини-спектакле по Евгению Онегину. Столько стихов не учил во всей жизни 😁
PS. Хожу сюда, студию очень рекомендую
#career@big_ledovsky
Откровенно, многим инженерам чтобы расти, нужно качать софты
Речь, пластика, то, как мы себя ведем, меняется очень медленно и регулярными усилиями. Совсем как тело меняется в спортзале. Однодневные тренинги по публичным выступлениям - это полнейшая шляпа.
А знаете эти обсуждения на 1-1? "Давай качать коммуникацию, сейчас составим роадмап, в этом квартале тебе нужно прочитать две книги и выступать на митапе" 😂
По итогу, мне занятия очень понравились. Я поразился насколько велика пропасть между профессиональным актером и обычным человеком с точки зрения владения собой. И ощутил эффект от того, что у меня что-то начало лучше получаться. Например, я научишся держать зрительный контакт с аудиторией.
Имплементировать в жизнь получается сильно не все. Я не понимаю как так происходит, что когда я забываюсь, начинаю быстро говорить, глотать слова и заполнять речь словами-паразитами. Но, все чаще я учусь это замечать и исправлять.
На фото - на мини-спектакле по Евгению Онегину. Столько стихов не учил во всей жизни 😁
PS. Хожу сюда, студию очень рекомендую
#career@big_ledovsky
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥41❤17👍7😁1
Вчера от Авито проводили мероприятие-вечеринку для DS тимлидов и менеджеров. Было много друзей и знакомых, много с кем познакомился впервые.
Сразу хочу извиниться, что кого-то не позвали. Собирать гостей на ивенты без открытой регистрации дело не самое простое.
Душевный получился вечер. Одной из наших целей было создавать сильное комьюнити вокруг нас, и я считаю это удалось.
#lifestyle@big_ledovsky
Сразу хочу извиниться, что кого-то не позвали. Собирать гостей на ивенты без открытой регистрации дело не самое простое.
Душевный получился вечер. Одной из наших целей было создавать сильное комьюнити вокруг нас, и я считаю это удалось.
#lifestyle@big_ledovsky
🔥23❤11👍7
Потестировал Shopping Research в ChatGPT
На мой взгляд получилось ужасно. Причем именно с точки зрения продуктового флоу
🔸 Сперва даешь задачу на поиск какой-то вещи. Я попросил подобрать мне телефон на Андроиде
🔸 Проходишь небольшой опрос. Ответов на большинство вопросов я не знал. Например, что для меня важнее - основная камера или камера для селфи
🔸 Затем начинается tiktok. Смотришь ленту телефонов и нажимаешь нравится/не нравится
🔸 Затем ChatGPT выдает портянку с описанием нескольких моделей, которые по его мнению подходят тебе больше всего
Ключевая проблема - текущая реализация не помогает разобраться, что тебе нужно
Я использую ChatGPT для выбора вещей в трех сценариях: попросить сравнить набор моделей, попросить гайд на что смотреть при выборе вещи и попросить аналоги определенной модели.
Новый функционал пока не выглядит улучшением. Зато дает ссылки на магазины))
На мой взгляд получилось ужасно. Причем именно с точки зрения продуктового флоу
🔸 Сперва даешь задачу на поиск какой-то вещи. Я попросил подобрать мне телефон на Андроиде
🔸 Проходишь небольшой опрос. Ответов на большинство вопросов я не знал. Например, что для меня важнее - основная камера или камера для селфи
🔸 Затем начинается tiktok. Смотришь ленту телефонов и нажимаешь нравится/не нравится
🔸 Затем ChatGPT выдает портянку с описанием нескольких моделей, которые по его мнению подходят тебе больше всего
Ключевая проблема - текущая реализация не помогает разобраться, что тебе нужно
Я использую ChatGPT для выбора вещей в трех сценариях: попросить сравнить набор моделей, попросить гайд на что смотреть при выборе вещи и попросить аналоги определенной модели.
Новый функционал пока не выглядит улучшением. Зато дает ссылки на магазины))
👍5❤2
Forwarded from Доска AI-объявлений
Всем привет! Я Саша, DS-менеджер в Авито. Знакомые из других компаний часто задают мне такой вопрос: что значит «DS-менеджер»? Раскрываю карты.
Какие у него обязанности
DS-менеджер — это руководитель нескольких команд. Что он делает, можно посмотреть в матрице компетенций.
Ключевые вещи: формирование стратегии, архитектурного видения, выстраивание процессов и бОльший по сравнению с тимлидом горизонт планирования. Ну и конечно работа с руководителями — тимлидами.
На что я трачу своё время
Объяснить структуру рабочего дня по матрице компетенций сложно. Для себя я делю время по характеру деятельности. В таком виде, мне кажется, вам будет понятнее. Цифры ниже основаны на моих личных заметках за последние недели.
👉 Операционная работа: 2 часа в день. В основном статусы, дейли, 1-1, собеседования. Всё, чтобы поддерживать эффективную работу команды. Бывают периоды, когда много собеседований, но это случается эпизодически.
👉 Экспертная работа: 2.5 часа в день. Пишу документы, стратегии, веду консультации, провожу ревью кода, прорабатываю архитектуру решений.
👉 Техническая работа: 1 час в день. Всегда стараюсь чуть-чуть работать руками. Чаще всего это тестирование чужой работы или вспомогательные задачи.
👉 Занятость: 2.5 часа в день. Переписки, решение проблем, организационные вопросы, ответы на запросы.
Бонус: как не потонуть в менеджерской рутине
Операционную работу фиксируем в необходимом разумном количестве. Занятость снижаем, насколько можно. Экспертную работу увеличиваем. Техническую не забрасываем.
Повторюсь, что вышеописанное — личный опыт. На холивар и просто с вопросами приглашаю в комментарии! 👇
Какие у него обязанности
DS-менеджер — это руководитель нескольких команд. Что он делает, можно посмотреть в матрице компетенций.
Ключевые вещи: формирование стратегии, архитектурного видения, выстраивание процессов и бОльший по сравнению с тимлидом горизонт планирования. Ну и конечно работа с руководителями — тимлидами.
На что я трачу своё время
Объяснить структуру рабочего дня по матрице компетенций сложно. Для себя я делю время по характеру деятельности. В таком виде, мне кажется, вам будет понятнее. Цифры ниже основаны на моих личных заметках за последние недели.
👉 Операционная работа: 2 часа в день. В основном статусы, дейли, 1-1, собеседования. Всё, чтобы поддерживать эффективную работу команды. Бывают периоды, когда много собеседований, но это случается эпизодически.
👉 Экспертная работа: 2.5 часа в день. Пишу документы, стратегии, веду консультации, провожу ревью кода, прорабатываю архитектуру решений.
👉 Техническая работа: 1 час в день. Всегда стараюсь чуть-чуть работать руками. Чаще всего это тестирование чужой работы или вспомогательные задачи.
👉 Занятость: 2.5 часа в день. Переписки, решение проблем, организационные вопросы, ответы на запросы.
Бонус: как не потонуть в менеджерской рутине
Операционную работу фиксируем в необходимом разумном количестве. Занятость снижаем, насколько можно. Экспертную работу увеличиваем. Техническую не забрасываем.
Повторюсь, что вышеописанное — личный опыт. На холивар и просто с вопросами приглашаю в комментарии! 👇
👍12🔥7👌3❤2
Рефлексия по LLM
Сейчас много работаю с LLM. Они обрабатывают сырые текстовые данные и заменяют ручную разметку во многих местах.
Осознал, что LLM - это easy to start, hard to master. Решить задачу как-то на небольшом объеме данных может каждый. А дальше возникают тонкости.
Абсолютно невозможно разобраться в современном многообразии моделей. Качество оценить сложно. Быстро упираешься в производительность.
Пока стратегия, которую я выбрал - попытаться разобраться в семействе моделей одного производителя, OpenAI. Не из-за качества работы, а просто потому, что мне нравится их документация.
Ее так много, словно это не LLM, а самолет. Кто не видел, посмотрите сколько новых инструкций выходит каждый месяц.
Если считаете, что OpenAI фигня и нужно пользоваться чем-то другим - напишите!
#tech@big_ledovsky
Сейчас много работаю с LLM. Они обрабатывают сырые текстовые данные и заменяют ручную разметку во многих местах.
Осознал, что LLM - это easy to start, hard to master. Решить задачу как-то на небольшом объеме данных может каждый. А дальше возникают тонкости.
Абсолютно невозможно разобраться в современном многообразии моделей. Качество оценить сложно. Быстро упираешься в производительность.
Пока стратегия, которую я выбрал - попытаться разобраться в семействе моделей одного производителя, OpenAI. Не из-за качества работы, а просто потому, что мне нравится их документация.
Ее так много, словно это не LLM, а самолет. Кто не видел, посмотрите сколько новых инструкций выходит каждый месяц.
Если считаете, что OpenAI фигня и нужно пользоваться чем-то другим - напишите!
#tech@big_ledovsky
🔥10👍6🤯1
Обучение на тестовых данных - новый вид искусства
Андрей Карпати в итогах года аргументированно объяснил ровно то, о чем я интуитивно писал в прошлом посте.
Публичным бенчмаркам LLM-ок нельзя доверять, когда вы выбираете модель для своей задачи. Нужно делать свои тесты.
Все исследователи LLM специально тюнят свои сети под бенчмарки - типа решать ЕГЭ. Чтобы занимать первые строчки в рейтингах.
Андрей Карпати в итогах года аргументированно объяснил ровно то, о чем я интуитивно писал в прошлом посте.
Публичным бенчмаркам LLM-ок нельзя доверять, когда вы выбираете модель для своей задачи. Нужно делать свои тесты.
Все исследователи LLM специально тюнят свои сети под бенчмарки - типа решать ЕГЭ. Чтобы занимать первые строчки в рейтингах.
👍6❤3🔥3💯2