Big Ledovsky | AI изнутри
2.05K subscribers
244 photos
18 videos
4 files
205 links
Александр Ледовский
Head of AI @ Listee, ex: Avito, Сбер, ШАД

@aledovsky
Download Telegram
Правда жизни про поиск

После того, как на конференции вы вдохновились очередным докладом про супер-пупер нейронку для поиска, может сложиться впечатление, что поиск - уже решенная задача

Вот вам простой пример, что это не так 😄

Запрос: "гермомешок 50л". Можете посмотреть как с ним справляются крупные ecom площадки. Ozon, Avito, Amazon, Ebay. Все выдают гермомешки неправильных размеров (Авито кстати меньше всех!)

С числовыми параметрами справляется Lamoda, потому что у них относительно узкая область и есть разбор запроса и преобразование его в фильтры. Но на большом ассортименте это очень тяжело поддерживать.

Короче есть еще чем позаниматься в поиске 😎
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥11💯73😁1
Что я думаю про Conductor

Conductor - это приложение для оркестрации агентов, которое я периодически видел в разных ютубах. Это что-то среднее между UI Claude Code и Codex и полноценной IDE типа курсора. IDE вайбкодера короче 🤪

Основа рабочего процесса состоит из двух элементов. Традиционные сессии с агентами. И код ревью того, что наделал агент. Conductor сам не ходит в модели, как курсор, а подключается к уже установленным Claude, Codex итд.

Я посидел на нем над одним личным проектом. Тул прикольный, подойдет для неинженеров. Для инженеров скорее нерабочий.

Что понравилось

Conductor форсит свой подход к работе. Проект обязательно должен быть git репозиторием, подключенным к гитхабу или другой платформе с механизмом PR. Каждая новая задача агенту создается в виде workspace - 1 или более сессия с агентом + git worktree, который мерджится исключительно через PR.

Что не понравилось

В рабочих проектах вы не хотите плодить PR-ы на каждое изменение агента. Почему не поддерживаются локальные ветки и мерджи - я не понимаю. Вторая проблема - там нет полноценной поддержки синтаксиса - go to definition итд. Без этого раскапывать километры вайбкода очень больно. Третья проблема - нельзя делать фичу сразу в нескольких репозиториях. А в ds это постоянно (сервис + рисерч репозиторий)

Итого

Интересный инструмент, но моя перемотанная скотчем фабрика задачи решает лучше 😎
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5
Channel photo updated
Мнение про свежий гайд Claude Code

Как клодовод со стажем, могу вставить несколько копеек 😎

Выбор модели и уровня усилий

Абсолютно нереально этим управлять. Модели так часто меняются, даже в стеке антропика. Невозможно успевать вырабатывать интуицию, поставить фейбл или опус или соннет. Я тупо пользуюсь fable.

Уменьшение контекста и сабагенты

Ральф луп и контекст задачи в маркдаун файле - все еще лучшее решение на мой взгляд.

Управлять сабагентами сложно, потому что они включаются непредсказуемо. Теоретически можно аккуратно прописать правила когда и как их запускать в Claude.md, но я до этого не дошел. Сабагенты - это автоматический способ экономии контекста. Ральф луп - это ручной, но достаточно хорошо управляемый.

Совет запускать компактизацию когда уходишь от компьютера странный. Это требует огромной ментальной энергии, а в агентах наоборот хочешь ее экономить. Да и не доверяю я компактизации. Не понятно насколько она ухудшает качество контекста.

Совет тегать файлы через @ в моем случае работает плохо, потому что я читаю файлы из разных мест и работаю с несколькими репозиториям сразу.

Про часовое кеширование

А вот на этом хочу акцентировать внимание. Часовое кеширование - это самый важный геймченджер антропика. Это причина, почему если просто включить API на Гермесе через OpenRouter агенты становятся золотыми. Я плохо понимаю, как работает подписка кодекса. Но в обычных API у других провайдеров нет нормального предсказуемого способа кеширования. Обычно они говорят, что кешируют, но как и на сколько - не гарантируют. Обычно кешируют на несколько минут и часто мы отвечаем агенту с большим лагом. В подписке Claude часовое кеширование включено по умолчанию и именно это позволяет укладываться в лимиты на больших задачах.

https://claude.com/blog/maximizing-the-value-of-your-claude-code-sessions
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥82💯2
Апдейты по моему прохождению cs336

Про который писал

Потратил на него примерно 40 часов. Сделал только одно задание. Ну.. это было жестко. Нужно было написать все с нуля: токенизатор, небольшую LLM с современными слоями, оптимизатор adam w (!) и код для обучения. И на всем этом провести десяток экспериментов

Учитывая что задание дают на 2 недели, я думаю люди отключают запрет на агентов

Признавать что я просто медленный я конечно не собираюсь 🗿

Да, и знаете что? Даже понимая внутренности современных LLM-ок и обучив все своими руками, я все равно поражаюсь что они все-таки работают 👁
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥278💯4😁2
Про удаленку

Обсуждали с друзьями, что западные компании возвращают людей в офисы. И не только западные

Я в своей карьере собирал команды несколько раз. И лично придерживаюсь следующих принципов

1️⃣ Поддерживать как можно больший процент локальных сотрудников, которые могут ходить в офис

2️⃣ Фул ремоут нанимать только сильных и опытных

3️⃣ Поощрять гибридный режим. Иногда офис, иногда дом

Общение в офисе создает более глубокие отношения между людьми. Многие проблемы решаются за 5 минут. А полные удаленщики в ограниченном количестве хорошо вливаются за счет общей сплоченности коллектива

👨‍🦽Нанимать джунов на полную удаленку контр-продуктивно. А фул ремоут команды - это компромисс, а не благо

Хейтеры - можете расчехлять ружья 🏄‍♂️
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2110💯6🤨6😐6😁2🌚2
Про выход GPT-6 Astra и пришедший AGI

Во-первых, нужно ждать. Мб они затюнились под бенчмарки.

Во-вторых, то что модель умеет решать задачи на IQ, не обязательно приведет к улучшению "бытовых" навыков.

Субъективно, заметный качественный прорыв был прошлой зимой. А дальше было эволюционное улучшение, которое в моменте не ощущается.

PS. Вот, можете потыкать ARC-AGI-3 бенчмарк, где модель набрала 98%

https://arcprize.org/tasks/ls20
8🔥3
Написал гайд по подключению Google Workspace к агентам

Казалось бы, что проще, чем подключить агента к календарю? Выдал токен, дал его агенту и работай. Но в гугл так нельзя 🤯

Я потратил слишком много времени на то чтобы разобраться. И решил что нужно уберечь других от траты сил.

https://habr.com/ru/articles/1078890/

PS. Недавно возмущался политикой Хабра. Но идти больше некуда, увы 🤷‍♂️
Please open Telegram to view this post
VIEW IN TELEGRAM
10🤣3🔥2😱1
Data Driven пройдет 26 сентября

Data Driven от Яндекса - знаковая в конференция для аналитиков. Потому что на ней ежегодно рассказывают про аналитические кейсы очень серьезного уровня: про критичные бизнес процессы, про нагруженный продакшн, про сложные задачи, требующие и продуктовых, и технических знаний.

Как и в прошлом году, основной фокус остается на аналитике вокруг LLM. В том числе будет про аналитику Алисы, аналитику внутренних агентов, разметку с помощью LLM и многое другое.

Рекомендую сходить оффлайн, так как конференция - это не только доклады, но и живое общение.

👉 Москва + онлайн, 26 сентября. Регистрируйтесь по ссылке
🔥5
Вчера был на E-CODE, на ML-треке

Там выступал парень, который автоматизирует поддержку Тбанка агентами. Фраза из доклада, примерно дословно: «Большинство внедрений агентов проваливаются, но, кажется, наша команда напала на след, как это всё-таки делать. Пока не точно, но кажется мы его почуяли». Вайб очень жизненный и религиозный одновременно 👌 очень его разделяю))

Мысли на самом деле у него довольно здравые
— дообучать LLM не нужно
— агенту нужна поддерживаемая база знаний
— поддержку самой базы тоже стоит автоматизировать агентами, через разные хитрости и фидбек-лупы

Например, прогонять LLM-судью по человеческим сессиям поддержки и спрашивать: есть ли в базе знаний информация, чтобы решить данное обращение
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥94😭1
А еще в следующую субботу будет PracticalML. Одна из моих любимых конференций. Я на ней выступал 3 года назад с рассказом про VCG аукцион в продвижении Авито, который я же потом и выпилил 😂. Как давно это было..

На PracticalML, во-первых, очень хороший состав докладов, которые кропотливо собирает Петя Ермаков, один из создателей ODS, которому я пообещал сделать этот пост 🙂. Во-вторых, топовый афтепати и нетворкинг. В общем, нужно идти
🔥74