Big Ledovsky | AI изнутри
1.84K subscribers
228 photos
18 videos
4 files
189 links
Александр Ледовский
Head of AI | stealth ecom стартап, ex: Avito, Сбер, ШАД
ML в проде и что реально происходит в AI
DS карьера и менеджмент

@aledovsky
Download Telegram
Посоветуйте технических блогеров? 🤔

В этом году я решил выделять больше времени на чтение по теме ML. Больше всего меня интересуют англоязычные технические блоги: обычные, линкедины, ютубы итд.

При этом я все-таки инженер, а не рисерчер. Интересен скорее прикладной материал, чем разбор статей.

Кое-какой список авторов набирался, но я хотел бы его расширить.

Кого стоит почитать?
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥12
Ответ на пост Дани - Можно ли отказаться от университета в пользу занятий с AI? https://t.me/DS_avitotech/224

Сейчас будет мысль ооочень изделка 😃 Она посетила меня сегодня утром и очень кстати подошла к этому посту.

Я люблю слушать и смотреть youtube. Я замечаю, что моим любимым блогерам, очень успешным блогерам, приходится делать контент как на конвеере. Они часто повторяют свои мысли. Они искусственно ищут новую тему.

Почему бы им не снять несколько насыщенных видео, чтобы все их смотрели, стать великими и остановиться? Как с книгами в прошлом.

К сожалению, нам нужна каденция. Чтобы нашим вниманием регулярно завладевали. Чтобы нас заставляли учиться. Также со спортом, когда мы ходим заниматься в группы или с тренером.

Но если не учитывать нашу неорганизованность, то вот хороший пример - курс калтеха по gpu programming, который я к данному моменту прошел наполовину, и который уже принес мне бенефиты в работе. Завел на днях один очень непростой нейросетевой сервис.

На курсе я использовал pdf-ки, делал домашки и использовал Claude 💎. И я уверен, что мой опыт был лучше, чем у обычного студента, который учился очно, если он не сидел с AI как я.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7🔥5🤔32
Как размышление прикручивают к маленьким моделям

Если бы LLM были дешевле и быстрее, то половину продового ML можно было бы выключать 🤪. Поэтому нам с вами нужно пристально смотреть на тренды в оптимизации и поиске более дешевых решений. Направление мысли сейчас совсем поменялось.

В линкедине один блогер запостил статью, где исследователь из Samsung перенесла механизм размышлений (reasoning), который впервые изначально появился у больших LLM, на небольшой 7M энкодер. Т.е. модель в 1000 раз меньше небольшой LLM.

Размышления, кто не знает, это когда модель специально обучают решать задачу по шагам. Подход, который значительно повысил способность моделей писать код и решать математические задачи.

На вход модель берет входной запрос и выход с предыдущей итерации. И так ее прогоняют несколько раз. Между итерациями модель обменивается состояниями последнего слоя, а не токенами 🧠. То, что в традиционном ризонинге LLM обменивается информацией между шагами словами, выглядит мягко говоря неестественно .

#tech@big_ledovsky
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥76🤓1
Спустя неделю после возвращения из моей поездки, у меня созрели выводы. Всего я провел в Грузии 4 недели. В основном в Тбилиси и немного на лыжах в Гудаури.

Мой главный вывод - есть большая ценность в том, чтобы уезжать раз в год на месяц. Знаю, что тут многие кочевники со стажем, но для меня месяц это много. В прошлом году был Бангкок, сейчас Тбилиси.

Во-первых, от больших поездок появляется ощущение свободы. Во-вторых, голове приходится адаптироваться к новому месту. Нужно создавать новый быт, вырабатывать новые привычки и маршруты. Это вводит нас в состояние открытого сознания. Когда можно придумать или понять в себе что-то совершенно новое.

А в Тбилиси очень интересно. Много русскоговорящей интеллигенции и даже ведущих богемный образ жизни. Квартирники, спешалти кофе, книжные магазины, галереи и вот это все. Думаю вайб вы поняли, если вам такое заходит, вам туда нужно.

#lifestyle@big_ledovsky
👍1512🔥9
🫢Недавно в добавок к подписке курсора купил подписку Claude Code.

Виной тому то, что я использовал только Opus в курсоре и очень быстро выжег месячный лимит. На работе коллега поделилась, что в этом месяце тоже быстро сожгла свой и сейчас у нее что-то вроде 🧛‍♂️ ломки =)

Я решил, что нужно попробовать и Claude Code. Тем более опыт консольных агентов у меня был с Aider и c Codex. Codex на момент полгода назад мне показался совсем не юзабельным. А опенсорсный Aider 🗿ну просто сильно хуже, и что очень важно медленнее (у курсора видимо приватный кабель в датацентр anthropic)

Claude Code 💔 мне понравился. Использую чисто CLI. Вообще мне нравится тема именно консольного клиента. Удобнее работать без мышки, плюс соблюдается мой принцип "один экран - одна программа". Минус, что нельзя смотреть диффы изменений прямо в IDE. А вот принимать изменения поштучно в курсоре я никогда не любил. Обычно либо принимаешь целиком, либо целиком откатываешь.

Установив Claude Code я ощутил, что нахожусь в центре сражения между курсором, Claude и догоняющими. Прямо сейчас Claude выпустил Opus 4.6 и дарит мне экстра 50$ на его тест. OpenAI пытается реабилитировать Codex 🩸. А Cursor.. Cursor анонсирует консольный клиент!

#tech@big_ledovsky
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7👍6❤‍🔥31
Интервью с Питером Штайнбергом, создателем OpenClaw. Агента, которой живет на вашем компьютере и может делать очень много задач*

Рекомендую посмотреть для вдохновения. Питер, однозначно герой нашего времени. Человек, который мечтал встроить AI в микроволновку. Одновременно делает 40 проектов, жестко вайбкодит. Не верит в MCP, говорит, что достаточно доступа агента в командную строку.

Интересно, получится ли ему как-то монетизировать популярность своего проекта. Хайп однозначно пройдёт и похожие решения сделают крупные игроки.

* Может то может, но с безопасностью у него все плохо

#tech@big_ledovsky
👍42🔥1
Мои подписки пополнились OpenAI Codex. Codex хвалят за баланс цены-качества. Посмотрим. Claude Code в край достал тем как у него быстро кончается лимит на Opus 4.6. На 20-долларовой подписке работать невозможно.

Sonnet как бы тоже справляется с задачами. Но чисто психологически раздражает ощущение, что ты скорее всего получаешь решения худшего качества (хотя не факт)

Тем временем я научился делать deep research на связке Claude Code + Obsidian. Мне очень зашло. Гораздо лучше чем deep research в UI. Отточу процесс - обязательно расскажу

А курсор.. в курсор как в отдельную IDE не могу заставить себя вернуться и установил Cursor CLI.
👍8🔥4
Видео как делать агентов

Очень годное видео про то, как человек нарешал на первое место в соревновании по построению агентов.

Среда соревнования эмулировала компанию. Агенту были доступны API клиентов, сотрудников, корпоративной вики итд. Нужно было решать различные задачи поступающие на вход.

Краткое описание решения - дать клод коду набор голден примеров, API для тестов и просить тюнить систем промпт.

Меня очень впечатлило. Без всякой мультиагентности, без стадии планирования. Такой подход работает как градиентный спуск.

Оригинальный пост автора
👍239
Станут ли дата сайнтисты промпт инженерами?

Актуальный вопрос в сообществе 😐. В решениях все больше LLM. Что, теперь мы получается будем с утра до вечера тюнить промпты? Что это за работа то такая?

Друзья, да, стек технологий меняется. Но это практически не повлияет на характер нашей работы!

Если честно, всегда избегал брать людей, которые в первую очередь хотели делать fit-predict. Суть DS работы в процессе: сделал фичу - померил метрику - подумал - новый цикл.

Делать production решения на основе LLM на самом деле сложно. Только опытный дата сайнтист сможет выстроить систему оценки качества. Только опытный датасайнтист сможет затюнить промпт и то, что будет попадать в контекст, и в итоге получить высокую стабильность выходных метрик.

🐳 Согласен
🌚Не согласен
🗿Свое мнение (welcome в комментарии)
Please open Telegram to view this post
VIEW IN TELEGRAM
43🌚11🗿5🤔2🔥1
Не отговариваю, но все-таки должен написать. Я бы хорошо подумал на счет конвертации в DS. Стоит ли это сил которые придется вложить? Я так говорил и раньше, но именно сейчас это еще более актуально. Из-за появления вайбкода от джуна хочется больше - чтобы он умел хоть неидеально, но самостоятельно делать задачи, которые раньше делал мидл.

Хотя я знаю некоторых DS-ов, кто пришел именно из аналитики. Итого, это можно, но история нечастая.

По скиллам. Я бы в первую очередь сделал упор на инженерные навыки. Математика и ML теория конечно важны, но главное все-таки - быстро решать задачи.

Найти какой-то гитхаб, разобраться что там внутри, настроить рабочее окружение, задеплоить на сервер с gpu, сгенерировать тестовый датасет, пострелять и померить качество. Такие вещи нужно делать быстро, особенно с появлением хороших AI агентов.

Аналитикам в первую очередь нужны инженерные скиллы. ML теория придет в процессе.
🔥243
VK кажется зарядили openclaw походить по конфлюенсу, выбрать перспективную тему, написать на Хабре статью и начать продвигать ее в телеграме 😀

Другого объяснения зачем они так пиарят достаточно сухую верхнеуровневую статью про «единую Discovery платформу» у меня нет 🙈 понял что не первый раз про нее читаю
🤣11😁9💯1
Если вы только пишете промпты, вы уже отстали

🧐 Новая система аспектов работы с AI выглядит так

- Prompt Engineering. Как давать хорошие инструкции. Все еще важно, но только первый навык из четырех

- Context Engineering. Как сделать так, чтобы контекст LLM эффективно использовался. Чтобы была полезная информация и не было бесполезной

- Intent Engineering. Как обеспечить, чтобы модель держала долгосрочные цели, а не только выполняла то, что ее попросили в предыдущем промпте

- Specification Engineering. Про построение системы документов, которые позволят LLM действовать автономно и не потребуют прописывать все детали руками в каждом промпте

Когда услышал про эту концепцию, у меня в голове произошел фазовый переход. Из-за перечисленных аспектов и из-за осознания ключевой цели - увеличить время автономной работы агентов.

В Claude Code context engineering и intent engineering уже решают за нас. А наша задача - настроить спецификации.

Это CLAUDE.md, это skills, это mcp до докуметации. Я собрал себе две конфигурации: для кодинга и для всего остального. Они пока далеко от моего идеала.

Следующий шаг - появление систем спецификации на уровне компаний. 🤔
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥204
Пару недель назад я все-таки купил подписку за 100$ на клод 🤑 и с этого момента чувствую себя существенно более счастливым человеком.

У меня сейчас два конфига клода: рабочий и личный. Личный я использую как замену Chat UI и задаю туда вопросы. Также он умеет конфигурировать мою систему и работать с обсидианом.

Рабочий нужен для написания кода и реализации моих DS задумок. Хочу сказать про него пару слов

В Claude Code работает "наследование конфигов". Т.е. если вы запускаете его в ~/work/project-1, то он прочитает CLAUDE.md в папке project-1 и потом поднимется и прочитает CLAUDE.md в папке work.

В базовом CLAUDE.md я написал общие инструкции, а также научил его делать симлинки на общие .claude/settings.json, .claude/skills и .mcp.json при старте проекта. Специфичные инструкции для проекта лежат в локальном CLAUDE.md, а локальные настройки в .claude/settings.local.json

Главная проблема клода - необходимость постоянно выдавать разрешение. Самое главное, что эти разрешения сливаются в одно сплошное "далее-далее-далее" и не очень-то обезапашивают (см пример из Амазон 😄). Я ищу формат, чтобы с одной стороны сохранить хоть какую-то безопасность, а с другой повысить время автономной работы. В целом неплохо работает режим sandbox, но пока он плохо дружит с моим vpn.

Если готовы рассказать про свои сетапы, заходите в комментарии🔽
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥122
Channel name was changed to «Big Ledovsky | AI изнутри»