Ebout Data Science | Дима Савелко
6.76K subscribers
418 photos
44 videos
2 files
180 links
Ebout Data Science by @ngmdite | По поводу менторства пиши на @savelkoteam
Download Telegram
Вопрос с собеса на NLP agents на 300к в Сбер - что такое tool use? когда его использовать?

Как вы и просили пост с разбором анально/технических вопросов с собеов по агентам, сёдня разбираем базу, на которой которой видно, реально ли кандидат шарит 😱

Мой ученик сходил на собес и принёс много разных и интересных вопросов, сегодня разбираем один из них - что такое tool use?

Что такое tool use? когда его использовать?

Tool - это инструмент, через который агент взаимодействует с другими частями кода. У LLM нет рук, она сама по себе умеет только генерировать текст. Tools как раз добавляют ей эти самые руки, например: поиск в интернете, вызов API, калькулятор и т.д.

Как он работает?

1⃣ Сначала мы передаем модели описание доступного инструмента. Туда идет название, что он делает, когда его использовать и JSON Schema с аргументами. Например, у нас есть tool для поиска по документам

{
"tool_name": "search_docs",
"description": "Ищет релевантные документы",
"arguments": {
"query": "string",
"top_k": "integer"
}
}


2⃣ Дальше пользователь задает вопрос: "Найди документы про штрафы за простой вагонов". Модель понимает, что нужен именно этот инструмент, потом возвращает structured output (про структурированные ответы поговорим в следующей части поста) JSON с названием tool и аргументами


{
"tool_name": "search_docs",
"arguments": {
"query": "штрафы за простой вагонов",
"top_k": 5
}
}


3⃣ После этого в работу вступает приложение, то есть backend или код агента, который работает с LLM. Он берет параметры из сгенерированного JSON и отправляет их на вход функции, которая реально выполнит работу


search_docs(
query="штрафы за простой вагонов",
top_k=5
)


Итого мы дали нашей LLM руки, научили ее правильно вызывать инструмент, и теперь можно просто написать ей найди мне доки и модель сама пойдет вызывать код, который будет их искать 🐸
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥218❤‍🔥5👍1😁1
Где варится настоящий разъебос? 😃

Смотрю на ваши сообщения после постов и эфиров и понимаю, что пора навести порядок, в личку часто летит один и тот же вопрос: где забрать роадмап, как попасть на созвон, куда нести анкету и где вообще вся главная движуха. Весь самый сок сейчас варится в закрытом тг-канале.

Мы собрали там нормальную инфраструктуру для тех, кто готов давать тапку в пол, что уже лежит или вот-вот появится внутри:
🟡 подробный роадмап по DS/AI
🟣 разборы вакансий и конкретных проектов под них
🔵 эфиры про менторство и выход на жирные чеки
🟢 ответы на частые вопросы и кейсы моих слонов
🟡 анонсы всех закрытых встреч
🟣 окошки на собесы и диагностику перед менторством


Сейчас попасть на бесплатную карьерную консультацию и на менторство в целом можно только через закрытый тг-канал

В открытом паблике мы разбираем базу, пишем посты и делаем контент для всех. В закрытом собираются те, кто реально настроен залутать оффер, хочет понять всю систему изнутри и банально не проебать набор, там будут разборы учеников, резюме, эфиры, техничка и много другой полезной инфы 😁

Как попасть:
1️⃣ Открываешь ссылку: https://savelkoteam.tilda.ws/
2️⃣ Заполняешь анкету
3️⃣ Попадаешь в закрытый канал
4️⃣ Ещё бонусом - я напишу тебе с бесплатной карьерной консультацией, чтобы точно закрепить твою систему
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥96❤‍🔥4🤣3
Эфир вопрос-ответ - суббота в 19:00 😎

После последних эфиров личка разрывается от вопросов по менторству: ребята заходят, начинают двигаться, но параллельно вываливают тонну вопросов про треки, подготовку к собесам, сроки и деньги.

Читаю это и понимаю, что многие зависли состоянии: "хочу, но пиздец как страшно" - в голове постоянно крутятся загоны, что вроде надо залетать, но непонятно, потянешь ли харды, не окажешься ли самым слабым и окупится ли вообще это обучение (окупается, если реально давать тапку в пол) 🐵

Поэтому в субботу в 19:00 я делаю отдельный закрытый эфир вопрос-ответ и поговорим про то, кому менторство реально нужно, а кому лучше не залетать. Разложу по полкам, как мы доводим ребят до техничек, что конкретно происходит внутри нашего сообщества и почему одни уверенно лутают офферы, а другие отваливаются еще на старте

Кто давно присматривался к менторству, но всё ещё стоит на берегу и сомневается в своих силах, залетайте на эфир, в субботу в 19:00 будем закрывать все ваши вопросики

Эфир пройдет в закрытом канале в субботу в 19:00 (щёлк на календарик) 😉
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥55🔥3🤣2
больше 20 офферов - вот такую вкусноту получают наши ученики 👓

Собрал в один экран офферы ребят - и это, если честно, лучший ответ на вопрос “а реально ли сейчас залететь в DS/ML на нормальные деньги?”: 339к, 310к, 313к и другие. В сумме собрали больше 20 офферов и примерно 2.6 млн ₽ зарплат в месяц. Это результат системной работы моих слонов: проекты, резюме, моки, отклики, собесы, разбор ошибок и постоянное движение до оффера 🙁

Кста, завтра рассказываю буду отвечать на любые ваши вопросы, залетай в закрытый тг
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥209❤‍🔥8🤣2
Что конкретно разберём завтра на эфире? 😁

Рынок DS реально умер или туда всё ещё можно залететь?
Кому сейчас проще получить оффер: новичку, человеку после курсов, перекатчику из другой IT-сферы или уже работающему DS?
• Как понять, что базы достаточно и пора выходить на собесы?


Также покажу, как устроено менторство изнутри:
какие есть треки, какие проекты делают ребята
• зачем нужен деплой, кто будет вас вести,
• как проходят моки, отклики и разборы реальных собеседований
• Отдельно отвечу про сроки, офферы на 200–300к+, гарантии, совмещение с работой и ситуацию, когда вы застряли или хотите всё бросить
и много-много реальных историй ребят, которые залетают с нуля буквально

Пишите в комментариях вопросы, которые волнуют лично вас. Самые сильные заберу в эфир и, если останется время, разберу вас вживую 😎

Подробнее про эфир вопрос-ответ
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
10🔥8😍5🤝2💯1🍌1
Самая сложная работа - отдых 🎄

У каждого из нас наверное появлялось такое жгучие чувство внутри со словами "Чё то я подзаебался" и постоянно что-то и где-то не успеваю. Так вот последние месяцы я почти без остановки занимался менторством, эфирами, командой, учениками, контентом и ещё кучей параллельных задач. В какой-то момент поймал себя на мысли, что я вообще давно нормально не выдыхал, ощущая жжение внутри.

Через пять дней лечу домой - в Фокино (20к город, рядом с Владивостоком), и если честно, чувствую, что сейчас это очень вовремя 👍

И вспоминаю, что я вообще маньяк какой-то, я почти без перерывов ещё с девятого класса ебашил: сначала ОГЭ, потом ЕГЭ, дальше первый найм, Сбер, Газпром, Точка, параллельно менторство, свои проекты и постоянное ощущение, что надо двигаться дальше, быстрее и сильнее. И когда долго живёшь в таком темпе, отдых начинает восприниматься как слабость или потеря времени. Типо какого хуя я буду отдыхать, когда остальные будут занимать место под солнцем?

Но чем дальше, тем сильнее понимаю: отдых - это тоже работа над собой. Уметь вовремя остановиться, восстановиться, снова услышать себя и вернуться с нормальной головой иногда сложнее, чем просто продолжать ебашить на автомате

Поэтому сейчас хочу немного развеяться, побыть с близкими, выдохнуть, но всё равно продолжать вас радовать контентом)

А у вас как с этим? Умеете отдыхать без чувства вины или тоже начинаете грызть себя изнутри, как только ничего не делаете? 😐
Please open Telegram to view this post
VIEW IN TELEGRAM
23🔥8❤‍🔥5🥰1
Как я чуть не сломался в 22 года 😂

Сегодня очень личный пост, а также сегодня мой хепи бёрздэй, мне 23 года, сейчас я в Фокино-сити (мой родной город на 20к около Владивостока) и пора подводить микро итоги. Мои 22 года - это преодоление одного из самых больших для меня кризисов.

Порой в жизни могут быть такие случаи, после которых ты думаешь, что уже всё потеряно, не знаешь, что делать дальше, отрицая всё, что вокруг тебя случилось. И, как у меня было, я молил Бога, чтобы это со мной не произошло, и не верил, что я могу в целом попасть в такую ситуацию. Речь идёт о том, как я неудачно проинвестировал деньги в бизнес и по итогу остался должен другим людям не маленькие деньги, хотя до этого откладывал каждую копейку с 9 класса, и для меня мой капитал был моим источником стабильности 🚬

И как же я тогда ахуел выходить из морального пиздеца, в который я себя зовёл: я себя хуесосил, настолько не хотел верить в эту ситуацию, что откладывал её решение, так как думал, что само всё расосётся - но нихуя. И как только я взялся за голову, прикинул план, как выходить из сраки, то у меня всё полетело вверх.

Какие вещи я предпринял, чтобы выйти из ситуации?
1️⃣ Планнинг
Я запланировал себе путь как я буду выходить из ситуации, а потом запланировал видение жизни на 10 лет вперёд. Вот тут серия постов, как я это сделал. Почему мне помогло? Когда ты понимаешь свою конечную точку и декомпозируешь её достижение до сегодняшнего дня, то тебе становится неожиданно очень ясно, что тебе нужно делать прямо сейчас, а от этого понимания уходит страх и тревога. Поэтому теперь я планирую свою неделю/месяц/квартал и год, выделяя под это отдельные слоты в календаре

2️⃣ Сообщество людей.
Мне крайне не хватало людей, которые зарабатывают кратно больше меня. И естественно мне хотелось попасть в комнату людей, которые мудрее и опытнее чем я, чтобы становиться таким же и даже лучше. Поэтому я начал вступать в бизнес клубы: Аномалия от Гребенюка и Опора. Там я обрёл крайне много классных знакомых, меня даже на подкаст позвал Денис Сметнёв (ex co-founder SkyEng), а также познакомился и общаюсь со многими классными фаундерами и С-level. Это дало мне буст уверенности в том, что и я смогу, ведь вот люди, которые при мне огромные иксы делают 📈

3️⃣ Работа с головой.
Я ощущал ебать какое ужасное моральное состояние, и я понял, что мне нужен наставник/коуч/психолог, чтобы с этим справиться. По итогу в Опоре я познакомился с наставником, который мне помог прям системно разложить все мои проблемы по полочкам с первого же занятия и порешать мои баги в моралке. За 3 месяца уже стало лучше намного, я прям живее стал, понял, что действительно мне даёт мотивации и энергию. НО тут есть одно замечание, анализируя конечные рекоммендации ментора, я понял, что 80% мне говорила моя женщина, но я не слушал её видимо... Поэтому используйте технику "Жена", когда вам плохо и непонятно.

4️⃣ Работа с физухой и дисциплиной.
Я всю силу волю тратил на лечение морального состояния, и раскуфел с 90к до 100кг (рост 190), поэтому сейчас я работаю, чтобы сбросить вес до 90кг. Тут я делегировал программу на тренера с которым работал и сейчас в процессе отскуфизации тела 😎

Что же по итогу?
22 года для меня это в первую очередь выход из моральной сраки, и главный вывод - что не делается, то к лучшему. Я отчасти благодарен ситуации, что со мной произошла, потому что я действительно оч сильно поменялся и закалился. И теперь я не знаю, чего я не смогу и не знаю, что меня в целом может остановить. Поэтому план на 23 года: держать баланс в жизни (отдых/работа), чтобы быть в энергии, здоровые и крепкие отношения, -10кг, 5 млн/месяц - пока такое нагенерировал, а как я буду к этому идти... читайте канал, слоняры 🙂🙂🙂
Please open Telegram to view this post
VIEW IN TELEGRAM
54🔥31❤‍🔥15
Вопрос с собеса на NLP agents на 400к в WB 🗿

Мой ученик, проходя на собес в ВБ, получил в лицо такой вопрос: почему при батчинге (пакетной обработке) запросов в LLM растет задержка, но увеличивается общая скорость? Я не могу пройти мимо и не разобраться с такого сочного вопроса, поэтому летсгоу ебать вопрос.

Давайте разберемся, как работает обработка батчем и почему ее используют абсолютно все крупные ИИ-сервисы.
Для этого заглянем внутрь графического процессора (GPU), если упростить, память видеокарты делится на два основных типа:

- HBM (High Bandwidth Memory): Основная видеопамять, она огромная (например, 80 ГБ), но относительно медленная. Проводить вычисления напрямую в ней чип не может.
- SRAM: Сверхбыстрая память прямо внутри самого вычислительного чипа. Она крошечная (около 80 МБ), зато процессор работает с ней мгновенно.


Чтобы GPU мог что-то посчитать, данные нужно сначала перенести из HBM в SRAM, и здесь мы упираемся в фундаментальную проблему современных LLM: Memory-bound - ситуация, когда скорость пересылки весов модели из медленной HBM в быструю SRAM длится дольше,
чем сами вычисления над этими весами и чип простаивает в ожидании данных 🤔

Когда нам надо сгенерировать следующий токен, чипу нужно прогнать через SRAM все слои модели. Загрузка этих слоев из HBM - самая долгая часть процесса, но так как веса модели одинаковы для всех запросов, мы можем за один такой проход обработать данные сразу для n запросов. В этом и заключается идея батчинга. (см. Картинку 2)

Но почему тогда растет задержка (Latency) для конкретного пользователя?

Когда запросы обрабатываются пачкой, GPU приходится делать больше математических операций за один такт, а также тратить память SRAM на контекст (KV-кэш) сразу нескольких пользователей. Из-за этого время генерации каждого отдельного токена (Latency) немного увеличивается.

Например, без батча Запрос 1 выполнился бы за 5 секунд. А в батче он выполнится за 7 секунд (см. Картинку 3) 😧

Тогда в чем выгода?

Без батча: Мы обработали 2 запроса последовательно.
Потратили 10 секунд и получили, допустим, 200 токенов в секунду суммарно.

С батчем: Мы обработали оба запроса параллельно.
Потратили всего 7 секунд вместо 10.
Суммарная скорость системы выросла до 300 токенов в секунду
- профит, сучка


Итог: Батчинг заставляет отдельного пользователя подождать чуть дольше (растет Latency), но позволяет видеокарте не простаивать и обслуживать в разы больше пользователей одновременно (растет Throughput).
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3216🥰12🍌5👨‍💻1
Оффер на 250к за 8 месяцев - из девопса в DS 😋

Один из самых частых запросов на звонках с ребятами, которые я слышу: человек вроде пашет, смотрит видосы, ковыряет гитхаб, но на вопрос "Ты сейчас реально ближе к офферу, чем два месяца назад?" чёткого ответа нет, начинается какое-то пук-среньк про недоученные библиотеки.

Это состояние непонимания и неопределенности жестко выматывает: тратишь время, не понимаешь, насколько эффективно ты продвинулся к офферу, не видишь измеримого прогресса, ловишь тревогу и паничку, скачиваешь очередной роадмап в надежде, что на этот раз всё будет по другому 🗿

У одного из наших слонов была ровно такая же история - работал DevOps-инженером за небольшие деньги, пытался сам залететь в новую сферу, но постоянно метался между темами. В менторстве мы быстро остановили этот эту суету: собрали вменяемый роадмап и разбили путь на понятные этапы, а дальше он просто занимался по часу-два в день, без надрывов и потных спринтов закрывая технические темы и хотя на МОК-собесы.

Итог: через 8 месяцев лутает оффер DS в крупный бигтех на 250к gross с удаленкой 🤑

У ученика ушла тревога, потому что путь из блуждания по туториалам превратился в конкретный результат. Внедряем ему и всем ребятам мысль, что прогресс вообще нужно измерять не количеством сохраненных лекций, а нормальными метриками:

• пройденные МОКи и их оценки
• число изученных тем
• оценка куратора на твою легенду
• количество откликов, собесов и офферов
• и многое другое


Когда есть ответы на эти пункты, становится просто спокойнее на душе, уже видишь, что уже ликвидировал вопросы по теори и сколько осталось доработать, а без чёткой системы ботать каждый день и жестко буксовать на месте, пока остальные забирают твои офферы 🍷
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
23🍌8❤‍🔥7🔥3🥰1😁1
Как перестать гнаться за самим собой и научиться обнимать березки в регионе 🌳

Сейчас в своём родном городе - Фокино (20к населения, около Владивостока, ~9к км от мск), ловлю вайб детокса и умиротворения в очень региональном далёком городке - устал от суеты в Москве, хочется просыпаться под шум птиц, а засыпать под квакание лягушек, так как часто чилю у бабушки в деревне

И в последнее время ловлю сильную нагрузки на нервы от шума города и суетыыыы. С одной стороны в большом городе есть плюсы в виде: жёсткого нетворка, больше возможней, больше рынок и развитой инфраструктуры, но при этом вечный темп какой-то фантомной гонки, которая съедает тебя больше и больше. А когда я приехал на дачу или в регион, увидев пруды, травку поймал себя на мысли, что всё в жизни хорошо и можно жить умеренно, НО почти ноль инфрастуктуры, в моём родном городе мусор не убирают с улиц неделями, ужасные дороги, медицина и многое другое 👎

И хочется найти для себя баланс в жизни: быть в гуще бизнеса и работы, а порой отдыхать, обнимая берёзки. А вы где живёте? Суетной город или спокойный дачный вайб?
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
19🔥7💯5🥰1🍌1
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥29🔥1711🍌2
Декларация до оффера (часть 1) - С нуля в айти до оффера в 300к

Обычно вы узнаете про моих учеников уже в самом конце пути, когда мы выкатываем красивый пост: "Учился столько-то месяцев, разъебал собесы, залутал оффер на много тысяч, красавчик". Звучит кул, но за этим финалом всегда остается куча вещей, которые никто не видит: как человек пытается впихнуть харды между работой и сном, где он откровенно тупит, теряет мотивацию и что вообще происходит в яме между "хочу войти в ML" и первым жирным чеком.

Поэтому я решил запустить эксперимент - мы выбрали одного ученика и будем публично препарировать весь его путь до оффера путём обучения на менторстве. Каждый месяц мы вместе подводим итоги: фиксируем план, смотрим, где он реально продвинулся, а где жидко обосрался, и меняем стратегию, если видим, что едем куда-то не туда

Но просто накакать план в телегу это не про нас (я ебанутый), поэтому нужны нормальные ставки, чтобы Глебушка не расслабил свои булки. В начале каждого месяца ученик публично принимает декларацию: если он закрывает вопросики и выполняет план, идем дальше, а если проебывается, следующий человек, который залетает ко мне на менторство, получает скидку просто за счет Глеба. Короче, чем хуже учится наш герой, тем выгоднее кому-то из вас 😼

Теперь давайте знакомиться: Глеб, 23 года, на данный момент абсолютный ноль в Data Science, родился в Киришах, это такой город, где нефтеперерабатывающий завод размером больше самого города, рос в обычной семье, играл в футбол, катал в игры и особо не парился, как устроена карьера. Потом сдал ЕГЭ на 256 баллов и ушел в Политех на "Инноватику" (по версии самого Глеба, это специальность для тех, кто пока хз, кем хочет стать)

На третьем курсе он попал на стажировку в Газпромнефть и устроился бизнес-аналитиком на 30 тысяч рублей. За следующие полтора года дорос до сотки, а сейчас сидит в консалтинге и лутает от 140 до 180 тысяч. Вся его работа выглядит как классическая боль аналитика: бесконечные презентации, бизнес-процессы, согласования и помощь другим умным дядям в создании чего-то полезного.

Деньги нормальные, жить можно, но со временем в голове поселилась мысль: "А что я вообще сам создал?". Глебу просто надоело быть чуваком, который делает красивые слайды о том, как другие люди когда-нибудь напишут код. Ему хочется самому собирать архитектуру, решать нормальные технические задачи и пилить реальные продукты.

Поэтому мы поставили жирную цель: за 8 месяцев сделать из него AI-инженера и вытащить оффер от 300к рублей. Дедлайн стоит жесткий: 1 апреля 2027 года. Я сам не знаю дойдёт ли Глеб к этому времени до оффера или уже через два месяца я напишу, что Глеб меня игнорит неделю, поэтому за этим реалити будет интересно следить. К слову, Глеб вообще не олимпиадный гей, который с пяти лет делает ЛЛМ модели, последние годы он едет чисто на силе воли и слове "надо", периодически задумываясь, не уехать ли пасти овец в горы (кста, тоже хочу) 💀

Первая декларация Глеба до 1 сентября звучит так:

🟣 закрыть три недели программы по Python (функции и ООП)
🔵 собрать простого AI-агента под свои рабочие задачи: искать инфу, делать драфты презентаций и считать циферки
🟢 накидать прототип приложухи, которая потом пойдет как основа проекта в резюме
🟡 выложить семь отчетов о своем движении
🟣 два раза посмотреть "Бойцовский клуб"

Последний пункт я сам не выкупил (видимо, у каждого свой образовательный роадмап), но хозяин барин. Через месяц вернемся и проверим, насколько реально закрыть эти таски параллельно с фуллтаймом

🔥, если нравится такой формат
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥51🎄14🥰117😁5👍2👏2🍌1