Ebout Data Science | Дима Савелко
6.77K subscribers
418 photos
44 videos
2 files
180 links
Ebout Data Science by @ngmdite | По поводу менторства пиши на @savelkoteam
Download Telegram
Идём всю Москву пешком вместе с вами 😋

Если завтра на закрытом эфире будет 60+ человек онлайн, запускаю отдельный ивент для своих: пешком через всю Москву

В августе собираемся и идём примерно 35 км пешком. По пути буду рассказывать про свой путь: как начинал, где ошибался, где было больно, что не получалось, через какое говно пришлось пройти и как всё это в итоге привело меня к тому, что сейчас мы вместе делаем эту грязюку

Так что завтра реально важный эфир: мы всей командой сейчас пыхтим, докручиваем презентацию и хотим сделать для вас максимально сильный разбор по менторству, программе, команде, кейсам и выходу на новый уровень 👓

Поэтому залетайте завтра эфир (подробности тут) и не сливайтесь в скуфа, потому что записи не будет, хз когда ещё такое сделаем

А сейчас голосование: кто будет на эфире, а кто решил поскуфиться 👇
Please open Telegram to view this post
VIEW IN TELEGRAM
16🤣11🔥7🥰3
Please open Telegram to view this post
VIEW IN TELEGRAM
🤣3🤓2
Всегда любил солнце и дожди - особенно работать под них и засыпать. И особенно классно в такую погоду создавать для вас бомбито в виде эфира (сегодня, кста в 19:00, подробности)

А в какую погоду вы ловите рабочий/грустный вайб?
8❤‍🔥5🔥5🤣1
Это было ахуенно - спасибо всем за эфир 🤔

После эфира вышел на зараженных эмоциях, много ребят написали, что хотят быть слоном в лс. Всем спасибо, кто был, кто задавал вопросы, кто принимал активное участие!

Теперь вот думаю, а может быть ещё завтра повторить для тех, кто не успел...
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
10🔥6🤩5🤣5
Это было ахуенно - второй раз 😐

Всё, спасибо всем за эфир, написало ОООЧЕНЬ МНОГО людей (экрана не хватило для скрина). А мы работаем братья, буду продолжать вас работать анальным/техническим и личным контентом

ВСЕМ СПАСИБО!!! 🚶‍♂️
Please open Telegram to view this post
VIEW IN TELEGRAM
117🔥6😍6🤣5
Идём всю Москву пешком 🌟

Так как нас было около 60 в сумме, то моему обещанию в Москве организуем крестовый поход из Юга на Север в августе примерно в 25 числах. Поэтому покупайте себе стельки, мы идём!

поближе познакомимся, расскажу вам про своё становление, мысли, взлёты и падения, потери и многое другое

🔥 - я гигачад, я точно иду
🤯 - я не пойду, ты ебанулся
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯19🔥14🥰1
Please open Telegram to view this post
VIEW IN TELEGRAM
Вопрос с собеса на NLP agents на 300к в Сбер - что такое tool use? когда его использовать?

Как вы и просили пост с разбором анально/технических вопросов с собеов по агентам, сёдня разбираем базу, на которой которой видно, реально ли кандидат шарит 😱

Мой ученик сходил на собес и принёс много разных и интересных вопросов, сегодня разбираем один из них - что такое tool use?

Что такое tool use? когда его использовать?

Tool - это инструмент, через который агент взаимодействует с другими частями кода. У LLM нет рук, она сама по себе умеет только генерировать текст. Tools как раз добавляют ей эти самые руки, например: поиск в интернете, вызов API, калькулятор и т.д.

Как он работает?

1⃣ Сначала мы передаем модели описание доступного инструмента. Туда идет название, что он делает, когда его использовать и JSON Schema с аргументами. Например, у нас есть tool для поиска по документам

{
"tool_name": "search_docs",
"description": "Ищет релевантные документы",
"arguments": {
"query": "string",
"top_k": "integer"
}
}


2⃣ Дальше пользователь задает вопрос: "Найди документы про штрафы за простой вагонов". Модель понимает, что нужен именно этот инструмент, потом возвращает structured output (про структурированные ответы поговорим в следующей части поста) JSON с названием tool и аргументами


{
"tool_name": "search_docs",
"arguments": {
"query": "штрафы за простой вагонов",
"top_k": 5
}
}


3⃣ После этого в работу вступает приложение, то есть backend или код агента, который работает с LLM. Он берет параметры из сгенерированного JSON и отправляет их на вход функции, которая реально выполнит работу


search_docs(
query="штрафы за простой вагонов",
top_k=5
)


Итого мы дали нашей LLM руки, научили ее правильно вызывать инструмент, и теперь можно просто написать ей найди мне доки и модель сама пойдет вызывать код, который будет их искать 🐸
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥218❤‍🔥5👍1😁1
Где варится настоящий разъебос? 😃

Смотрю на ваши сообщения после постов и эфиров и понимаю, что пора навести порядок, в личку часто летит один и тот же вопрос: где забрать роадмап, как попасть на созвон, куда нести анкету и где вообще вся главная движуха. Весь самый сок сейчас варится в закрытом тг-канале.

Мы собрали там нормальную инфраструктуру для тех, кто готов давать тапку в пол, что уже лежит или вот-вот появится внутри:
🟡 подробный роадмап по DS/AI
🟣 разборы вакансий и конкретных проектов под них
🔵 эфиры про менторство и выход на жирные чеки
🟢 ответы на частые вопросы и кейсы моих слонов
🟡 анонсы всех закрытых встреч
🟣 окошки на собесы и диагностику перед менторством


Сейчас попасть на бесплатную карьерную консультацию и на менторство в целом можно только через закрытый тг-канал

В открытом паблике мы разбираем базу, пишем посты и делаем контент для всех. В закрытом собираются те, кто реально настроен залутать оффер, хочет понять всю систему изнутри и банально не проебать набор, там будут разборы учеников, резюме, эфиры, техничка и много другой полезной инфы 😁

Как попасть:
1️⃣ Открываешь ссылку: https://savelkoteam.tilda.ws/
2️⃣ Заполняешь анкету
3️⃣ Попадаешь в закрытый канал
4️⃣ Ещё бонусом - я напишу тебе с бесплатной карьерной консультацией, чтобы точно закрепить твою систему
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥96❤‍🔥4🤣3
Эфир вопрос-ответ - суббота в 19:00 😎

После последних эфиров личка разрывается от вопросов по менторству: ребята заходят, начинают двигаться, но параллельно вываливают тонну вопросов про треки, подготовку к собесам, сроки и деньги.

Читаю это и понимаю, что многие зависли состоянии: "хочу, но пиздец как страшно" - в голове постоянно крутятся загоны, что вроде надо залетать, но непонятно, потянешь ли харды, не окажешься ли самым слабым и окупится ли вообще это обучение (окупается, если реально давать тапку в пол) 🐵

Поэтому в субботу в 19:00 я делаю отдельный закрытый эфир вопрос-ответ и поговорим про то, кому менторство реально нужно, а кому лучше не залетать. Разложу по полкам, как мы доводим ребят до техничек, что конкретно происходит внутри нашего сообщества и почему одни уверенно лутают офферы, а другие отваливаются еще на старте

Кто давно присматривался к менторству, но всё ещё стоит на берегу и сомневается в своих силах, залетайте на эфир, в субботу в 19:00 будем закрывать все ваши вопросики

Эфир пройдет в закрытом канале в субботу в 19:00 (щёлк на календарик) 😉
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥55🔥3🤣2
больше 20 офферов - вот такую вкусноту получают наши ученики 👓

Собрал в один экран офферы ребят - и это, если честно, лучший ответ на вопрос “а реально ли сейчас залететь в DS/ML на нормальные деньги?”: 339к, 310к, 313к и другие. В сумме собрали больше 20 офферов и примерно 2.6 млн ₽ зарплат в месяц. Это результат системной работы моих слонов: проекты, резюме, моки, отклики, собесы, разбор ошибок и постоянное движение до оффера 🙁

Кста, завтра рассказываю буду отвечать на любые ваши вопросы, залетай в закрытый тг
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥209❤‍🔥8🤣2
Что конкретно разберём завтра на эфире? 😁

Рынок DS реально умер или туда всё ещё можно залететь?
Кому сейчас проще получить оффер: новичку, человеку после курсов, перекатчику из другой IT-сферы или уже работающему DS?
• Как понять, что базы достаточно и пора выходить на собесы?


Также покажу, как устроено менторство изнутри:
какие есть треки, какие проекты делают ребята
• зачем нужен деплой, кто будет вас вести,
• как проходят моки, отклики и разборы реальных собеседований
• Отдельно отвечу про сроки, офферы на 200–300к+, гарантии, совмещение с работой и ситуацию, когда вы застряли или хотите всё бросить
и много-много реальных историй ребят, которые залетают с нуля буквально

Пишите в комментариях вопросы, которые волнуют лично вас. Самые сильные заберу в эфир и, если останется время, разберу вас вживую 😎

Подробнее про эфир вопрос-ответ
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
10🔥8😍5🤝2💯1🍌1
Самая сложная работа - отдых 🎄

У каждого из нас наверное появлялось такое жгучие чувство внутри со словами "Чё то я подзаебался" и постоянно что-то и где-то не успеваю. Так вот последние месяцы я почти без остановки занимался менторством, эфирами, командой, учениками, контентом и ещё кучей параллельных задач. В какой-то момент поймал себя на мысли, что я вообще давно нормально не выдыхал, ощущая жжение внутри.

Через пять дней лечу домой - в Фокино (20к город, рядом с Владивостоком), и если честно, чувствую, что сейчас это очень вовремя 👍

И вспоминаю, что я вообще маньяк какой-то, я почти без перерывов ещё с девятого класса ебашил: сначала ОГЭ, потом ЕГЭ, дальше первый найм, Сбер, Газпром, Точка, параллельно менторство, свои проекты и постоянное ощущение, что надо двигаться дальше, быстрее и сильнее. И когда долго живёшь в таком темпе, отдых начинает восприниматься как слабость или потеря времени. Типо какого хуя я буду отдыхать, когда остальные будут занимать место под солнцем?

Но чем дальше, тем сильнее понимаю: отдых - это тоже работа над собой. Уметь вовремя остановиться, восстановиться, снова услышать себя и вернуться с нормальной головой иногда сложнее, чем просто продолжать ебашить на автомате

Поэтому сейчас хочу немного развеяться, побыть с близкими, выдохнуть, но всё равно продолжать вас радовать контентом)

А у вас как с этим? Умеете отдыхать без чувства вины или тоже начинаете грызть себя изнутри, как только ничего не делаете? 😐
Please open Telegram to view this post
VIEW IN TELEGRAM
23🔥8❤‍🔥5🥰1
Как я чуть не сломался в 22 года 😂

Сегодня очень личный пост, а также сегодня мой хепи бёрздэй, мне 23 года, сейчас я в Фокино-сити (мой родной город на 20к около Владивостока) и пора подводить микро итоги. Мои 22 года - это преодоление одного из самых больших для меня кризисов.

Порой в жизни могут быть такие случаи, после которых ты думаешь, что уже всё потеряно, не знаешь, что делать дальше, отрицая всё, что вокруг тебя случилось. И, как у меня было, я молил Бога, чтобы это со мной не произошло, и не верил, что я могу в целом попасть в такую ситуацию. Речь идёт о том, как я неудачно проинвестировал деньги в бизнес и по итогу остался должен другим людям не маленькие деньги, хотя до этого откладывал каждую копейку с 9 класса, и для меня мой капитал был моим источником стабильности 🚬

И как же я тогда ахуел выходить из морального пиздеца, в который я себя зовёл: я себя хуесосил, настолько не хотел верить в эту ситуацию, что откладывал её решение, так как думал, что само всё расосётся - но нихуя. И как только я взялся за голову, прикинул план, как выходить из сраки, то у меня всё полетело вверх.

Какие вещи я предпринял, чтобы выйти из ситуации?
1️⃣ Планнинг
Я запланировал себе путь как я буду выходить из ситуации, а потом запланировал видение жизни на 10 лет вперёд. Вот тут серия постов, как я это сделал. Почему мне помогло? Когда ты понимаешь свою конечную точку и декомпозируешь её достижение до сегодняшнего дня, то тебе становится неожиданно очень ясно, что тебе нужно делать прямо сейчас, а от этого понимания уходит страх и тревога. Поэтому теперь я планирую свою неделю/месяц/квартал и год, выделяя под это отдельные слоты в календаре

2️⃣ Сообщество людей.
Мне крайне не хватало людей, которые зарабатывают кратно больше меня. И естественно мне хотелось попасть в комнату людей, которые мудрее и опытнее чем я, чтобы становиться таким же и даже лучше. Поэтому я начал вступать в бизнес клубы: Аномалия от Гребенюка и Опора. Там я обрёл крайне много классных знакомых, меня даже на подкаст позвал Денис Сметнёв (ex co-founder SkyEng), а также познакомился и общаюсь со многими классными фаундерами и С-level. Это дало мне буст уверенности в том, что и я смогу, ведь вот люди, которые при мне огромные иксы делают 📈

3️⃣ Работа с головой.
Я ощущал ебать какое ужасное моральное состояние, и я понял, что мне нужен наставник/коуч/психолог, чтобы с этим справиться. По итогу в Опоре я познакомился с наставником, который мне помог прям системно разложить все мои проблемы по полочкам с первого же занятия и порешать мои баги в моралке. За 3 месяца уже стало лучше намного, я прям живее стал, понял, что действительно мне даёт мотивации и энергию. НО тут есть одно замечание, анализируя конечные рекоммендации ментора, я понял, что 80% мне говорила моя женщина, но я не слушал её видимо... Поэтому используйте технику "Жена", когда вам плохо и непонятно.

4️⃣ Работа с физухой и дисциплиной.
Я всю силу волю тратил на лечение морального состояния, и раскуфел с 90к до 100кг (рост 190), поэтому сейчас я работаю, чтобы сбросить вес до 90кг. Тут я делегировал программу на тренера с которым работал и сейчас в процессе отскуфизации тела 😎

Что же по итогу?
22 года для меня это в первую очередь выход из моральной сраки, и главный вывод - что не делается, то к лучшему. Я отчасти благодарен ситуации, что со мной произошла, потому что я действительно оч сильно поменялся и закалился. И теперь я не знаю, чего я не смогу и не знаю, что меня в целом может остановить. Поэтому план на 23 года: держать баланс в жизни (отдых/работа), чтобы быть в энергии, здоровые и крепкие отношения, -10кг, 5 млн/месяц - пока такое нагенерировал, а как я буду к этому идти... читайте канал, слоняры 🙂🙂🙂
Please open Telegram to view this post
VIEW IN TELEGRAM
54🔥31❤‍🔥15
Вопрос с собеса на NLP agents на 400к в WB 🗿

Мой ученик, проходя на собес в ВБ, получил в лицо такой вопрос: почему при батчинге (пакетной обработке) запросов в LLM растет задержка, но увеличивается общая скорость? Я не могу пройти мимо и не разобраться с такого сочного вопроса, поэтому летсгоу ебать вопрос.

Давайте разберемся, как работает обработка батчем и почему ее используют абсолютно все крупные ИИ-сервисы.
Для этого заглянем внутрь графического процессора (GPU), если упростить, память видеокарты делится на два основных типа:

- HBM (High Bandwidth Memory): Основная видеопамять, она огромная (например, 80 ГБ), но относительно медленная. Проводить вычисления напрямую в ней чип не может.
- SRAM: Сверхбыстрая память прямо внутри самого вычислительного чипа. Она крошечная (около 80 МБ), зато процессор работает с ней мгновенно.


Чтобы GPU мог что-то посчитать, данные нужно сначала перенести из HBM в SRAM, и здесь мы упираемся в фундаментальную проблему современных LLM: Memory-bound - ситуация, когда скорость пересылки весов модели из медленной HBM в быструю SRAM длится дольше,
чем сами вычисления над этими весами и чип простаивает в ожидании данных 🤔

Когда нам надо сгенерировать следующий токен, чипу нужно прогнать через SRAM все слои модели. Загрузка этих слоев из HBM - самая долгая часть процесса, но так как веса модели одинаковы для всех запросов, мы можем за один такой проход обработать данные сразу для n запросов. В этом и заключается идея батчинга. (см. Картинку 2)

Но почему тогда растет задержка (Latency) для конкретного пользователя?

Когда запросы обрабатываются пачкой, GPU приходится делать больше математических операций за один такт, а также тратить память SRAM на контекст (KV-кэш) сразу нескольких пользователей. Из-за этого время генерации каждого отдельного токена (Latency) немного увеличивается.

Например, без батча Запрос 1 выполнился бы за 5 секунд. А в батче он выполнится за 7 секунд (см. Картинку 3) 😧

Тогда в чем выгода?

Без батча: Мы обработали 2 запроса последовательно.
Потратили 10 секунд и получили, допустим, 200 токенов в секунду суммарно.

С батчем: Мы обработали оба запроса параллельно.
Потратили всего 7 секунд вместо 10.
Суммарная скорость системы выросла до 300 токенов в секунду
- профит, сучка


Итог: Батчинг заставляет отдельного пользователя подождать чуть дольше (растет Latency), но позволяет видеокарте не простаивать и обслуживать в разы больше пользователей одновременно (растет Throughput).
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3216🥰12🍌5👨‍💻1