Forwarded from Aspiring Data Science (Anatoly Alekseev)
#llms #gpt #langchain #rag
Основы пользовательской работы с LLM-ками.
https://www.youtube.com/watch?v=aZVGQ-IlkF8
Основы пользовательской работы с LLM-ками.
https://www.youtube.com/watch?v=aZVGQ-IlkF8
YouTube
Langchain - делаем AI chat бота поверх ваших документов // Курс «Machine Learning. Professional»
Обсудим что такое AI chat bot.
Рассмотрим что такое эмбеддинги и векторизация текстов
Рассмотрим задачу векторного поиска и векторные базы данных
Обсудим промпт-инжиниринг
Установим и запустим проект AI чат бота на фреймворке Langhain
Обсудим проблему сегментации…
Рассмотрим что такое эмбеддинги и векторизация текстов
Рассмотрим задачу векторного поиска и векторные базы данных
Обсудим промпт-инжиниринг
Установим и запустим проект AI чат бота на фреймворке Langhain
Обсудим проблему сегментации…
Forwarded from Dealer.AI
NotebookLM или начало новых подкастов с LM?
Ребята с Google хотели воплотить концепцию society of mind или "дебаты" с AI. Кстати Дядя писал уже об этом тут.
Но вышло в итоге NoteBookLM, где сервис, на базе модели семейства Gemini, может принимать на вход ваши доки/новости/аудио и тп, а на выходе делать аудио-дискуссию по "просмотренным" материалам между двумя llm-агентами.
Ну что теперь AI может пилить подкасты за Вас и по делу по-пИИ*деть🤣
Входим ли мы в новую эру AI-driven подкастов или это кратковременный ажиотаж —поживем, увидим.
Ребята с Google хотели воплотить концепцию society of mind или "дебаты" с AI. Кстати Дядя писал уже об этом тут.
Но вышло в итоге NoteBookLM, где сервис, на базе модели семейства Gemini, может принимать на вход ваши доки/новости/аудио и тп, а на выходе делать аудио-дискуссию по "просмотренным" материалам между двумя llm-агентами.
Ну что теперь AI может пилить подкасты за Вас и по делу по-пИИ*деть
Входим ли мы в новую эру AI-driven подкастов или это кратковременный ажиотаж —поживем, увидим.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Крис про аналитику🧠🦾
Между вами и вашим успехом
всего одна вещь.
⭐️ Неумение выдерживать свою некомпетентность⭐️
📚 Только этот барьер разделяет людей, которые быстро залетели в айтишку и начали зарабатывать деньги, от тех, кто годами мусолит обучающие курсы и дальше не идёт.
🤑 Только этот барьер разделяет тех, кто быстро вырос в зарплате, от тех, кто годами сидит на джун+ зарплате и боится искать нового работодателя.
Страшно ведь, придёшь на собес, а там тебя волк из красной шапочки съесть. Или, что ещё хуже — вдруг над вами посмеются и отпустят резкие комментарии. Это ж сродни смерти.
👎 Или все становятся блогерами, вам тоже хочется, но страшно. Рисуете в голове планы, как сразу набрать тысячи подписчиков, ведь если меньше, то вас люди засмеют. Не переходите от планов к действиям.
Перемотайте в начало ленты любого блогера, кто вам нравится: первые посты — треш, угар и содомия. Никто не стартует идеально, а просто стартует.
Вот мой первый пост: https://t.me/kris_the_analyst/4
📷 Когда заводила канал, для меня это была замена запрещенограму в текстовом формате: фотки из жизни, байки про тиндер и короткие мыслишки.
Никакой дальновидной стратегии, что я буду качать бренд, писать про аналитику, обрастать связями и зарабатывать на рекламе)))
Пока вы жуете сопли, люди, на которых вы пытаетесь равняться, просто делают.
❓ Как научиться выдерживать свою некомпетентность?
Помогут три вещи: насмотренность, разлепить свою самооценку от ошибок, практика.
1️⃣ Первое поможет вам увидеть, что абсолютно все люди лажают по-мелкому и по-крупному.
Из недавних примеров: Apple выпустил калищное обновление операционной системы, которое сжирало всю зарядку телефона за 4 часа.
Как думаете, технический директор и СРО продукта из-за этого уволились? Или посыпали голову пеплом, боясь выходить из дома и рыдая в подушку?
Нет, ошибки в рабочих процессах — это абсолютная норма. Делаем выводы и идём дальше.
2️⃣ Позволяйте себе ошибаться. Хвалите себя за ошибки. Не сливайтесь со своими ошибками. Ошибки — отдельно, вы как личность — отдельно. Вы сильно больше, чем какие-то ошибки. Стыд и вина — это социальный конструкт, который позволяет держать поведение людей под контролем. Вам хочется быть под чьим-то контролем?
3️⃣ Радуйтесь ошибкам. Вместо избегания этого опыта доведите до абсурда: заведите доску провалов, записывайте туда свои ошибки и что надо исправить, чтобы в следующий раз получилось лучше. Давайте себе шуточные звания "генерал ошибок", "геркулес практики", "бэтмен отказов". Дело перестает быть страшным, когда относишься к нему и к себе с юмором.
У меня сейчас есть несколько вещей, которые боюсь начать делать. С помощью описанных шагов получается сбавить накал страстей и подступиться.
🙂 Да, не сразу, но кто говорит, что живёт идеальную жизнь?
всего одна вещь.
Страшно ведь, придёшь на собес, а там тебя волк из красной шапочки съесть. Или, что ещё хуже — вдруг над вами посмеются и отпустят резкие комментарии. Это ж сродни смерти.
Перемотайте в начало ленты любого блогера, кто вам нравится: первые посты — треш, угар и содомия. Никто не стартует идеально, а просто стартует.
Вот мой первый пост: https://t.me/kris_the_analyst/4
Никакой дальновидной стратегии, что я буду качать бренд, писать про аналитику, обрастать связями и зарабатывать на рекламе)))
Пока вы жуете сопли, люди, на которых вы пытаетесь равняться, просто делают.
Помогут три вещи: насмотренность, разлепить свою самооценку от ошибок, практика.
Из недавних примеров: Apple выпустил калищное обновление операционной системы, которое сжирало всю зарядку телефона за 4 часа.
Как думаете, технический директор и СРО продукта из-за этого уволились? Или посыпали голову пеплом, боясь выходить из дома и рыдая в подушку?
Нет, ошибки в рабочих процессах — это абсолютная норма. Делаем выводы и идём дальше.
У меня сейчас есть несколько вещей, которые боюсь начать делать. С помощью описанных шагов получается сбавить накал страстей и подступиться.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from DevFM
Когда всё горит
Считаю полезным порассуждать о кризисных ситуациях, в которые можно угодить на работе:
– ушёл продакт или дизайнер и нужно как-то поддерживать работу команды
– у компании денежный кризис, приходится сокращать людей, но при этом продолжать из него выкарабкиваться
– завтра случится очередной ковид
– жесточайшие дедлайны, которые нельзя сдвинуть
На тему преодоления кризисных ситуаций с точки зрения руководителя принёс вот такую статью.
Автор предлагает сосредоточиться на следующих аспектах.
Обеспечение поставок продукта (круто звучит по-английски – Ensuring Goal-Aligned Delivery).
– жесточайше приоритизируйте: нужно сосредоточиться только на самых критических моментах
– ускоряйте работу: сократить бюрократические проволочки, выдать команде полномочия на принятие решений
– цените время: нужно максимально ограничить отвлекающие факторы, убрать лишние встречи
– управляйте техдолгом: он неизбежно будет расти, а ваша задача аккуратно фиксировать и подсвечивать проблемные места для будущих фиксов
– будьте с командой: вы как руководитель должны быть вовлечены в проблемы проекта и команды, помогать их решать
Под каждый пунктом готов подписаться, все их так или иначе применяли в разных кризисных ситуациях. Эти шаги действительно позволят в кризисной ситуации продолжать поставлять продукт.
Поддержка сильной команды
– поддерживайте мораль: заряжайте команду позитивом, отмечайте быстрые победы, избегайте противопоставления себя другим отделам
– управляйте производительностью: негативное поведение в команде должно решаться оперативно, и вред от токсичного сотрудника может перевесить выгоду от его уникальных скиллов
– трудности это рост: покажите команде, что текущие вызовы — это возможность для личного и профессионального роста. Помогайте им развивать навыки, которые останутся с ними
И ещё немаловажное замечание. Не забывайте о своем здоровье: вы не сможете помочь другим, если сами выгорите. Заботьтесь о себе, находите время на отдых и восстановление. В конце концов, не корову проигрываете.
#edu #teamwork
Считаю полезным порассуждать о кризисных ситуациях, в которые можно угодить на работе:
– ушёл продакт или дизайнер и нужно как-то поддерживать работу команды
– у компании денежный кризис, приходится сокращать людей, но при этом продолжать из него выкарабкиваться
– завтра случится очередной ковид
– жесточайшие дедлайны, которые нельзя сдвинуть
На тему преодоления кризисных ситуаций с точки зрения руководителя принёс вот такую статью.
Автор предлагает сосредоточиться на следующих аспектах.
Обеспечение поставок продукта (круто звучит по-английски – Ensuring Goal-Aligned Delivery).
– жесточайше приоритизируйте: нужно сосредоточиться только на самых критических моментах
– ускоряйте работу: сократить бюрократические проволочки, выдать команде полномочия на принятие решений
– цените время: нужно максимально ограничить отвлекающие факторы, убрать лишние встречи
– управляйте техдолгом: он неизбежно будет расти, а ваша задача аккуратно фиксировать и подсвечивать проблемные места для будущих фиксов
– будьте с командой: вы как руководитель должны быть вовлечены в проблемы проекта и команды, помогать их решать
Под каждый пунктом готов подписаться, все их так или иначе применяли в разных кризисных ситуациях. Эти шаги действительно позволят в кризисной ситуации продолжать поставлять продукт.
Поддержка сильной команды
– поддерживайте мораль: заряжайте команду позитивом, отмечайте быстрые победы, избегайте противопоставления себя другим отделам
– управляйте производительностью: негативное поведение в команде должно решаться оперативно, и вред от токсичного сотрудника может перевесить выгоду от его уникальных скиллов
– трудности это рост: покажите команде, что текущие вызовы — это возможность для личного и профессионального роста. Помогайте им развивать навыки, которые останутся с ними
И ещё немаловажное замечание. Не забывайте о своем здоровье: вы не сможете помочь другим, если сами выгорите. Заботьтесь о себе, находите время на отдых и восстановление. В конце концов, не корову проигрываете.
#edu #teamwork
Péter Szász
How to Lead Your Team when the House Is on Fire
Wartime can be extremely demanding for Engineering Managers. But by ruthlessly focusing on delivery, building a resilient team, investing in individuals, and maintaining their own strength, an EM can lead their people to not just survive but thrive under…
Forwarded from Kali Novskaya
🌸FAANG Собеседования. Часть 2, рефералы 🌸
#собеседования
Начали серию постов про собеседования — давайте продолжим. Сегодня поговорим про то, как вообще добраться до этапа собеседования.
TL;DR лучше сделать меньше попыток, но более качественных и таргетировангых, чем подаваться массово на 500 позиций. Часть вакансий и так не настоящая, а часть вы делите с внутренними и внешними кандидатами — так что нужно быть таргетированным и быстрым.
🟣 Резюме
Делается под вакансию и страну! Сделайте под самые интересные для вас вакансии отдельные версии: резюме для позиции Researcher'а и для ML Eng выглядит по-разному!
Из резюме сразу должно быть видно, что у вас N лет опыта, легальный статус, виза таланта и т.д. — плюс все чем можете похвастаться. 100500 цитирований, членство в орг комитете престижной конференции, опенсорс проект на 1000 контрибьюторов. Сейчас не страшно быть over qualified для вакансии.
Если в вакансии хотят опыт RL, и у вас он есть, надо добавить прямо в шапку, что вы experienced in reinforcement learning.
Если есть и статьи на тему, сделайте секцию "Publications" и поместите их туда.
🟣 Получаем Referrals
Реферрал — это формальный или неформальный способ быть рекомендованным на позицию кем-то из текущих сотрудников. Эта рекомендация очень важна! Чем ближе рекомендующий к команде вакансии — тем лучше, поэтому эффективность реферраллов я бы отсортировала так:
— реферралы внутри команды, реферралы из вашего нетворка
— просто общие Linkedin-контакты из компании,
— случайные русскоязычные люди из компании, которым будет понятен ваш бэкграунд (МФТИ, ШАД...),
— просто случайные люди из компании.
Пишите людям прямо, что вы очень интересуетесь позицией, считаете, что подходите на неё, и хотели бы реферрал — заодно можете поболтать и спросить что-то про культуру работы в компании. Вам могут рассказать более подробно про команду, чем она занимается, есть ли в целом проблемы у организации и какие.
Помимо Linkedin, для FAANG существует ещё один полезный инструмент: Blind.
Blind — это приложение для анонимного чата о работодателях, что-то вроде двача с Glassdoor. Там принято просить реферрал непосредственно у сотрудников компании, некоторые люди делают это ради бонуса.
🟣 Chechez le manager
Вакансию изучили, реферралы получили, теперь следующая стадия — найти нанимающего менеджера и написать ему. Часто название команды/орга содержится в вакансии, и можно найти менеджера/директора с таким описанием по Linkedin.
Такой подход тоже в целом позитивно выделит вас из списка кандидатов, потому что вы облегчаете работу всех по найму мотивированного человека в компанию.
Напишите пару строчек о себе, почему вас надо взять, и что вас уже зареферили. Пришлите резюме. Если прямо очень хотите в компанию, то через неделю напишите ещё раз — свои мысли про что-то из продуктов компании, последних релизов, что бы вы улучшили, и т.д.
🟣 Куда подаваться?
Рынок в целом не очень, поэтому лучше всего целиться в 3 категории — крупные компании, средние компании и стартапы, — даже если вы сомневаетесь, хотите ли туда.
Воркшоп ICML 2022 по офферам и поиску работу (посмотрите!) это явно предлагает.
В самом лучшем случае у вас будет несколько офферов, и вы используете оффер стартапа, чтобы улучшить оффер от большой компании. Или используете оффер большой компании, чтобы получить оффер больше от компании среднего размера с хорошим work-life balance. Но про это — в следующий раз!
🌸Кстати, наш карьерный стрим теперь выложен в записи!
#собеседования
Начали серию постов про собеседования — давайте продолжим. Сегодня поговорим про то, как вообще добраться до этапа собеседования.
TL;DR лучше сделать меньше попыток, но более качественных и таргетировангых, чем подаваться массово на 500 позиций. Часть вакансий и так не настоящая, а часть вы делите с внутренними и внешними кандидатами — так что нужно быть таргетированным и быстрым.
Делается под вакансию и страну! Сделайте под самые интересные для вас вакансии отдельные версии: резюме для позиции Researcher'а и для ML Eng выглядит по-разному!
Из резюме сразу должно быть видно, что у вас N лет опыта, легальный статус, виза таланта и т.д. — плюс все чем можете похвастаться. 100500 цитирований, членство в орг комитете престижной конференции, опенсорс проект на 1000 контрибьюторов. Сейчас не страшно быть over qualified для вакансии.
Если в вакансии хотят опыт RL, и у вас он есть, надо добавить прямо в шапку, что вы experienced in reinforcement learning.
Если есть и статьи на тему, сделайте секцию "Publications" и поместите их туда.
Реферрал — это формальный или неформальный способ быть рекомендованным на позицию кем-то из текущих сотрудников. Эта рекомендация очень важна! Чем ближе рекомендующий к команде вакансии — тем лучше, поэтому эффективность реферраллов я бы отсортировала так:
— реферралы внутри команды, реферралы из вашего нетворка
— просто общие Linkedin-контакты из компании,
— случайные русскоязычные люди из компании, которым будет понятен ваш бэкграунд (МФТИ, ШАД...),
— просто случайные люди из компании.
Пишите людям прямо, что вы очень интересуетесь позицией, считаете, что подходите на неё, и хотели бы реферрал — заодно можете поболтать и спросить что-то про культуру работы в компании. Вам могут рассказать более подробно про команду, чем она занимается, есть ли в целом проблемы у организации и какие.
Помимо Linkedin, для FAANG существует ещё один полезный инструмент: Blind.
Blind — это приложение для анонимного чата о работодателях, что-то вроде двача с Glassdoor. Там принято просить реферрал непосредственно у сотрудников компании, некоторые люди делают это ради бонуса.
Вакансию изучили, реферралы получили, теперь следующая стадия — найти нанимающего менеджера и написать ему. Часто название команды/орга содержится в вакансии, и можно найти менеджера/директора с таким описанием по Linkedin.
Такой подход тоже в целом позитивно выделит вас из списка кандидатов, потому что вы облегчаете работу всех по найму мотивированного человека в компанию.
Напишите пару строчек о себе, почему вас надо взять, и что вас уже зареферили. Пришлите резюме. Если прямо очень хотите в компанию, то через неделю напишите ещё раз — свои мысли про что-то из продуктов компании, последних релизов, что бы вы улучшили, и т.д.
Рынок в целом не очень, поэтому лучше всего целиться в 3 категории — крупные компании, средние компании и стартапы, — даже если вы сомневаетесь, хотите ли туда.
Воркшоп ICML 2022 по офферам и поиску работу (посмотрите!) это явно предлагает.
В самом лучшем случае у вас будет несколько офферов, и вы используете оффер стартапа, чтобы улучшить оффер от большой компании. Или используете оффер большой компании, чтобы получить оффер больше от компании среднего размера с хорошим work-life balance. Но про это — в следующий раз!
🌸Кстати, наш карьерный стрим теперь выложен в записи!
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Kali Novskaya
🌸FAANG собеседования. Behavioral 🌸
#собеседования
За последние года два я пособесилась в десяток компаний с сильным ML, и где-то ещё десяток не очень AI-native.
🌸Мой опыт
Прошла до конца в Meta, Snapchat, Spotify, HuggingFace, несколько стартапов.…
#собеседования
За последние года два я пособесилась в десяток компаний с сильным ML, и где-то ещё десяток не очень AI-native.
🌸Мой опыт
Прошла до конца в Meta, Snapchat, Spotify, HuggingFace, несколько стартапов.…
Forwarded from grokaem себя
Понедельничное нетех обсуждения. Метод, которому меня научила PHD студентка и который немного поменял мой подход к жизни в целом.
#grokaem_seby_thoughts
За день у меня может быть масса теорий и гипотез, которые я хотела бы проверить. Вот только в день у меня как минимум два проекта. Я очень не люблю держать все в голове. Стараюсь уходить домой без раздумий о задачах. Да, какой-то баг или мысль может как дементор меня преследовать и испариться с быстрым решением где-то в душе, но вот помнить все - нет, спасибо, у меня есть жизнь вне этого всего.
И вот проблема с которой я столкнулась: появляется идея - я ее записываю и забываю, а что хотел сказать автор? Ну проверишь ты это и что?
Поэтому новый паттерн для всех гипотез, которые у меня появляются:
🏔
Гипотеза:
Результат, который я ожидаю:
Как проверить:
🏔
И необходимо не лениться, а заполнять полностью и нормальными словами! Так я могу вернуться и понять, а что я вообще хотела проверить и почему. Это в разы ускоряет процессы
Да, это кажется очевидным, но почему-то все наставники, что у меня были, не заставляли меня это делать, а зря! Пример такой записи в комментариях.
#grokaem_seby_thoughts
За день у меня может быть масса теорий и гипотез, которые я хотела бы проверить. Вот только в день у меня как минимум два проекта. Я очень не люблю держать все в голове. Стараюсь уходить домой без раздумий о задачах. Да, какой-то баг или мысль может как дементор меня преследовать и испариться с быстрым решением где-то в душе, но вот помнить все - нет, спасибо, у меня есть жизнь вне этого всего.
И вот проблема с которой я столкнулась: появляется идея - я ее записываю и забываю, а что хотел сказать автор? Ну проверишь ты это и что?
Поэтому новый паттерн для всех гипотез, которые у меня появляются:
🏔
Гипотеза:
Результат, который я ожидаю:
Как проверить:
🏔
И необходимо не лениться, а заполнять полностью и нормальными словами! Так я могу вернуться и понять, а что я вообще хотела проверить и почему. Это в разы ускоряет процессы
Да, это кажется очевидным, но почему-то все наставники, что у меня были, не заставляли меня это делать, а зря! Пример такой записи в комментариях.
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Треним Лоры для Flux 1.0 [dev] бесплатно
Люблю опенсорс. А ещё больше нонпрофит проекты, основанные на опенсорсе (да, OpenAI?).
Ежедневно выходит куча проектов с исходным кодом, о которых я даже не успеваю писать, но ведь, кроме обзора статей, хочется ещё и потыкаться самостоятельно. А установка у таких проектов обычно муторная — кто-то всё ещё с сетапом Comfy мучается.
Так вот, Tost.AI — сайт, на котором можно потыкать новые модельки и пайплайны по типу Live Portrait, до которого у меня так и не дошли руки.
Там же можно натренировать свою LoRa и делать всякие ништяки. Кстати, LoRa на Flux выходят бомбические. По набору из 6 фотографий можно консистентно генерить один и тот же объект. Детали реального объекта передаются настолько точно, что сохраняется даже текст (салют креативным фотографам).
Можно, например, по фотографиям из white бокса сделать фото продукта с моделью (или на модели), или красивую картинку где-то в необычной локации и пр.
Тут стоит отметить, что, хоть веса под non-profit лицензией, вы полностью владеете картинками, которые генерит Flux:
Делаем так (см. видос):
1. Заходим, регистрируемся на tost.ai
2. В первой плашке выбираем Train Lora
3. Придумываем триггер-ворд
4. Подгружаем файлы через кнопку Add
5. Жмём Enter и ждём минут 30
6. Качаем файл safetensor
LoRa готова, теперь можно генерить!
Для этого:
1. В первой плашке идём в Text to Image, во второй — Flux 1 Dev. Custom Lora
2. Загружаем файл LoRa, ждём, пока обновится ссылка
3. Далее всё как обычно, главное не забыть триггер-ворд
Жду ваши тесты в комментариях!
UPD: Добавили Flux.1 Dev - ControlNet inpating
Tost.ai
Лицензия FLUX.1 [Dev]
#tutorial
@ai_newz
Люблю опенсорс. А ещё больше нонпрофит проекты, основанные на опенсорсе (да, OpenAI?).
Ежедневно выходит куча проектов с исходным кодом, о которых я даже не успеваю писать, но ведь, кроме обзора статей, хочется ещё и потыкаться самостоятельно. А установка у таких проектов обычно муторная — кто-то всё ещё с сетапом Comfy мучается.
Так вот, Tost.AI — сайт, на котором можно потыкать новые модельки и пайплайны по типу Live Portrait, до которого у меня так и не дошли руки.
Там же можно натренировать свою LoRa и делать всякие ништяки. Кстати, LoRa на Flux выходят бомбические. По набору из 6 фотографий можно консистентно генерить один и тот же объект. Детали реального объекта передаются настолько точно, что сохраняется даже текст (салют креативным фотографам).
Можно, например, по фотографиям из white бокса сделать фото продукта с моделью (или на модели), или красивую картинку где-то в необычной локации и пр.
Тут стоит отметить, что, хоть веса под non-profit лицензией, вы полностью владеете картинками, которые генерит Flux:
d. Outputs. We claim no ownership rights in and to the Outputs. You are solely responsible for the Outputs you generate and their subsequent uses in accordance with this License. You may use Output for any purpose (including for commercial purposes), except as expressly prohibited herein. You may not use the Output to train, fine-tune or distill a model that is competitive with the FLUX.1 [dev] Model.
Делаем так (см. видос):
1. Заходим, регистрируемся на tost.ai
2. В первой плашке выбираем Train Lora
3. Придумываем триггер-ворд
4. Подгружаем файлы через кнопку Add
5. Жмём Enter и ждём минут 30
6. Качаем файл safetensor
LoRa готова, теперь можно генерить!
Для этого:
1. В первой плашке идём в Text to Image, во второй — Flux 1 Dev. Custom Lora
2. Загружаем файл LoRa, ждём, пока обновится ссылка
3. Далее всё как обычно, главное не забыть триггер-ворд
Жду ваши тесты в комментариях!
UPD: Добавили Flux.1 Dev - ControlNet inpating
Tost.ai
Лицензия FLUX.1 [Dev]
#tutorial
@ai_newz
Forwarded from Тагир Анализирует
Еще 10 лет назад аналитики как полноценного направления практически не существовало – не было каких-либо стандартов индустрии. В последние годы рынок аналитики (помимо того, что он сформировался) становится более прозрачным – компании открыто говорят о том, как и кого они нанимают
Как я уже писал в своем посте про найм аналитиков в СНГ и заграницей: у Яндекса есть целая страница, посвященная найму аналитиков, где описаны этапы отбора и ссылки на подготовку. У Авито тоже есть страница, где лежат видео, статьи и сами вакансии. У Тинька тоже есть сайт с курсами, книгами и вопросами
Яндекс и Авито пошли дальше и опубликовали свое понимание грейдов аналитиков. Яндекс сделал это через статью от Жени Козлова, который много лет руководил аналитикой Такси и Маркета. Авито опубликовали свою матрицу компетенций на Гитхаб, где лежат статьи и по другим профессиям
Картинка в этом посте – часть таблички из статьи Жени. Это саммари, которое лучше смотреть после прочтения статьи – там подробно расписаны скиллы и ожидания от каждого грейда. Академическая база, постановка задач, контекст, проактивность, рефелксия, глубина решений – все в статье
Подобные документы позволяют еще на этапе интервью самому оценить себя. Внутри корпорации иногда сложно унифицировать понимания грейдов: в одном бизнес юните аналитик 1 (миддл) – бывший стажер или просто начинающий миддл, в другом – опытный аналитик, который точно не начинающий миддл. А платят всем одинаково
Что думаете про подобные матрицы компетенций и грейдирование в корпорациях в целом? Как работает оценка кандидатов в знакомых вам компаниях без подобной систематизации?
@tagir_analyzes
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Kogut Ivan Tutoring
Practical ML Digest
2️⃣
#MLПост #PMD
ℹ️ В этот раз дайджест будет полностью (почти) про LLMки. В сегодняшних докладах: может ли модель общаться вместо нас с друзьями и коллегами, RAG системы и нужны ли все еще люди разметчики данных. Погнали!
"Притворяемся собой и друзьями, обучая LLM на сообщениях из Telegram"
Год: 2024
Спикер: Александр Смирнов, Household Robots@Entrepreneur First
Посмотреть: Ютуб
Кто смотрел сериал Клон?)
Спикер взял и по приколу обучил Mistral 7B уже зафайнтюненную на чат и дообучил 2 способами: Full Finetune и LORA. Ресурсы на обучение (GPU) взял на сервисе vast.ai, я сам про такой не слышал (так как не узнавал, где гпухи в аренду брать можно)
Доклад технически ничего нового не привносит, самое интересное - это результат.
Получилось хорошо копировать стиль, модель имеет такой же бэкграунд, понимает с кем и как общаться. И мнение модели по каким-то развернутым вопросам совпадает с человеком, на чьих данных она была обучена
Плохо с текущими событиями, их надо как-то до модели доносить, естественно. Также, чем длиннее переписка (>10 сообщений), тем хуже модель становится - начинает что-то переспрашивать и так далее (думаю пользователи Алисы что-то такое ловили). И что самое плохое - проблема с безопасностью ваших данных, то есть узнать у нее какие-то ваши реквизиты или какой-то секрет очень просто.
Также, Александр оставил гитхаб, если кто-то хочет тоже самое повторить со своими переписками)
"ML Александр Алерон Миленькин. Надо ли строить бизнес вокруг ML (Про LLM, RAG-системы, насмотренность и виртуальных помощников)"
Год: 2024
Спикер: Александр (Алерон) Миленькин - ML лидер в Dodo Brands
Послушать подкаст: Яндекс Музыка
Не только же видео смотреть, подкасты в дорогу на тренировку тоже хороши!
Что такое RAG (Retrieval Augmented Generation) система, на задаче голосового заказчика из Dodo рассказано из каких этапов состоит. Упоминание популярного фреймворка для RAG (и в принципе работы с LLM) - LangChain. Обсуждается почему нельзя ограничиться просто промптингом (все в промпт пихать)
Зачем нужна насмотренность, особенно сейчас. То есть знание просто идеи (best practice), даже если никогда это не делал, уже ускоряет путь от продуктовой идеи до готового продукта. Сейчас, когда появляются все новые и более крутые, простые в использовании инструменты, это чуть ли не самое нужное качество по моему мнению)
Еще под конец ушли в обсуждение VR и прикольную идею для него выдвинули: помещать человека в ситуацию из учебников по английскому (в аэропорту, заселение в отель и прочие) и чтобы он в этой ситуации отрабатывал разговорный английский. Звучит очень бодро, тогда английский в разы быстрее можно будет выучить. Ждем такую штуку
"Использование LLM в разметке данных: можно ли убрать людей?"
Год: 2024
Спикер: Дмитрий Антипов, тимлид разработки в Сбере, АБТ
Посмотреть: ВК
Думаю не для кого не секрет, что уже очень часто LLM используют для разметки данных, что б обучить модель поменьше и для других целей.
Докладчик же выделил несколько ролей LLM в качестве помощников в разметке:
🔄 Чернорабочий. С помощью него сложные/монотонные задания для человека превратить в легкие. Например, генерация названий заменить на выбор лучшего названия и т.д.
🔄 Разметчик. Тут все понятно, просто даем задание модели и она его размечает. Да, она может ошибаться, но и люди разметчики много ошибаются. Лучше в начале самим проверить, насколько хорошо LLM справляется конкретно с вашей разметкой
🔄 Модератор. Выбирает лучший ответ среди нескольких моделей или людей, тем самым минимизирует вероятность плохой разметки. При этом, можно еще попросить модель объяснять выбор, что б потом человеку удобнее было проверять
🔄 Эксперт. Тут было очень кратко про то, что можно использовать для каких-то вопросов "А сколько это займет, а сгенерируй инструкцию..." и бла-бла-бла, как будто не оч полезно
И вывод ко всему этому такой, что модели очень сильно помогают уже сейчас в разметке, но от людей пока избавиться все же нельзя (ура!)
#MLПост #PMD
"Притворяемся собой и друзьями, обучая LLM на сообщениях из Telegram"
Год: 2024
Спикер: Александр Смирнов, Household Robots@Entrepreneur First
Посмотреть: Ютуб
Кто смотрел сериал Клон?)
Спикер взял и по приколу обучил Mistral 7B уже зафайнтюненную на чат и дообучил 2 способами: Full Finetune и LORA. Ресурсы на обучение (GPU) взял на сервисе vast.ai, я сам про такой не слышал (так как не узнавал, где гпухи в аренду брать можно)
Доклад технически ничего нового не привносит, самое интересное - это результат.
Получилось хорошо копировать стиль, модель имеет такой же бэкграунд, понимает с кем и как общаться. И мнение модели по каким-то развернутым вопросам совпадает с человеком, на чьих данных она была обучена
Плохо с текущими событиями, их надо как-то до модели доносить, естественно. Также, чем длиннее переписка (>10 сообщений), тем хуже модель становится - начинает что-то переспрашивать и так далее (думаю пользователи Алисы что-то такое ловили). И что самое плохое - проблема с безопасностью ваших данных, то есть узнать у нее какие-то ваши реквизиты или какой-то секрет очень просто.
Также, Александр оставил гитхаб, если кто-то хочет тоже самое повторить со своими переписками)
"ML Александр Алерон Миленькин. Надо ли строить бизнес вокруг ML (Про LLM, RAG-системы, насмотренность и виртуальных помощников)"
Год: 2024
Спикер: Александр (Алерон) Миленькин - ML лидер в Dodo Brands
Послушать подкаст: Яндекс Музыка
Не только же видео смотреть, подкасты в дорогу на тренировку тоже хороши!
Нет смысла делать бизнес ради ML, имеет смысл делать ML, чтобы бустануть бизнес
Что такое RAG (Retrieval Augmented Generation) система, на задаче голосового заказчика из Dodo рассказано из каких этапов состоит. Упоминание популярного фреймворка для RAG (и в принципе работы с LLM) - LangChain. Обсуждается почему нельзя ограничиться просто промптингом (все в промпт пихать)
Зачем нужна насмотренность, особенно сейчас. То есть знание просто идеи (best practice), даже если никогда это не делал, уже ускоряет путь от продуктовой идеи до готового продукта. Сейчас, когда появляются все новые и более крутые, простые в использовании инструменты, это чуть ли не самое нужное качество по моему мнению)
Еще под конец ушли в обсуждение VR и прикольную идею для него выдвинули: помещать человека в ситуацию из учебников по английскому (в аэропорту, заселение в отель и прочие) и чтобы он в этой ситуации отрабатывал разговорный английский. Звучит очень бодро, тогда английский в разы быстрее можно будет выучить. Ждем такую штуку
"Использование LLM в разметке данных: можно ли убрать людей?"
Год: 2024
Спикер: Дмитрий Антипов, тимлид разработки в Сбере, АБТ
Посмотреть: ВК
Думаю не для кого не секрет, что уже очень часто LLM используют для разметки данных, что б обучить модель поменьше и для других целей.
Докладчик же выделил несколько ролей LLM в качестве помощников в разметке:
И вывод ко всему этому такой, что модели очень сильно помогают уже сейчас в разметке, но от людей пока избавиться все же нельзя (ура!)
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM