Media is too big
VIEW IN TELEGRAM
Новая компания и привычная структура
#мануал
Когда я впервые услышал про авто-ML, то представлял себе чудесную кнопку "fit_predict", которая делает все за нас. Так сильно я еще не ошибался.
Готовлю мануал по интересной библиотеке PyCaret.
Если хочется получить бейзлайн в 5 строк кода, то вот ссылка на ноутбук с примером.
В этой библиотеке мне нравится блок с оценкой качества модели - информативные графики по одной кнопке.
Правда есть у нее серьезный минус - библиотека очень требовательна к ресурсам. А если подрубить внутренний препроцессинг, то упасть в OOM достаточно легко.
Теперь можно провести эксперименты с данными за 15-минутный перерыв на кофе между созвонами ☕️
Когда я впервые услышал про авто-ML, то представлял себе чудесную кнопку "fit_predict", которая делает все за нас. Так сильно я еще не ошибался.
Готовлю мануал по интересной библиотеке PyCaret.
Если хочется получить бейзлайн в 5 строк кода, то вот ссылка на ноутбук с примером.
В этой библиотеке мне нравится блок с оценкой качества модели - информативные графики по одной кнопке.
Правда есть у нее серьезный минус - библиотека очень требовательна к ресурсам. А если подрубить внутренний препроцессинг, то упасть в OOM достаточно легко.
Теперь можно провести эксперименты с данными за 15-минутный перерыв на кофе между созвонами ☕️
pycaret.gitbook.io
PyCaret 3.0 | Docs
An open-source, low-code machine learning library in Python
#мануал
В самом разгаре идет соревнование от МТС по очень распространенной и в каком-то смысле игровой задаче - классификации. Предлагают по куки определять пол и возраст юзера, доступно 200+ млн строк.
Здесь можно скачать бейзлайн от организаторов и посмотреть на работу с данными с помощью PyArrow - библиотеки для работы с большими данными, оптимизированной под работу in-memory analytics.
Кстати призовые за первое место - 350к деревянных.
А здесь ссылка на само соревнование.
В самом разгаре идет соревнование от МТС по очень распространенной и в каком-то смысле игровой задаче - классификации. Предлагают по куки определять пол и возраст юзера, доступно 200+ млн строк.
Здесь можно скачать бейзлайн от организаторов и посмотреть на работу с данными с помощью PyArrow - библиотеки для работы с большими данными, оптимизированной под работу in-memory analytics.
Кстати призовые за первое место - 350к деревянных.
А здесь ссылка на само соревнование.
Сегодня вышла, кажется, единственная ААА игра от российских разработчиков - Atomic Heart.
Сюжет про СССР 50х годов, где наступили времена киберпанка.
Музыкальным сопровождением игры занимался Мик Гордон, который работал над саундтреками к Doom. Он сделал ремиксы на популярные советские хиты группы "Мираж", Аллы Пугачевой и некоторые другие. Музыка уже появилась в сторах и можно испытать новые ощущения со знакомым привкусом.
Средняя оценка Atomic Heart на Metacritic составляет 79 баллов из 100 на базе 19 рецензий, что вполне неплохо для дебюта, но все-таки по 19 рецензиям судить рано. Возможно их оставили просто вежливые люди.
Интересно то, что для создания изображений человекоподобных роботов вероятно использовались Dreambooth и Textual Inversion подходы, которые по сути переобучают нейронку на переданный образ и позволяют генерить различные изображения объекта, на который сеть переобучилась.
Сюжет про СССР 50х годов, где наступили времена киберпанка.
Музыкальным сопровождением игры занимался Мик Гордон, который работал над саундтреками к Doom. Он сделал ремиксы на популярные советские хиты группы "Мираж", Аллы Пугачевой и некоторые другие. Музыка уже появилась в сторах и можно испытать новые ощущения со знакомым привкусом.
Средняя оценка Atomic Heart на Metacritic составляет 79 баллов из 100 на базе 19 рецензий, что вполне неплохо для дебюта, но все-таки по 19 рецензиям судить рано. Возможно их оставили просто вежливые люди.
Интересно то, что для создания изображений человекоподобных роботов вероятно использовались Dreambooth и Textual Inversion подходы, которые по сути переобучают нейронку на переданный образ и позволяют генерить различные изображения объекта, на который сеть переобучилась.
AB-тесты в несколько строк кода?
Помню как тратил временя на дизайн АБ-теста и в голову все время шла идея, что механики расчетов можно оформить в библиотеку. Команда Big Data МТС в конце 2022 года выложила в open source такую библиотеку, уже поставил им звезду.
Подготовил #мануал по расчету размера датасета с использованием этой крутой библиотеки, которая называется ambrosia.
В мануале для понижения дисперсии применилCUPED с несколькими ковариатами . Да, библиотека и в такое умеет.
🔗 Вот ссылка на колаб с кодом.
А что ты используешь для дизайна АБ-теста? Может есть еще более крутая либа?
Помню как тратил временя на дизайн АБ-теста и в голову все время шла идея, что механики расчетов можно оформить в библиотеку. Команда Big Data МТС в конце 2022 года выложила в open source такую библиотеку, уже поставил им звезду.
Подготовил #мануал по расчету размера датасета с использованием этой крутой библиотеки, которая называется ambrosia.
В мануале для понижения дисперсии применил
🔗 Вот ссылка на колаб с кодом.
А что ты используешь для дизайна АБ-теста? Может есть еще более крутая либа?
Google
ambrosia.ipynb
Colaboratory notebook
#тру_стори
Как я пришел в ML?
Бизнес всегда мне был интересен с точки зрения его эволюции.
Компания - сложный организм из людей, интересов, авторитетов, денег, влияния и многого другого. По сути - небольшой мир, в котором мы живем каждый день.
Мой внутренний перфекционист ворчит, когда что-то внутри бизнеса, за который я болею душой, происходит не оптимально. В начале карьерного пути я глубоко погружался в важные для бизнеса темы и испытывал жгучее желание делать его лучше. Это желание все еще живет, оно научило многому и привело меня в ML.
Ты просто думаешь, как сделать коллег/клиентов счастливее, и ответ находится сам собой - автоматизируй donkey work, которая убивает творческий потенциал человека.
ML в моем мире - это инструмент, которым я помогаю коллегам не чахнуть, а бизнесу - расти.
Еще живой интерес к разным темам на стыке бизнеса/математики/кода не дает мозгу засохнуть и подпитывает его новой информацией.
В итоге получается стратегия win-win, что на рынке труда - редкое явление.
Как я пришел в ML?
Бизнес всегда мне был интересен с точки зрения его эволюции.
Компания - сложный организм из людей, интересов, авторитетов, денег, влияния и многого другого. По сути - небольшой мир, в котором мы живем каждый день.
Мой внутренний перфекционист ворчит, когда что-то внутри бизнеса, за который я болею душой, происходит не оптимально. В начале карьерного пути я глубоко погружался в важные для бизнеса темы и испытывал жгучее желание делать его лучше. Это желание все еще живет, оно научило многому и привело меня в ML.
Ты просто думаешь, как сделать коллег/клиентов счастливее, и ответ находится сам собой - автоматизируй donkey work, которая убивает творческий потенциал человека.
ML в моем мире - это инструмент, которым я помогаю коллегам не чахнуть, а бизнесу - расти.
Еще живой интерес к разным темам на стыке бизнеса/математики/кода не дает мозгу засохнуть и подпитывает его новой информацией.
В итоге получается стратегия win-win, что на рынке труда - редкое явление.
Мысли о потери времени.
Бывают дни, когда меня преследует ощущение бесполезности. Можно ли потерю времени как-то измерить?
Спишь ночью 8 часов и на утро не жалеешь о потери времени. Почему?
Потому что время измеряется не только в часах. Время можно измерить в часах, умноженных на единицу внимания. Поэтому я высоко ценю те периоды, когда фокус на занятии достигает своего предела. Ведь внимание - это настолько мощный ресурс, который дает способность совершить колоссальный рывок, двигаться вперед кратно быстрее.
Последние два месяца практикую периоды полной фокусировки и они уже дали свои плоды. Помогает таск-менеджер, правильное питание и наушники. В среднем в день получается 4 часа наибольшего фокуса, когда можно учится/делать сложный проект/проводить важный звонок.
Работаю над увеличением своего времени до 5 часов - идет сложно.
А как ты управляешь своим вниманием? Знаешь для этого лайфхаки?
P.S. Слышал про пьяное программирование, но это скорее шутка, чем лайфхак 🍸
Бывают дни, когда меня преследует ощущение бесполезности. Можно ли потерю времени как-то измерить?
Спишь ночью 8 часов и на утро не жалеешь о потери времени. Почему?
Потому что время измеряется не только в часах. Время можно измерить в часах, умноженных на единицу внимания. Поэтому я высоко ценю те периоды, когда фокус на занятии достигает своего предела. Ведь внимание - это настолько мощный ресурс, который дает способность совершить колоссальный рывок, двигаться вперед кратно быстрее.
Последние два месяца практикую периоды полной фокусировки и они уже дали свои плоды. Помогает таск-менеджер, правильное питание и наушники. В среднем в день получается 4 часа наибольшего фокуса, когда можно учится/делать сложный проект/проводить важный звонок.
Работаю над увеличением своего времени до 5 часов - идет сложно.
А как ты управляешь своим вниманием? Знаешь для этого лайфхаки?
P.S. Слышал про пьяное программирование, но это скорее шутка, чем лайфхак 🍸
Ха, а вот и вакансия, где нужны навыки работы с ChatGPT.
Походил по сайту и нашел несколько таких. Удивительно, как быстро инструмент создает новые ниши. Бесплатная идея для стартапа - курс по составлению промптов для этой сетки 💸💰
Как и множество других идей для стартапа, делать ее конечно же не буду.
Походил по сайту и нашел несколько таких. Удивительно, как быстро инструмент создает новые ниши. Бесплатная идея для стартапа - курс по составлению промптов для этой сетки 💸💰
Как и множество других идей для стартапа, делать ее конечно же не буду.
hh.ru
Вакансия Нейро-копирайтер в Москве, работа в компании EMCD Tech LTD (вакансия в архиве c 9 марта 2023)
Зарплата: от 2000 до 5000 $. Москва. Требуемый опыт: 1–3 года. Полная занятость. Дата публикации: 08.03.2023.
#тру_стори
Как я пришел в ML? Часть 2.
Первой задачей, где применил что-то похожее на ML, была оптимизация расписания клиент-менеджеров в небольшой стоматологии, которой руководил один знакомый.
Случалось, что четыре из пяти менеджеров у него были ничем не заняты, но знакомый все равно выводил больше менеджеров на случай резкого роста потока клиентов. В то время он активно работал над продвижением стоматологии и ожидал роста потока.
Родилась идея посчитать интервал для роста и отпустить домой тех менеджеров, кто точно не будет загружен. Через неделю выкатил ему сервис, который прогнозировал на несколько дней вперед поток клиентов в зависимости от его маркетинговых активностей.
Под капотом у этого решения была несложная SARIMAX, которой хватало для целей бизнеса.
В тот момент я еще работал аналитиком и мало что знал про ML, его алгоритмы, математику внутри алгоритмов и другие важные аспекты. Но процесс внедрения решения так понравился, что я до сих пор помню этот восторг.
К чему все? Я начал изучение ML и всего, что под капотом, именно в тот момент. У меня не было университетского математического образования, но оно, как выяснилось, для решения задач начального уровня и не требуется. Хотя чем дальше, тем больше требуется.
Как я пришел в ML? Часть 2.
Первой задачей, где применил что-то похожее на ML, была оптимизация расписания клиент-менеджеров в небольшой стоматологии, которой руководил один знакомый.
Случалось, что четыре из пяти менеджеров у него были ничем не заняты, но знакомый все равно выводил больше менеджеров на случай резкого роста потока клиентов. В то время он активно работал над продвижением стоматологии и ожидал роста потока.
Родилась идея посчитать интервал для роста и отпустить домой тех менеджеров, кто точно не будет загружен. Через неделю выкатил ему сервис, который прогнозировал на несколько дней вперед поток клиентов в зависимости от его маркетинговых активностей.
Под капотом у этого решения была несложная SARIMAX, которой хватало для целей бизнеса.
В тот момент я еще работал аналитиком и мало что знал про ML, его алгоритмы, математику внутри алгоритмов и другие важные аспекты. Но процесс внедрения решения так понравился, что я до сих пор помню этот восторг.
К чему все? Я начал изучение ML и всего, что под капотом, именно в тот момент. У меня не было университетского математического образования, но оно, как выяснилось, для решения задач начального уровня и не требуется. Хотя чем дальше, тем больше требуется.
«Зрелищная и абсурдная»: реклама по реальным брифам «Азбуки вкуса», «Ozon» и «Тинькофф».
Был у меня недавно пост про нейро-копирайтера, так вот теперь видимо будет про нейро-дизайнера. На днях нашел примеры, как дизайнеры креативят, вот забавные примеры: Азбука вкуса -> «Свежий кофе», Тинькофф -> «Голосовой ассистент Олег», Ozon -> «Расширение возможностей малого и среднего бизнеса».
Был у меня недавно пост про нейро-копирайтера, так вот теперь видимо будет про нейро-дизайнера. На днях нашел примеры, как дизайнеры креативят, вот забавные примеры: Азбука вкуса -> «Свежий кофе», Тинькофф -> «Голосовой ассистент Олег», Ozon -> «Расширение возможностей малого и среднего бизнеса».
ML или бизнес-правила?
Сталкивался с подходом, когда вместо внедрения ML звучит фраза "а давайте сделаем все на понятных бизнес-правилах?". Бизнес-правила, алгоритмы, оно же - Operations Research, помогает в решении многих задач. Я как-то на собеседовании решал задачу поиска оптимального пути и удивился, сколько существует вариантов решения без применения ML.
За алгоритмами стоят изящные идеи. Из-за этого они, в каком-то смысле, слишком просты для окружающей нас действительности. Шаг в сторону ML уменьшает прозрачность для бизнеса, но может сильно добавить в качестве.
Основная проблема для меня была в том, чтобы продемонстрировать бизнесу эту потенциальную пользу от уменьшения прозрачности. Часто такая дуэль заканчивается победой бизнес-правил.
Я же убежден, что два этих подхода могут взаимно дополнять друг друга. Эту простую идею стараюсь транслировать приверженцам бизнес-правил, но все еще не нашел серебряной пули для ответа на вопрос в начале поста.
Сталкивался с подходом, когда вместо внедрения ML звучит фраза "а давайте сделаем все на понятных бизнес-правилах?". Бизнес-правила, алгоритмы, оно же - Operations Research, помогает в решении многих задач. Я как-то на собеседовании решал задачу поиска оптимального пути и удивился, сколько существует вариантов решения без применения ML.
За алгоритмами стоят изящные идеи. Из-за этого они, в каком-то смысле, слишком просты для окружающей нас действительности. Шаг в сторону ML уменьшает прозрачность для бизнеса, но может сильно добавить в качестве.
Основная проблема для меня была в том, чтобы продемонстрировать бизнесу эту потенциальную пользу от уменьшения прозрачности. Часто такая дуэль заканчивается победой бизнес-правил.
Я же убежден, что два этих подхода могут взаимно дополнять друг друга. Эту простую идею стараюсь транслировать приверженцам бизнес-правил, но все еще не нашел серебряной пули для ответа на вопрос в начале поста.
Почему уже поздно "строить ML в компании"?
Десять или двадцать лет назад ML был не так популярен, про нейронные сети знала малая часть людей. Сейчас же про ChatGPT говорят буквально все. Эта ситуация чем-то напоминает историю с тюлпанами в Нидерландах, а именно частью про падение перегретого рынка. В истории с тюльпанами все кончилось из-за особо активных торговцев, которые постепенно подняли ценник за счет привлечения новых не очень квалифицированных покупателей, через время новых покупателей уже не осталось и пузырь лопнул.
Сейчас многие компании хотят внедрить разного рода ML, при этом малая часть из них действительно способны грамотно работать с этим инструментом. Из-за этогопродавец ML-инженер может постепенно поднимать ценник за счет таких вот "новичков" рынка.
В итоге конкуренция за кадры в последние 10 лет выросла кратно, это приводит к инфляции требований как со стороны компаний, так и со стороны ML-инженеров. Рано или поздно не останется компаний, кто не пробовал внедрить у себя ML. Это и будет момент, когда пузырь лопнет.
Я уже начал постепенно готовиться к этому моменту. Если он не настанет завтра, то через год, пять или может пятьдесят. В любом случае выживет тот, кто сумел применить ML в компании эффективно. И я хочу быть в такой команде.
P.S. а может эти рассуждения в целом для IT-рынка применимы.
Десять или двадцать лет назад ML был не так популярен, про нейронные сети знала малая часть людей. Сейчас же про ChatGPT говорят буквально все. Эта ситуация чем-то напоминает историю с тюлпанами в Нидерландах, а именно частью про падение перегретого рынка. В истории с тюльпанами все кончилось из-за особо активных торговцев, которые постепенно подняли ценник за счет привлечения новых не очень квалифицированных покупателей, через время новых покупателей уже не осталось и пузырь лопнул.
Сейчас многие компании хотят внедрить разного рода ML, при этом малая часть из них действительно способны грамотно работать с этим инструментом. Из-за этого
В итоге конкуренция за кадры в последние 10 лет выросла кратно, это приводит к инфляции требований как со стороны компаний, так и со стороны ML-инженеров. Рано или поздно не останется компаний, кто не пробовал внедрить у себя ML. Это и будет момент, когда пузырь лопнет.
Я уже начал постепенно готовиться к этому моменту. Если он не настанет завтра, то через год, пять или может пятьдесят. В любом случае выживет тот, кто сумел применить ML в компании эффективно. И я хочу быть в такой команде.
P.S. а может эти рассуждения в целом для IT-рынка применимы.
Wikipedia
Тюльпаномания
кратковременный всплеск ажиотажного спроса на луковицы тюльпанов в Нидерландах в 1636—1637 годы.
Поздравляем всех дам с международным женским днем. Желаем вам искреннего счастья и любви.
Сегодня мы поговорим, о представительницах слабого пола, которые сделали огромный вклад в индустрию IT.
Мэри Микер
В середине 1990-х Мэри открыла глаза мировой общественности на потенциал интернета. В настоящее время она находится буквально в центре всемирной паутины, занимая с 2010 года руководящую должность в инвестиционном фонде, ориентированном на работу с инновационными проектами.
Мэри Микер — выдающийся аналитик Morgan Stanley. Еe отчеты становится настоящим открытием в мире IT–технологий и изучается внимательнейшим образом инвесторами.
Шерил Сэндберг
В 2001 году ей представилась возможность попасть в молодую команду начинающего проекта Google. Там она заняла должность заместителя президента по онлайн-продажам.
Именно здесь ее заметил Марк Цукерберг и пригласил на работу в Facebook лично. Казалось. Сэндберг успешно справлялась с рекламными сервисами и отвечала за некоторые финансовые аспекты деятельности компании. С ее приходом доходы Facebook начали стремительно расти: каждый год почти на 100%.
Сегодня мы поговорим, о представительницах слабого пола, которые сделали огромный вклад в индустрию IT.
Мэри Микер
В середине 1990-х Мэри открыла глаза мировой общественности на потенциал интернета. В настоящее время она находится буквально в центре всемирной паутины, занимая с 2010 года руководящую должность в инвестиционном фонде, ориентированном на работу с инновационными проектами.
Мэри Микер — выдающийся аналитик Morgan Stanley. Еe отчеты становится настоящим открытием в мире IT–технологий и изучается внимательнейшим образом инвесторами.
Шерил Сэндберг
В 2001 году ей представилась возможность попасть в молодую команду начинающего проекта Google. Там она заняла должность заместителя президента по онлайн-продажам.
Именно здесь ее заметил Марк Цукерберг и пригласил на работу в Facebook лично. Казалось. Сэндберг успешно справлялась с рекламными сервисами и отвечала за некоторые финансовые аспекты деятельности компании. С ее приходом доходы Facebook начали стремительно расти: каждый год почти на 100%.
Киберпанк близко?
Интересное исследование провели в MIT. В статье рассматривается влияние таких GAN-ов как ChatGPT или DALL-E на производительность человека, по сути АБ-тест на скорость выполнения задач. В эксперименте приняли участие 444 человека с высшим образованием. Перед людьми стояли задачи от бухгалтерской рутины до написания кода и его отладки.
Выводы авторов заставляют понервничать - неравенство между работниками уменьшается, так как ChatGPT сжимает распределение производительности за счет большей выгоды для работников с низкими способностями. Инструмент в основном заменяет усилия работников, а не дополняет их навыки, и реструктурирует задачи в сторону генерации идей и редактирования, а не черновой работы.
Опасность для сотрудника, как мне кажется, в том, что "творческая часть" в работе занимает не основную часть времени, а значит основной объем работы многих профессий, в том числе и моей, уже может быть автоматизирован.
Интересное исследование провели в MIT. В статье рассматривается влияние таких GAN-ов как ChatGPT или DALL-E на производительность человека, по сути АБ-тест на скорость выполнения задач. В эксперименте приняли участие 444 человека с высшим образованием. Перед людьми стояли задачи от бухгалтерской рутины до написания кода и его отладки.
Выводы авторов заставляют понервничать - неравенство между работниками уменьшается, так как ChatGPT сжимает распределение производительности за счет большей выгоды для работников с низкими способностями. Инструмент в основном заменяет усилия работников, а не дополняет их навыки, и реструктурирует задачи в сторону генерации идей и редактирования, а не черновой работы.
Опасность для сотрудника, как мне кажется, в том, что "творческая часть" в работе занимает не основную часть времени, а значит основной объем работы многих профессий, в том числе и моей, уже может быть автоматизирован.