Forwarded from Data Secrets | Карьера
Карьерный рост в Data Science и Machine Learning: взгляд изнутри от Александра Толмачева – директора по машинному обучению и анализу данных в Ozon Fintech
Александр – настоящий чемпион Data Science. За свою карьеру он успел создать несколько успешных стартапов, преподавал в ВШЭ и Сколково, создавал свои курсы и конференции, работал на нескольких ведущих ML-должностях, а сейчас руководит командой из 100+ Data-специалистов в Ozon Fintech.
Мы задали ему несколько вопросов о том, какие скиллы по-настоящему важны в ML-карьере, как развиваться в Data Science и что делать, чтобы достичь руководящей должности в бигтехе. В карточках – основные тезисы, а полный текст разговора ищите здесь.
В качестве приятного бонуса прилагаем полезные ссылки, которыми с нами поделился Саша:
➡️ Информация о том, где после ухода курсеры найти ту самую специализацию по DA/ML от от МФТИ и Яндекс
➡️ Гайд, как пройти путь джедая в DS
➡️ И, конечно, канал @analytics_kaanal: там Саша и еще 24 директора по данным анонимно и весело обсуждают заказчиков, сплетничают, делятся болями и опытом, рекомендуют разные книги и заряжают любовью к данным. Обязательно к подписке!
Александр – настоящий чемпион Data Science. За свою карьеру он успел создать несколько успешных стартапов, преподавал в ВШЭ и Сколково, создавал свои курсы и конференции, работал на нескольких ведущих ML-должностях, а сейчас руководит командой из 100+ Data-специалистов в Ozon Fintech.
Мы задали ему несколько вопросов о том, какие скиллы по-настоящему важны в ML-карьере, как развиваться в Data Science и что делать, чтобы достичь руководящей должности в бигтехе. В карточках – основные тезисы, а полный текст разговора ищите здесь.
В качестве приятного бонуса прилагаем полезные ссылки, которыми с нами поделился Саша:
“Не хватит и целой жизни, чтобы полностью насладиться любовью к данным и моделированию.” – говорит Александр, – “Я всегда открыт, рад любым вопросам и готов помочь вам в вашем пути, пишите – @aa_tolmachev! ”
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍27🤯14❤6🤨5🔥1
У Google сегодня на повестке дня статья "What Are the Odds? Language Models Are Capable of Probabilistic Reasoning", которую приняли на EMNLP 2024
Статья исследует, способны ли LLM к вероятностному мышлению: то есть могут ли они осмыслить выборку как совокупность с ее законами и параметрами, и на основании этого делать какие-то выводы об отдельных кейсах. Другими словами, способны ли модели к математической дедукции.
Для того, чтобы это проверить, ученые давали моделькам три разных вида задач (обычное вычисление вероятностей, сэмлинг образцов и вычисление перцентилей), а также тестировали разные виды контекста: обычные идеальные распределения (например, нормальное или степенное), real world распределения (данные о климате) и аппроксимированные real world распределения, то есть нечто среднее.
Оказалось, что лучше всего LLM перформят в задаче вычисления перцентилей на идеальных распределениях, а вот с сэмплингом и реальными данными им пока сложно. Но главный вывод: модели все-таки обладают способностью к вероятностному мышлению, вопрос только в том, как из них эти способности вытаскивать.
Статья исследует, способны ли LLM к вероятностному мышлению: то есть могут ли они осмыслить выборку как совокупность с ее законами и параметрами, и на основании этого делать какие-то выводы об отдельных кейсах. Другими словами, способны ли модели к математической дедукции.
Для того, чтобы это проверить, ученые давали моделькам три разных вида задач (обычное вычисление вероятностей, сэмлинг образцов и вычисление перцентилей), а также тестировали разные виды контекста: обычные идеальные распределения (например, нормальное или степенное), real world распределения (данные о климате) и аппроксимированные real world распределения, то есть нечто среднее.
Оказалось, что лучше всего LLM перформят в задаче вычисления перцентилей на идеальных распределениях, а вот с сэмплингом и реальными данными им пока сложно. Но главный вывод: модели все-таки обладают способностью к вероятностному мышлению, вопрос только в том, как из них эти способности вытаскивать.
👍43❤9😁4
Please open Telegram to view this post
VIEW IN TELEGRAM
🤨135😁27🗿15👍7🌚4❤3
А у Anthropic новая волна наружной рекламы без переходов на личности. Интересно, что хотел сказать автор? 🤔
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁72🔥13👍5❤1👏1
447839882_313401218505975_3018145354897668074_n.pdf
9.4 MB
Оказывается, летом Meta выпустила супер-крутое пособие по базе VLM
Книжка так и называется: "An Introduction to Vision-Language Modeling". По оглавлению:
➡️ Краткие исторические справки про CLIP, FLAVA и др.
➡️ Прекрасная глава под названием "Гайд по обучению VLM" со всеми подробностями про ПО, данные, предобученные модели, алаймент и файнтюнинг
➡️ Бенчмаркинг и дополнительные разделы про видео в VLM
Кайф, в общем. Добавляем в бэклог
Книжка так и называется: "An Introduction to Vision-Language Modeling". По оглавлению:
Кайф, в общем. Добавляем в бэклог
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥33⚡14❤9👍6 3
Data Secrets
Тем временем в сети пошел слушок, что OpenAI собирается сменить лого Как вам бублик? 🐱
Следуя примеру OpenAI, меняем аватарку в канале. Надеемся, у нас получился более удачный ребрендинг, чем у Альтмана 🔵
Please open Telegram to view this post
VIEW IN TELEGRAM
😁116 55🔥37❤🔥6❤5👍4🤯3🤩2🤓1🙈1
This media is not supported in your browser
VIEW IN TELEGRAM
Все ждали Claude Opus 3.5, а получили обновленный Sonnet 3.5 и Claude 3.5 Haiku
Но мы не расстраиваемся: Sonnet прокачали очень круто. Теперь модель может полностью автономно управлять компьютером: то есть не просто видеть экран, а двигать курсор, нажимать кнопки, пользоваться ПО (cм. видео).
Из смешного: в этом посте Anthropic рассказали, что прямо во время тестирования моделька почему-то рандомно пошла в гугл и начала смотреть фотки национального парка. Вот что значит обучена на действиях людей.
Кроме того, сильно качнулись метрики в кодинге и математике (например, 78.3% на MATH против 71.1% у предыдущей Sonnet 3.5). Видимо была проделана большая работа над ризонингом.
Ну и, конечно, свежий Claude 3.5 Haiku: самая маленькая и дешевая модель. Ее бенчмарки тоже радуют глаз, кое-где превосходя даже Sonnet 3.5. В API ее пока нет, но обещают soon.
Но мы не расстраиваемся: Sonnet прокачали очень круто. Теперь модель может полностью автономно управлять компьютером: то есть не просто видеть экран, а двигать курсор, нажимать кнопки, пользоваться ПО (cм. видео).
Из смешного: в этом посте Anthropic рассказали, что прямо во время тестирования моделька почему-то рандомно пошла в гугл и начала смотреть фотки национального парка. Вот что значит обучена на действиях людей.
Кроме того, сильно качнулись метрики в кодинге и математике (например, 78.3% на MATH против 71.1% у предыдущей Sonnet 3.5). Видимо была проделана большая работа над ризонингом.
Ну и, конечно, свежий Claude 3.5 Haiku: самая маленькая и дешевая модель. Ее бенчмарки тоже радуют глаз, кое-где превосходя даже Sonnet 3.5. В API ее пока нет, но обещают soon.
👍41❤9🔥6
This media is not supported in your browser
VIEW IN TELEGRAM
Да, эту работу ИИ точно заберет захочет забрать не скоро
😁95🔥14👍6🤯1
Ли Кайфу: экономика ИИ в США "невероятно нездоровая"
Для справки: Ли Кайфу – инвестор, бывший директор Microsoft Research Asia, основатель стартапа 01.ai, и в общем очень влиятельный дядя. Так вот, недавно на закрытом форуме он открыто нелестно отзывался об инфраструктуре ИИ в США. Вот, что он говорил:
➡️ Экосистема ИИ держится только на Nvidia, к которой пытаются присоединиться еще несколько мелких производителей, и в сумме они все зарабатывают около $75 млрд. При этом сама инфраструктура ИИ зарабатывает около $10 млрд, а производители ИИ-приложений и вовсе лишь $5 млрд. Такая пирамида – это плохо, и в здоровой экономике все должно быть ровно наоборот.
➡️ Дело в том, что традиционно приложения должны зарабатывать больше, чем инфраструктура, чтобы привлекать новых пользователей и деньги. За счет этого развивается инфраструктура. Иначе развитию конец.
➡️ Чтобы решить проблему, компании должны работать над снижением стоимости инференса моделей, а также создавать собственные вертикальные технологические стеки (как Apple сделала с iPhone). "Самыми успешными будут те, кто создаст собственные чипы".
➡️ Например, модель BeaGo стартапа Ли 01.ai работает в основном на собственном железе, оптимизированном именно под эту модель, и именно за счет этого BeaGo такая дешевая (ее обучение стоило всего $3 млн, а стоимость инференса $0,14 / М).
➡️ Основная цель ИИ – зарабатывать и экономить деньги. Поэтому эта технология должна стать не просто частью предприятий, автоматизацией каких-то его частей и тд, а "главным мозгом" и инструментом добычи дохода.
Для справки: Ли Кайфу – инвестор, бывший директор Microsoft Research Asia, основатель стартапа 01.ai, и в общем очень влиятельный дядя. Так вот, недавно на закрытом форуме он открыто нелестно отзывался об инфраструктуре ИИ в США. Вот, что он говорил:
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥54 14👍9❤7 5❤🔥2🤪1
Крутые новости из мира математики: в GIMPS нашли новое самое большое простое число
Им оказалось 2^136279841-1. Это число имеет 41 024 320 цифр: это более, чем на 16 миллионов цифр превосходит длину предыдущего наибольшего простого числа. Кстати, это первое новое простое число, найденное за 6 лет и первое простое число, для поиска которого использовались GPU.
Простоту числа доказал Люк Дюрант: для этого ему пришлось создать целый облачный суперкомпьютер, работающий на серверах из 17 стран. Люк, кстати, – бывший сотрудник Nvidia.
Им оказалось 2^136279841-1. Это число имеет 41 024 320 цифр: это более, чем на 16 миллионов цифр превосходит длину предыдущего наибольшего простого числа. Кстати, это первое новое простое число, найденное за 6 лет и первое простое число, для поиска которого использовались GPU.
Простоту числа доказал Люк Дюрант: для этого ему пришлось создать целый облачный суперкомпьютер, работающий на серверах из 17 стран. Люк, кстати, – бывший сотрудник Nvidia.
