Data Secrets
78.8K subscribers
6.43K photos
669 videos
20 files
2.71K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Карьерный рост в Data Science и Machine Learning: взгляд изнутри от Александра Толмачева – директора по машинному обучению и анализу данных в Ozon Fintech

Александр – настоящий чемпион Data Science. За свою карьеру он успел создать несколько успешных стартапов, преподавал в ВШЭ и Сколково, создавал свои курсы и конференции, работал на нескольких ведущих ML-должностях, а сейчас руководит командой из 100+ Data-специалистов в Ozon Fintech.

Мы задали ему несколько вопросов о том, какие скиллы по-настоящему важны в ML-карьере, как развиваться в Data Science и что делать, чтобы достичь руководящей должности в бигтехе. В карточках – основные тезисы, а полный текст разговора ищите здесь.

В качестве приятного бонуса прилагаем полезные ссылки, которыми с нами поделился Саша:

➡️ Информация о том, где после ухода курсеры найти ту самую специализацию по DA/ML от от МФТИ и Яндекс
➡️ Гайд, как пройти путь джедая в DS
➡️И, конечно, канал @analytics_kaanal: там Саша и еще 24 директора по данным анонимно и весело обсуждают заказчиков, сплетничают, делятся болями и опытом, рекомендуют разные книги и заряжают любовью к данным. Обязательно к подписке!

“Не хватит и целой жизни, чтобы полностью насладиться любовью к данным и моделированию.” – говорит Александр, – “Я всегда открыт, рад любым вопросам и готов помочь вам в вашем пути, пишите – @aa_tolmachev! ”
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍27🤯146🤨5🔥1
Обучение на real world data прошло успешно
😁176👍179🔥3🙈1
У Google сегодня на повестке дня статья "What Are the Odds? Language Models Are Capable of Probabilistic Reasoning", которую приняли на EMNLP 2024

Статья исследует, способны ли LLM к вероятностному мышлению: то есть могут ли они осмыслить выборку как совокупность с ее законами и параметрами, и на основании этого делать какие-то выводы об отдельных кейсах. Другими словами, способны ли модели к математической дедукции.

Для того, чтобы это проверить, ученые давали моделькам три разных вида задач (обычное вычисление вероятностей, сэмлинг образцов и вычисление перцентилей), а также тестировали разные виды контекста: обычные идеальные распределения (например, нормальное или степенное), real world распределения (данные о климате) и аппроксимированные real world распределения, то есть нечто среднее.

Оказалось, что лучше всего LLM перформят в задаче вычисления перцентилей на идеальных распределениях, а вот с сэмплингом и реальными данными им пока сложно. Но главный вывод: модели все-таки обладают способностью к вероятностному мышлению, вопрос только в том, как из них эти способности вытаскивать.
👍439😁4
Тем временем в сети пошел слушок, что OpenAI собирается сменить лого

Как вам бублик? 🐱
Please open Telegram to view this post
VIEW IN TELEGRAM
🤨135😁27🗿15👍7🌚43
А у Anthropic новая волна наружной рекламы без переходов на личности. Интересно, что хотел сказать автор? 🤔
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁72🔥13👍51👏1
447839882_313401218505975_3018145354897668074_n.pdf
9.4 MB
Оказывается, летом Meta выпустила супер-крутое пособие по базе VLM

Книжка так и называется: "An Introduction to Vision-Language Modeling". По оглавлению:

➡️ Краткие исторические справки про CLIP, FLAVA и др.
➡️ Прекрасная глава под названием "Гайд по обучению VLM" со всеми подробностями про ПО, данные, предобученные модели, алаймент и файнтюнинг
➡️ Бенчмаркинг и дополнительные разделы про видео в VLM

Кайф, в общем. Добавляем в бэклог
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥33149👍63
Channel photo updated
Data Secrets
Тем временем в сети пошел слушок, что OpenAI собирается сменить лого Как вам бублик? 🐱
Следуя примеру OpenAI, меняем аватарку в канале. Надеемся, у нас получился более удачный ребрендинг, чем у Альтмана 🔵
Please open Telegram to view this post
VIEW IN TELEGRAM
😁11655🔥37❤‍🔥65👍4🤯3🤩2🤓1🙈1
Apple Intelligence выйдет в понедельник! Интересно, что это будет: приятный шок или все-таки разочарование?
👍418🔥5
This media is not supported in your browser
VIEW IN TELEGRAM
Все ждали Claude Opus 3.5, а получили обновленный Sonnet 3.5 и Claude 3.5 Haiku

Но мы не расстраиваемся: Sonnet прокачали очень круто. Теперь модель может полностью автономно управлять компьютером: то есть не просто видеть экран, а двигать курсор, нажимать кнопки, пользоваться ПО (cм. видео).

Из смешного: в этом посте Anthropic рассказали, что прямо во время тестирования моделька почему-то рандомно пошла в гугл и начала смотреть фотки национального парка. Вот что значит обучена на действиях людей.

Кроме того, сильно качнулись метрики в кодинге и математике (например, 78.3% на MATH против 71.1% у предыдущей Sonnet 3.5). Видимо была проделана большая работа над ризонингом.

Ну и, конечно, свежий Claude 3.5 Haiku: самая маленькая и дешевая модель. Ее бенчмарки тоже радуют глаз, кое-где превосходя даже Sonnet 3.5. В API ее пока нет, но обещают soon.
👍419🔥6
This media is not supported in your browser
VIEW IN TELEGRAM
Да, эту работу ИИ точно заберет захочет забрать не скоро
😁95🔥14👍6🤯1
Ли Кайфу: экономика ИИ в США "невероятно нездоровая"

Для справки: Ли Кайфу – инвестор, бывший директор Microsoft Research Asia, основатель стартапа 01.ai, и в общем очень влиятельный дядя. Так вот, недавно на закрытом форуме он открыто нелестно отзывался об инфраструктуре ИИ в США. Вот, что он говорил:

➡️ Экосистема ИИ держится только на Nvidia, к которой пытаются присоединиться еще несколько мелких производителей, и в сумме они все зарабатывают около $75 млрд. При этом сама инфраструктура ИИ зарабатывает около $10 млрд, а производители ИИ-приложений и вовсе лишь $5 млрд. Такая пирамида – это плохо, и в здоровой экономике все должно быть ровно наоборот.

➡️ Дело в том, что традиционно приложения должны зарабатывать больше, чем инфраструктура, чтобы привлекать новых пользователей и деньги. За счет этого развивается инфраструктура. Иначе развитию конец.

➡️ Чтобы решить проблему, компании должны работать над снижением стоимости инференса моделей, а также создавать собственные вертикальные технологические стеки (как Apple сделала с iPhone). "Самыми успешными будут те, кто создаст собственные чипы".

➡️ Например, модель BeaGo стартапа Ли 01.ai работает в основном на собственном железе, оптимизированном именно под эту модель, и именно за счет этого BeaGo такая дешевая (ее обучение стоило всего $3 млн, а стоимость инференса $0,14 / М).

➡️ Основная цель ИИ – зарабатывать и экономить деньги. Поэтому эта технология должна стать не просто частью предприятий, автоматизацией каких-то его частей и тд, а "главным мозгом" и инструментом добычи дохода.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5414👍975❤‍🔥2🤪1
Крутые новости из мира математики: в GIMPS нашли новое самое большое простое число

Им оказалось 2^136279841-1. Это число имеет 41 024 320 цифр: это более, чем на 16 миллионов цифр превосходит длину предыдущего наибольшего простого числа. Кстати, это первое новое простое число, найденное за 6 лет и первое простое число, для поиска которого использовались GPU.

Простоту числа доказал Люк Дюрант: для этого ему пришлось создать целый облачный суперкомпьютер, работающий на серверах из 17 стран. Люк, кстати, – бывший сотрудник Nvidia.
73🤯2825👏12🤔5🎉3👍2🔥1