В тему поста выше - мне вспомнился древний топик на каггле, когда ввели лимиты и ограничили бесконечное использование GPU
😁13😱1
Google Developer Expert @ Kaggle
У Google есть инициатива Google Developer Expert - это люди, которые хорошо знают какие-то технологии гугла и имеют публичные активности по этой теме.
Где-то год-полтора назад появилась новая категория - Kaggle. Туда набирают "по знакомству" :) то есть обращаются к известным людям в community и предлагают присоединиться после одного общения (так называемый product interview). В первый год набирали людей медленно, сейчас вроде как более активно.
Я согласился присоединиться, но плюшки не очень понятные, но всё же интересные - кредиты в Google Cloud, что-то ещё по мелочи, присоединение к коммьюнити, иногда возможность где-то выступить.
Но вчера получил то, чем можно привлечь любого айтишника - мерч!
#datascience
У Google есть инициатива Google Developer Expert - это люди, которые хорошо знают какие-то технологии гугла и имеют публичные активности по этой теме.
Где-то год-полтора назад появилась новая категория - Kaggle. Туда набирают "по знакомству" :) то есть обращаются к известным людям в community и предлагают присоединиться после одного общения (так называемый product interview). В первый год набирали людей медленно, сейчас вроде как более активно.
Я согласился присоединиться, но плюшки не очень понятные, но всё же интересные - кредиты в Google Cloud, что-то ещё по мелочи, присоединение к коммьюнити, иногда возможность где-то выступить.
Но вчера получил то, чем можно привлечь любого айтишника - мерч!
#datascience
🔥14🥰6👍5
Group Sequence Policy Optimization
Разработчики Qwen рассказали о своём новом подходе к оптимизации LLM - Group Sequence Policy Optimization. GSPO устраняет зависимость от Routing Replay при обучении MoE моделей, решая проблему нестабильной активации экспертов. По сути он использует importance ratios, clipping, и optimization на уровне последовательностей, не токенов. Это делает тренировку более эффективной и стабилизирует обучение MoE. Он оказался лучше, чем GRPO.
Статья короткая, но по делу. Код уже вмёрджен.
Paper
Code
Мои обзоры:
Personal blog
Medium
Linkedin Pulse
#paperreview
Разработчики Qwen рассказали о своём новом подходе к оптимизации LLM - Group Sequence Policy Optimization. GSPO устраняет зависимость от Routing Replay при обучении MoE моделей, решая проблему нестабильной активации экспертов. По сути он использует importance ratios, clipping, и optimization на уровне последовательностей, не токенов. Это делает тренировку более эффективной и стабилизирует обучение MoE. Он оказался лучше, чем GRPO.
Статья короткая, но по делу. Код уже вмёрджен.
Paper
Code
Мои обзоры:
Personal blog
Medium
Linkedin Pulse
#paperreview
👍4🤔3
Kaggle... Game Arena
Kaggle прям пошёл выдавать новые продукты один за другим. Теперь запустили Kaggle Game Arena - платформа, где LLM соревнуются в играх.
Для затравки запустили 3х-дневное соревнование, где 8 LLM будут играть друг с другом в шахматы.
https://www.kaggle.com/game-arena
Блогпост про это: https://www.kaggle.com/blog/introducing-game-arena
Сама платформа будет при поддержке DeepMind.
#datascience #kaggle
Kaggle прям пошёл выдавать новые продукты один за другим. Теперь запустили Kaggle Game Arena - платформа, где LLM соревнуются в играх.
Для затравки запустили 3х-дневное соревнование, где 8 LLM будут играть друг с другом в шахматы.
https://www.kaggle.com/game-arena
Блогпост про это: https://www.kaggle.com/blog/introducing-game-arena
Сама платформа будет при поддержке DeepMind.
#datascience #kaggle
🔥7❤1
Астрологи объявили день AI, количество публикаций о новых версий AI удвоилось
Сегодня прям поток публикаций:
Genie 3: A new frontier for world models от Google.
Open source модель от OpenAI.
Claude Opus 4.1 от Anthropic.
PyCharm AI Toolkit от JeBrains. Ещё они проагрейдили Junie и AI Assistant, а также сделали AI Playground (часть toolkit).
#datascience
Сегодня прям поток публикаций:
Genie 3: A new frontier for world models от Google.
Open source модель от OpenAI.
Claude Opus 4.1 от Anthropic.
PyCharm AI Toolkit от JeBrains. Ещё они проагрейдили Junie и AI Assistant, а также сделали AI Playground (часть toolkit).
#datascience
❤4🔥3
Прекрасный пример использования soft-skills
Soft-skills - такая штука, что вроде их польза понятна, но конкретные крутые примеры бывает сложно встретить. Но вот недавно на reddit я наткнулся на тредик с просто прекрасным советом об использовании soft-skills, чтобы повернуть ситуацию с "аа, как мне справиться с этими надоедливыми и тупыми vide-coders" в "это отличная возможность сделать наш департамент ещё более востребованным.
https://www.reddit.com/r/ExperiencedDevs/comments/1me8yj8/how_to_survive_as_dev_department_in_a_company/
#datascience
Soft-skills - такая штука, что вроде их польза понятна, но конкретные крутые примеры бывает сложно встретить. Но вот недавно на reddit я наткнулся на тредик с просто прекрасным советом об использовании soft-skills, чтобы повернуть ситуацию с "аа, как мне справиться с этими надоедливыми и тупыми vide-coders" в "это отличная возможность сделать наш департамент ещё более востребованным.
https://www.reddit.com/r/ExperiencedDevs/comments/1me8yj8/how_to_survive_as_dev_department_in_a_company/
#datascience
🔥13❤🔥5😁3❤2👍2🤯1
Все в AI сейчас обсуждают как OpenAI выпустили GPT-5... и как они зафейлились со своим анонсом.
Один из графиков неправильный https://t.me/dealerAI/1402
Бернулли эффект объяснен неправильно. Что особено иронично, на xkcd есть комикс про это: https://xkcd.com/803/
Вывод - модели куда-то двигаются, но xkcd вечен!
Один из графиков неправильный https://t.me/dealerAI/1402
Бернулли эффект объяснен неправильно. Что особено иронично, на xkcd есть комикс про это: https://xkcd.com/803/
Вывод - модели куда-то двигаются, но xkcd вечен!
😁9
Data, Stories and Languages
Kaggle... Game Arena Kaggle прям пошёл выдавать новые продукты один за другим. Теперь запустили Kaggle Game Arena - платформа, где LLM соревнуются в играх. Для затравки запустили 3х-дневное соревнование, где 8 LLM будут играть друг с другом в шахматы. …
И победитель... o3!
🔥7👍2
OpenAI AMA
Вчера на реддите было AMA от OpenAI. Некоторые интересные моменты:
• GPT-4o вернут
• Возможно снова будет какая-нибудь модель без лимитов
• Те кривые графики - да, фейл. Сделают графики покрасивее и без косяков
• Они надеются, что GPT-5 умеет писать тексты лучше, чем GPT-4.5
• Они специально сделали GPT-5 нейтральной по стилю по умолчанию. Хотите более интересный стиль - лезте в настройки
• Если добавить "think hard" в промпт, модель автоматически переключится в thinking mode
#datascience
Вчера на реддите было AMA от OpenAI. Некоторые интересные моменты:
• GPT-4o вернут
• Возможно снова будет какая-нибудь модель без лимитов
• Те кривые графики - да, фейл. Сделают графики покрасивее и без косяков
• Они надеются, что GPT-5 умеет писать тексты лучше, чем GPT-4.5
• Они специально сделали GPT-5 нейтральной по стилю по умолчанию. Хотите более интересный стиль - лезте в настройки
• Если добавить "think hard" в промпт, модель автоматически переключится в thinking mode
#datascience
🔥6👍2
Как летит время...
Facebook мне напомнил, что в 2017 году, восемь с половиной лет назад, я радостно перепостил твит от Gensim о том, что там теперь есть русские эмбеддинги, а теперь можно узнать, какие слова больше всего похожи на "кот".
А теперь мы недовольны тем, что LLM не всегда с первого раза выполняют наши нечеткие хотелки.
#datascience
Facebook мне напомнил, что в 2017 году, восемь с половиной лет назад, я радостно перепостил твит от Gensim о том, что там теперь есть русские эмбеддинги, а теперь можно узнать, какие слова больше всего похожи на "кот".
А теперь мы недовольны тем, что LLM не всегда с первого раза выполняют наши нечеткие хотелки.
#datascience
🫡18❤6
Anthropic за последние дни выкатили целую кучу годных обновлений.
• В апишке контекст вырос до 1 млн токенов
• Наконец-то появилась память, как в ChatGPT было уже давно
• Прикольное обновление для Claude Code - "Opus Plan Mode": автоматически использует Opus 4.1 в plan mode, для остального Sonnet 4
• В апишке контекст вырос до 1 млн токенов
• Наконец-то появилась память, как в ChatGPT было уже давно
• Прикольное обновление для Claude Code - "Opus Plan Mode": автоматически использует Opus 4.1 в plan mode, для остального Sonnet 4
👍5
В других новостях: оказывается, в GPT-5 Thinking Mode, длина контекта - 192к токенов.
Получается, что в их "unified" модели разная длина контекста в разных режимах.
Получается, что в их "unified" модели разная длина контекста в разных режимах.
😁9
Как я собеседовался на позиции MLE в 2024 году
Где-то в начале 2024 я решил, что пришла пора начинать собеседоваться и стал отвечать всем пишущим мне рекрутёрам, если вакансии были релевантны. В итоге я прособеседовался в 20+ компаний и получил 3 оффера. Теперь хочу рассказать о том, как шёл этот процесс и что спрашивали на собеседованиях.
• Рекрутёры нередко просто перестают писать после нескольких раундов собеседований. Понятно, что это отказ, но могли бы хоть написать об этом.
• Вопросы на собеседованиях могут быть совершенно разные даже в рамках одной темы, ответить на всё просто нереально.
• Оценивают ответы тоже по-разному: примерно один и тот же ответ может быть принят в одной компании и быть поводом для отказа в другой.
• Нередко встречался prescreen - рекрутёры зачитывали вопросы и записывали мои ответы.
• Большинство компаний имеют хотя бы 2-3 раунда, многие 4-6.
Остальные подробности в блогпосте :)
Personal blog
Medium
Linkedin Pulse
#datascience #life
Где-то в начале 2024 я решил, что пришла пора начинать собеседоваться и стал отвечать всем пишущим мне рекрутёрам, если вакансии были релевантны. В итоге я прособеседовался в 20+ компаний и получил 3 оффера. Теперь хочу рассказать о том, как шёл этот процесс и что спрашивали на собеседованиях.
• Рекрутёры нередко просто перестают писать после нескольких раундов собеседований. Понятно, что это отказ, но могли бы хоть написать об этом.
• Вопросы на собеседованиях могут быть совершенно разные даже в рамках одной темы, ответить на всё просто нереально.
• Оценивают ответы тоже по-разному: примерно один и тот же ответ может быть принят в одной компании и быть поводом для отказа в другой.
• Нередко встречался prescreen - рекрутёры зачитывали вопросы и записывали мои ответы.
• Большинство компаний имеют хотя бы 2-3 раунда, многие 4-6.
Остальные подробности в блогпосте :)
Personal blog
Medium
Linkedin Pulse
#datascience #life
🔥22👍15❤3🙏1