This media is not supported in your browser
VIEW IN TELEGRAM
ChatGPT теперь умеет читать генерации вслух. Для этого нужно зажать сообщение и кликнуть «Read Aloud».
Очень здорово конечно, но не такого ответа на вчерашний Claude-3 мы ожидали…
Очень здорово конечно, но не такого ответа на вчерашний Claude-3 мы ожидали…
😁45👍4🔥3❤1
Как обучить нейросеть с нуля?
Обучение ML-алгоритмов — сложная и комплексная задача. Даже при кажущемся сходстве механик невозможно заставить модель, работающую с текстом статей, суммаризировать видео и ожидать при этом качественных результатов.
С этим столкнулись и ребята из Яндекса, когда обучали YandexGPT, ранее занимавшуюся суммаризацией статей, пересказывать видео. Модель тренировалась на 20 000 обучающих примерах — это большой датасет, а для экспериментов требуется высокая скорость проверки гипотез. Для этого использовалась LoRA — в отличие от трудозатратного и сложного для экспериментов файнтюнинга, она требует меньше ресурсов.
Модель учится на неидеальных субтитрах, поэтому местами сама догадывается о корректном написании. Из-за этого иногда суммаризация сбоит, но модель дообучают, шаг за шагом повышая качество. Кажется, что не за горами докручивание мультимодальности.
Одним словом — респект ребятам
Обучение ML-алгоритмов — сложная и комплексная задача. Даже при кажущемся сходстве механик невозможно заставить модель, работающую с текстом статей, суммаризировать видео и ожидать при этом качественных результатов.
С этим столкнулись и ребята из Яндекса, когда обучали YandexGPT, ранее занимавшуюся суммаризацией статей, пересказывать видео. Модель тренировалась на 20 000 обучающих примерах — это большой датасет, а для экспериментов требуется высокая скорость проверки гипотез. Для этого использовалась LoRA — в отличие от трудозатратного и сложного для экспериментов файнтюнинга, она требует меньше ресурсов.
Модель учится на неидеальных субтитрах, поэтому местами сама догадывается о корректном написании. Из-за этого иногда суммаризация сбоит, но модель дообучают, шаг за шагом повышая качество. Кажется, что не за горами докручивание мультимодальности.
Одним словом — респект ребятам
👍38❤8🔥6☃3🤯2⚡1🤨1
А теперь AGI? Ну а сейчас? Уже AGI?
Короче говоря, забавная история от разработчика нового Claude 3, бьющего GPT-4 на метриках:
Короче говоря, забавная история от разработчика нового Claude 3, бьющего GPT-4 на метриках:
Когда мы проводили тест «иголка в стоге сена», Claude сделал то, чего я никогда раньше не видел в LLM.
Мы вставили целевое предложение («игла») в корпус случайных документов («стог сена») и задали вопрос, на который можно ответить, только используя информацию в игле.
Вот один из ответов Opus на вопрос о начинке для пиццы, ответ на который был спрятан в случайном месте:
«Вот самое подходящее предложение, которое я нашел: «По мнению Международной ассоциации ценителей пиццы, самая вкусная комбинация начинки — это прошутто и козий сыр». Однако это предложение кажется совершенно неуместным и не имеющим отношения к остальному содержанию документов, посвященному языкам программирования. Я подозреваю, что этот «факт» о начинке пиццы мог быть вставлен в качестве шутки или для того, чтобы проверить, обратил ли я на него внимание.»
Opus не только нашел иголку, но и понял, что это был искусственный тест, созданный нами для проверки его способностей к вниманию.
Такой уровень – это здорово, но этот случай также подчеркнул, что нам, как отрасли, необходимо переходить от искусственных тестов к более реальным, которые могут точно оценить истинные возможности моделей.
🤯88🎉9👍8🔥6❤4😐4😨3❤🔥1
Дата-сайентисты совершают прорывы в лечении болезней, и вы можете стать частью этих инноваций. Сделайте узкую специализацию вашим козырем на рынке труда.
13 марта в 19:00 мск пройдет бесплатный онлайн-практикум от МФТИ и Skillfactory.
Узнайте:
— как Data Science меняет медицину и фармацевтику
— какие технологии повышают качество диагностики опасных болезней
— сколько зарабатывают специалисты по Data Science в медицине
— как начать карьеру дата-сайентиста в медицине и почему таких специалистов сейчас не хватает
Записывайтесь на практикум: https://go.skillfactory.ru/&erid=LjN8K54wp
Реклама ООО "Скилфэктори", ИНН: 9702009530
13 марта в 19:00 мск пройдет бесплатный онлайн-практикум от МФТИ и Skillfactory.
Узнайте:
— как Data Science меняет медицину и фармацевтику
— какие технологии повышают качество диагностики опасных болезней
— сколько зарабатывают специалисты по Data Science в медицине
— как начать карьеру дата-сайентиста в медицине и почему таких специалистов сейчас не хватает
Записывайтесь на практикум: https://go.skillfactory.ru/&erid=LjN8K54wp
Реклама ООО "Скилфэктори", ИНН: 9702009530
🤯7🤨3👍2❤1😐1
Сейчас в топе трендов обсуждать скуфов, масиков и тюбиков. Настало наше время сделать свою подробку. А звание штриха среди алгоритмов ML предлагаем определить вам в комментариях.
🔥56😁22❤4👍4🥰3❤🔥1🤯1
This media is not supported in your browser
VIEW IN TELEGRAM
Пул самых интересных статей за неделю:
📥 Genie – foundation модель от GoogleDeepMind, обученная на Интернет видеороликах и способная генерировать реалистичные бесконечные игровые (то есть управляемые) 2D-миры по изображению. Особенно интересно тут то, как исследователи поработали с токенизатором.
📥 EMO: Emote Portrait Alive. Разработка от Alibaba. Генерирует выразительные портретные видео на основе аудио и картинки. Модель использует прямой audio-to-video синтез, избегая тем самым необходимости генерить 3D-модель лица.
📥 StarCoder 2. Новое семейство открытых LLM для кодинга в трех разных размерах (3B, 7B и 15B). Модель 15B обучена на 14 триллионах токенах и более чем 600 языках программирования с использованием fill-in-the-middle лосса. Контекст - 16к токенов.
📥 The Era of 1-bit LLMs. Статья от Microsoft. Исследователи показали, как можно создавать очень легкие и точные 1-bit LLM, делая веса триплетными.
📥 Dataset for LLMs. 180+ страниц с обзорами и анализом датасетов для LLM.
Кладем себе в мастрид-копилку
Кладем себе в мастрид-копилку
Please open Telegram to view this post
VIEW IN TELEGRAM
👍18🔥8❤4🤯2
Forwarded from Институт AIRI
Ищем исследователей в научные группы AIRI 😁
📎 Medical foundation model research data scientist CV+NLP (Middle+)
Кандидат будет заниматься разработкой, тестированием и поддержкой SSL моделей мед. ИИ, обучением низкоуровневых представлений различных модальностей, обучением мультимодальных моделей при частичной или отсутствующей разметке, разработкой кода обучения для моделей мед. ИИ, анализом и выбором подходов к решению поставленных задач, взаимодействием с разработчиками и врачами.
📎 Senior/Middle NLP Researcher в группу Domain-specific NLP
Ищем человека для проведения исследований с применением больших языковых моделей, графов знаний и многозадачного обучения.
📎 Middle RL Researcher в группу Neural Symbolic Integration
Кандидат будет заниматься исследованием на стыке больших трансформенных мультимодальных моделей и обучения с подкреплением. Задачи будут состоять из анализа и обзора последних статей по теме, разработки новых алгоритмов.
📎 Senior Computer Vision Engineer в медицинскую группу
Ищем опытного датасаентиста по компьютерному зрению на совместные проекты AIRI и SberMedAI для разработки продуктов для медицины (КТ, РГ, МРТ) на основе алгоритмов компьютерного зрения.
📎 Computer Vision Engineer
В задачи будет входить: разработка, тестирование и поддержка моделей мед. ИИ, разработка кода обучения для моделей медицинского ИИ, анализ и выбор подходов к решению поставленных задач, взаимодействие с врачами.
📎 Reinforcement learning in multi-modal medical imaging (Junior)
Кандидат будет заниматься: обучением низкоуровневых представлений различных модальностей и поиском оптимальных метрик близости для таких представлений, обучением моделей при частичной или отсутствующей разметке, взаимодействием с командой, разрабатывающей SSL модели мед. ИИ, разработкой кода обучения для моделей мед. ИИ, анализом и выбором подходов к решению поставленных задач, взаимодействием с разработчиками и врачами.
Откликайтесь на интересующие вас вакансии и делитесь этим постом с теми, кому может быть интересна работа в AIRI💡
Кандидат будет заниматься разработкой, тестированием и поддержкой SSL моделей мед. ИИ, обучением низкоуровневых представлений различных модальностей, обучением мультимодальных моделей при частичной или отсутствующей разметке, разработкой кода обучения для моделей мед. ИИ, анализом и выбором подходов к решению поставленных задач, взаимодействием с разработчиками и врачами.
Ищем человека для проведения исследований с применением больших языковых моделей, графов знаний и многозадачного обучения.
Кандидат будет заниматься исследованием на стыке больших трансформенных мультимодальных моделей и обучения с подкреплением. Задачи будут состоять из анализа и обзора последних статей по теме, разработки новых алгоритмов.
Ищем опытного датасаентиста по компьютерному зрению на совместные проекты AIRI и SberMedAI для разработки продуктов для медицины (КТ, РГ, МРТ) на основе алгоритмов компьютерного зрения.
В задачи будет входить: разработка, тестирование и поддержка моделей мед. ИИ, разработка кода обучения для моделей медицинского ИИ, анализ и выбор подходов к решению поставленных задач, взаимодействие с врачами.
Кандидат будет заниматься: обучением низкоуровневых представлений различных модальностей и поиском оптимальных метрик близости для таких представлений, обучением моделей при частичной или отсутствующей разметке, взаимодействием с командой, разрабатывающей SSL модели мед. ИИ, разработкой кода обучения для моделей мед. ИИ, анализом и выбором подходов к решению поставленных задач, взаимодействием с разработчиками и врачами.
Откликайтесь на интересующие вас вакансии и делитесь этим постом с теми, кому может быть интересна работа в AIRI
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯12❤10🔥1
Please open Telegram to view this post
VIEW IN TELEGRAM
😁85👍8❤4🔥2💯1
Forwarded from XOR
Ладно, по вашему запросу касты языков программирования. Штриха также оставляем на обсуждение в комментарии.
😁43👍5🗿5🔥2💯2❤1👻1😎1