Media is too big
VIEW IN TELEGRAM
Что такое Machine Learning и как оно работает?
В этом видео автор дает подробные ответы на следующие вопросы:
• что такое машинное обучение
• как работает машинное обучение
• как обучается модель
• что такое искусственный интеллект (artificial intelligence)
• что такое глубокое обучение (deep learning)
• области применения машинного обучения
• зачем машинное обучение нужно вам
Смотреть это видео на youtube: youtu.be/3ZZOd4_m1Xc
Machine Learning
В этом видео автор дает подробные ответы на следующие вопросы:
• что такое машинное обучение
• как работает машинное обучение
• как обучается модель
• что такое искусственный интеллект (artificial intelligence)
• что такое глубокое обучение (deep learning)
• области применения машинного обучения
• зачем машинное обучение нужно вам
Смотреть это видео на youtube: youtu.be/3ZZOd4_m1Xc
Machine Learning
Человек и LLM: как построить метрики для оценки моделей
В этой статье объясняется, почему традиционные способы оценки LLM-моделей через академические тесты уже не актуальны. У LLM-моделей нет внутренней картины мироустройства, и поэтому ей сложнее справиться с вопросами, которые нам кажутся очевидными. Например, вопрос, как почувствовать вкус чего-то, или стоит ли брать с собой на пляж кирпичи человеку кажется абсурдным, а для модели — ответ на него не очевиден.
Статья раскрывает ключевые проблемы классических бенчмарков, включая их неспособность оценить практическую пользу моделей и уязвимость к протечкам данных. Описывается, как Яндекс решает эти проблемы через собственные бенчмарки под бизнес-задачи, оценку пользователями через LMSYS Chatbot Arena и работу специальной команды AI-тренеров. В конце читателей ждёт актуальный пайплайн оценки моделей, показывающий, как компания комбинирует разные подходы для понимания реальной ценности LLM.
Machine Learning
В этой статье объясняется, почему традиционные способы оценки LLM-моделей через академические тесты уже не актуальны. У LLM-моделей нет внутренней картины мироустройства, и поэтому ей сложнее справиться с вопросами, которые нам кажутся очевидными. Например, вопрос, как почувствовать вкус чего-то, или стоит ли брать с собой на пляж кирпичи человеку кажется абсурдным, а для модели — ответ на него не очевиден.
Статья раскрывает ключевые проблемы классических бенчмарков, включая их неспособность оценить практическую пользу моделей и уязвимость к протечкам данных. Описывается, как Яндекс решает эти проблемы через собственные бенчмарки под бизнес-задачи, оценку пользователями через LMSYS Chatbot Arena и работу специальной команды AI-тренеров. В конце читателей ждёт актуальный пайплайн оценки моделей, показывающий, как компания комбинирует разные подходы для понимания реальной ценности LLM.
Machine Learning
🗣 Как устроено обучение современных моделей машинного перевода — на примере Яндекс Переводчика
В Яндекс Переводчике есть синхронный перевод для 102 языков, и всем им машину нужно как-то обучать. В статье на хабре команда сервиса подробно рассказала про свой опыт, а именно ключевой компонент для обучения моделей машинного перевода — поиск и обработку самих данных.
Machine Learning
В Яндекс Переводчике есть синхронный перевод для 102 языков, и всем им машину нужно как-то обучать. В статье на хабре команда сервиса подробно рассказала про свой опыт, а именно ключевой компонент для обучения моделей машинного перевода — поиск и обработку самих данных.
Machine Learning
В «Золотом Яблоке» можно создавать кастомные подарочные карты с дизайном от YandexART 🎨
«Золотое Яблоко» внедрило Yandex AI Rendering Technology — диффузионную нейросеть, которая создаёт изображения в ответ на текстовые запросы. Теперь она генерирует уникальные подарочные карты по запросам покупателей.
Пока генерация работает на сайте, а в декабре заработает и в приложении. С безопасностью, кстати, всё в порядке: сервис не делает дизайны на спорные темы.
Нейросеть можно использовать и в других сценариях:
генерировать материалы для сайта или брендбука;
придумывать маскотов;
создавать фирменные иконки и логотипы.
Тем, кто собирается решать с помощью нейросетей бизнес‑задачи, рекомендуем попробовать Playground в консоли Yandex Cloud.
«Золотое Яблоко» внедрило Yandex AI Rendering Technology — диффузионную нейросеть, которая создаёт изображения в ответ на текстовые запросы. Теперь она генерирует уникальные подарочные карты по запросам покупателей.
Пока генерация работает на сайте, а в декабре заработает и в приложении. С безопасностью, кстати, всё в порядке: сервис не делает дизайны на спорные темы.
Нейросеть можно использовать и в других сценариях:
генерировать материалы для сайта или брендбука;
придумывать маскотов;
создавать фирменные иконки и логотипы.
Тем, кто собирается решать с помощью нейросетей бизнес‑задачи, рекомендуем попробовать Playground в консоли Yandex Cloud.
Как всё успеть к Новому году с ChatGPT
Обычно мы готовимся к праздникам так: оттягиваем до последнего момента, а потом впопыхах 31 числа ищем ту самую колбасу, которую раскупили. В этой статье автор расскажет, как делегировать почти всё нейросети — и наконец-то успеть.
Machine Learning
Обычно мы готовимся к праздникам так: оттягиваем до последнего момента, а потом впопыхах 31 числа ищем ту самую колбасу, которую раскупили. В этой статье автор расскажет, как делегировать почти всё нейросети — и наконец-то успеть.
Machine Learning
🗺 Как с помощью deep learning построили Геокодер, масштабируемый для разных стран
В статье рассказывается о том, как команда API Яндекс Карт перешла от классических методов машинного обучения к deep learning в задаче геокодирования. Новая архитектура Геокодера использует комбинацию active learning, contrastive learning, аугментацию данных. Это позволяет системе быстро адаптироваться к новым странам и работать с запросами, содержащими ошибки и народные названия.
Machine Learning
В статье рассказывается о том, как команда API Яндекс Карт перешла от классических методов машинного обучения к deep learning в задаче геокодирования. Новая архитектура Геокодера использует комбинацию active learning, contrastive learning, аугментацию данных. Это позволяет системе быстро адаптироваться к новым странам и работать с запросами, содержащими ошибки и народные названия.
Machine Learning
Встречаем YandexGPT 5 — в Алисе, облаке и опенсорсе
В статье рассказывается про новое поколение больших языковых моделей — YandexGPT 5. Можно узнать про этапы обучения, сокращение затрат на него и увеличение скорости обучения до 20 раз за счёт пайплайна с весами от Qwen-2.5 и найти Pretrain-версию в открытом доступе.
Machine Learning
В статье рассказывается про новое поколение больших языковых моделей — YandexGPT 5. Можно узнать про этапы обучения, сокращение затрат на него и увеличение скорости обучения до 20 раз за счёт пайплайна с весами от Qwen-2.5 и найти Pretrain-версию в открытом доступе.
Machine Learning
Может ли нейро-сотрудник на базе ChatGPT звонить по обычной телефонной линии?
Весь 2023 год автор участвовал в создании платформы нейро-сотрудников на базе ChatGPT и вот наконец-то они подошли к очень интересной задаче:
Machine Learning
Весь 2023 год автор участвовал в создании платформы нейро-сотрудников на базе ChatGPT и вот наконец-то они подошли к очень интересной задаче:
"Что, если дать нейро-сотруднику возможность отвечать по обычной телефонной линии или самому делать исходящие вызовы исходя из свой системной роли?"
Machine Learning
Нейросеть A-Vibe от Авито доказала, что российские разработки в области ИИ могут конкурировать с мировыми лидерами. Заняв первое место в бенчмарке MERA среди легких моделей, она превзошла решения от OpenAI, Google и Anthropic по ключевым параметрам работы с русским языком:
— генерация кода: на 25% лучше Gemini 1.5
— ведение диалога: на 32% точнее Llama 3.1
— способность анализировать смысл текста: на 23% точнее Claude 3.5 Haiku
Достичь таких результатов удалось благодаря внедрению собственного токенизатора, заточенного под русский язык: он позволил модели обрабатывать текст в 2 раза быстрее, а также лучше понимать и генерировать материал.
В ближайших планах — внедрение в функционал 20 новых сценариев. А в будущем Авито может выложить код модели в открытый доступ:
«Это поможет малому бизнесу внедрять передовые технологии без значительных инвестиций, образовательным учреждениям создавать прикладные программы, а независимым разработчикам строить современные сервисы на базе отечественных технологий. Для нас это возможность получить ценную обратную связь от рынка и улучшить наши модели», — отметила Анастасия Рысьмятова, руководитель разработки больших языковых моделей «Авито».
Чтобы увидеть актуальный рейтинг, в фильтре «Размер модели» нужно выбрать «≥5B — 10B». Это значит, что в рейтинг попадут модели размером от 5 до 10 миллиардов параметров.
Цифры Human Benchmark — это реальные результаты людей. Языковые модели приближаются к этим значениям, но окончательно превзойти человека ещё не смогли.
Machine Learning
— генерация кода: на 25% лучше Gemini 1.5
— ведение диалога: на 32% точнее Llama 3.1
— способность анализировать смысл текста: на 23% точнее Claude 3.5 Haiku
Достичь таких результатов удалось благодаря внедрению собственного токенизатора, заточенного под русский язык: он позволил модели обрабатывать текст в 2 раза быстрее, а также лучше понимать и генерировать материал.
В ближайших планах — внедрение в функционал 20 новых сценариев. А в будущем Авито может выложить код модели в открытый доступ:
«Это поможет малому бизнесу внедрять передовые технологии без значительных инвестиций, образовательным учреждениям создавать прикладные программы, а независимым разработчикам строить современные сервисы на базе отечественных технологий. Для нас это возможность получить ценную обратную связь от рынка и улучшить наши модели», — отметила Анастасия Рысьмятова, руководитель разработки больших языковых моделей «Авито».
Чтобы увидеть актуальный рейтинг, в фильтре «Размер модели» нужно выбрать «≥5B — 10B». Это значит, что в рейтинг попадут модели размером от 5 до 10 миллиардов параметров.
Цифры Human Benchmark — это реальные результаты людей. Языковые модели приближаются к этим значениям, но окончательно превзойти человека ещё не смогли.
Machine Learning
🏋️♀️ Я нашёл 213 уязвимостей безопасности в кодовой базе при помощи GPT-3
Краткая сводка: GPT-3 обнаружила 213 уязвимостей безопасности в git-репозитории. Для сравнения: один из лучших коммерческих инструментов на рынке (разработанный респектабельной компанией, которая занимается кибербезопасностью) нашёл лишь 99 проблем; впрочем, этот инструмент предоставляет контекст в более структурированном формате.
Machine Learning
Краткая сводка: GPT-3 обнаружила 213 уязвимостей безопасности в git-репозитории. Для сравнения: один из лучших коммерческих инструментов на рынке (разработанный респектабельной компанией, которая занимается кибербезопасностью) нашёл лишь 99 проблем; впрочем, этот инструмент предоставляет контекст в более структурированном формате.
Machine Learning
Gemini 2.5 Pro возглавил все ИИ-бенчмарки: Google возвращает корону технологического лидера
Google вернулся в гонку ИИ с триумфом: их Gemini 2.5 Pro возглавил все авторитетные рейтинги моделей и получил восторженные отзывы экспертов. Компания интегрирует лучший в мире ИИ в свои сервисы с миллиардной аудиторией, создавая преимущество, которое нельзя купить за деньги — экосистему, где искусственный интеллект становится неотъемлемой частью повседневных инструментов.
Machine Learning
Google вернулся в гонку ИИ с триумфом: их Gemini 2.5 Pro возглавил все авторитетные рейтинги моделей и получил восторженные отзывы экспертов. Компания интегрирует лучший в мире ИИ в свои сервисы с миллиардной аудиторией, создавая преимущество, которое нельзя купить за деньги — экосистему, где искусственный интеллект становится неотъемлемой частью повседневных инструментов.
Machine Learning
GPT наконец перестал выдумывать факты и действительно понимает, что находит в интернете?
В течение последних двух с половиной лет функцией, которую автор больше всего хотел получить от LLM, была способность выполнять исследовательские задачи на основе поиска от его имени. Мы увидели первые проблески этого ещё в начале 2023 года с Perplexity, а затем с Microsoft Bing на основе GPT-4. С тех пор множество людей пытались решить эту проблему, в частности Google Gemini и ChatGPT Search.
Machine Learning
В течение последних двух с половиной лет функцией, которую автор больше всего хотел получить от LLM, была способность выполнять исследовательские задачи на основе поиска от его имени. Мы увидели первые проблески этого ещё в начале 2023 года с Perplexity, а затем с Microsoft Bing на основе GPT-4. С тех пор множество людей пытались решить эту проблему, в частности Google Gemini и ChatGPT Search.
Machine Learning
Media is too big
VIEW IN TELEGRAM
Машинное обучение для чайников
В этом ролике автор дает подробные ответы на следующие вопросы:
• Что такое машинное обучение
• Для чего используется
• Классы задач машинного обучения
• Что такое обучение с учителем
• Что такое обучение без учителя
• Что такое задача регрессии
• Что такое задача классификации
• Что такое задача кластеризации
• Что такое задача уменьшения размерности
• Что такое задача выявления аномалий
• Что такое нейронная сеть
• Что можно делать с помощью нейронных сетей
• Возможен ли сценарий "Терминатора"
• Интересные факты и лайфхаки о нейронных сетях
• Что нужно знать для начала изучения машинного обучения
• Курсы по машинному обучению
Смотреть это видео на youtube: youtu.be/yQPRzVB4Zpk
Machine Learning
В этом ролике автор дает подробные ответы на следующие вопросы:
• Что такое машинное обучение
• Для чего используется
• Классы задач машинного обучения
• Что такое обучение с учителем
• Что такое обучение без учителя
• Что такое задача регрессии
• Что такое задача классификации
• Что такое задача кластеризации
• Что такое задача уменьшения размерности
• Что такое задача выявления аномалий
• Что такое нейронная сеть
• Что можно делать с помощью нейронных сетей
• Возможен ли сценарий "Терминатора"
• Интересные факты и лайфхаки о нейронных сетях
• Что нужно знать для начала изучения машинного обучения
• Курсы по машинному обучению
Смотреть это видео на youtube: youtu.be/yQPRzVB4Zpk
Machine Learning
Я тебя с вертухи сломаю, если ещё раз заговоришь об ИИ
Последние инновации в сфере ИИ, наиболее примечательными из которых стали проекты наподобие GPT-4, очевидно, могут иметь далеко идущие последствия для общества: от утопического избавления от монотонного труда до антиутопического ущерба для работы художников в капиталистическом обществе, а также до экзистенциальных угроз самому человечеству.
Machine Learning
Последние инновации в сфере ИИ, наиболее примечательными из которых стали проекты наподобие GPT-4, очевидно, могут иметь далеко идущие последствия для общества: от утопического избавления от монотонного труда до антиутопического ущерба для работы художников в капиталистическом обществе, а также до экзистенциальных угроз самому человечеству.
Machine Learning
😉 Как дообучить LLaMA бесплатно и без программирования: как создать тупого друга
В статье будет мало терминов, тут автор простым языком расскажет как вы можете обучить большую языковую модель.
Machine Learning
В статье будет мало терминов, тут автор простым языком расскажет как вы можете обучить большую языковую модель.
Machine Learning
RecSys R&D команда из Яндекса разработала новую рекомендательную систему на базе больших генеративных моделей
ARGUS (AutoRegressive Generative User Sequential modeling) — новое поколение рекомендательных моделей, которые способны предсказывать потребности пользователей и их отклик, а также находить сложные взаимосвязи между событиями. Это значительно повышает точность и качество рекомендаций. Алгоритмы анализируют агрегированные и обезличенные данные. Подобные системы сейчас внедрены всего у нескольких компаний в мире, включая Google и Netflix.
Архитектура Argus — двухбашенная модель, для которой, в отличие от target-aware постановки ранжирования в HSTU, можно в оффлайне пересчитывать векторы для миллионов пользователей и айтемов. Для оценки качества используется global temporal split, а на этапе предобучения смотрят прежде всего на значения функции потерь для задач next item prediction и feedback prediction. На этом же этапе сравнивают продовый градиентный бустинг, обученный на новых данных, с версией этого бустинга, в которую входит признак от ARGUS. И вместо абсолютных значений приводят относительный прирост метрики
Первыми новую модель интегрировали в Яндекс Музыку. В рекомендации сервиса внедрили модель с длиной истории 8192 (в терминах события в жизни пользователя). Это прецедентный случай внедрения модели подобных масштабов с такой длинной истории музыкальных рекомендаций. По статистике стриминга, слушатели Моей волны стали лайкать впервые услышанные треки на 20% чаще, а разнообразие рекомендаций возросло на 14%. При этом, генеративные нейросети в рекомендациях позволяют учитывать предпочтения пользователей не раз в сутки, а в режиме реального времени, что выводит качество персонализации на новый уровень.
Следом за Яндекс Музыкой, технологию интегрировали в Маркет. Со временем на рекомендательные алгоритмы нового поколения перейдут и другие сервисы компании.
ARGUS (AutoRegressive Generative User Sequential modeling) — новое поколение рекомендательных моделей, которые способны предсказывать потребности пользователей и их отклик, а также находить сложные взаимосвязи между событиями. Это значительно повышает точность и качество рекомендаций. Алгоритмы анализируют агрегированные и обезличенные данные. Подобные системы сейчас внедрены всего у нескольких компаний в мире, включая Google и Netflix.
Архитектура Argus — двухбашенная модель, для которой, в отличие от target-aware постановки ранжирования в HSTU, можно в оффлайне пересчитывать векторы для миллионов пользователей и айтемов. Для оценки качества используется global temporal split, а на этапе предобучения смотрят прежде всего на значения функции потерь для задач next item prediction и feedback prediction. На этом же этапе сравнивают продовый градиентный бустинг, обученный на новых данных, с версией этого бустинга, в которую входит признак от ARGUS. И вместо абсолютных значений приводят относительный прирост метрики
Первыми новую модель интегрировали в Яндекс Музыку. В рекомендации сервиса внедрили модель с длиной истории 8192 (в терминах события в жизни пользователя). Это прецедентный случай внедрения модели подобных масштабов с такой длинной истории музыкальных рекомендаций. По статистике стриминга, слушатели Моей волны стали лайкать впервые услышанные треки на 20% чаще, а разнообразие рекомендаций возросло на 14%. При этом, генеративные нейросети в рекомендациях позволяют учитывать предпочтения пользователей не раз в сутки, а в режиме реального времени, что выводит качество персонализации на новый уровень.
Следом за Яндекс Музыкой, технологию интегрировали в Маркет. Со временем на рекомендательные алгоритмы нового поколения перейдут и другие сервисы компании.
Особенности индийского автострахования — какие insurtech-стартапы и технологии меняют его облик
В этом материале автор расскажет о примечательных индийских компаниях, развивающих системы ИИ и технологии компьютерного зрения, чтобы сделать страховые полисы доступными для широкой аудитории — от водителей электроскутеров до жителей сельских районов.
Machine Learning
В этом материале автор расскажет о примечательных индийских компаниях, развивающих системы ИИ и технологии компьютерного зрения, чтобы сделать страховые полисы доступными для широкой аудитории — от водителей электроскутеров до жителей сельских районов.
Machine Learning
Маленький data-science для большого бизнеса
История о том, как команда школьников занималась разработкой сервиса геоаналитики для бизнеса.
Machine Learning
История о том, как команда школьников занималась разработкой сервиса геоаналитики для бизнеса.
Machine Learning
👷 Строим пайплайн в sсikit-learn — пошаговое руководство
В тексте упоминается scikit-learn — одна из самых популярных Python-библиотек для классического машинного обучения. Кроме большого числа алгоритмов машинного обучения, с помощью scikit-learn можно строить пайплайны.
Machine Learning
В тексте упоминается scikit-learn — одна из самых популярных Python-библиотек для классического машинного обучения. Кроме большого числа алгоритмов машинного обучения, с помощью scikit-learn можно строить пайплайны.
Machine Learning