Яндекс представил онлайн‑тренажёр CodeRun с каталогом задач для разработчиков и аналитиков
Задачи в CodeRun разделены по уровням сложности и направлениям: мобильная разработка, фронтенд, бэкенд, машинное обучение и аналитика данных. Их составляли разработчики Яндекса и приглашённые эксперты. Также в CodeRun можно найти задания с прошлых мероприятий, например, с чемпионата по программированию Yandex Cup и «Тренировок по алгоритмам».
#новость
Задачи в CodeRun разделены по уровням сложности и направлениям: мобильная разработка, фронтенд, бэкенд, машинное обучение и аналитика данных. Их составляли разработчики Яндекса и приглашённые эксперты. Также в CodeRun можно найти задания с прошлых мероприятий, например, с чемпионата по программированию Yandex Cup и «Тренировок по алгоритмам».
#новость
Нейросети помогут исправить и улучшить текст в Яндекс Клавиатуре
Мы добавили в нашу виртуальную клавиатуру для мобильных устройств новые функции на основе нейросетей Яндекса. Пользователи Клавиатуры теперь могут использовать их в любом сервисе, где есть текстовый ввод. YandexGPT поможет исправить ошибки в тексте, разнообразить его синонимами и добавить подходящие эмодзи, а YandexART создаст уникальный фон по текстовому описанию.
#новость
Мы добавили в нашу виртуальную клавиатуру для мобильных устройств новые функции на основе нейросетей Яндекса. Пользователи Клавиатуры теперь могут использовать их в любом сервисе, где есть текстовый ввод. YandexGPT поможет исправить ошибки в тексте, разнообразить его синонимами и добавить подходящие эмодзи, а YandexART создаст уникальный фон по текстовому описанию.
#новость
Как в Яндекс Еде помогли курьерам, или Рассказ о маленьком стартапе в большой компании. Доклад Яндекса
Денис Терехов, тимлид в Яндекс Еде, рассказал на митапе для разработчиков в Новосибирске о том, как его команда помогла курьерам быстрее доставлять заказы.
В 2024 году начал ощущаться дефицит курьеров, особенно зимой. Чтобы сервис Еды работал как обычно, нужно было сделать так, чтобы они могли доставлять больше заказов за меньшее время. Команда Дениса решила дать курьерам велосипеды — и вот что из этого вышло.
#доклад
Денис Терехов, тимлид в Яндекс Еде, рассказал на митапе для разработчиков в Новосибирске о том, как его команда помогла курьерам быстрее доставлять заказы.
В 2024 году начал ощущаться дефицит курьеров, особенно зимой. Чтобы сервис Еды работал как обычно, нужно было сделать так, чтобы они могли доставлять больше заказов за меньшее время. Команда Дениса решила дать курьерам велосипеды — и вот что из этого вышло.
#доклад
Команда Яндекс Музыки разработала технологию Нитро, которая порекомендует слушателям даже те треки, для которых ещё недостаточно данных о прослушиваниях и лайках.
Новая технология позволяет составлять рекомендации не только по реакции пользователей, но и по схожести композиций. Нейросети анализируют звучание треков, затем рекомендуют их тем слушателям, которым нравится похожая музыка.
#новость
Новая технология позволяет составлять рекомендации не только по реакции пользователей, но и по схожести композиций. Нейросети анализируют звучание треков, затем рекомендуют их тем слушателям, которым нравится похожая музыка.
#новость
Как обеспечить цифровую доступность по всем правилам: опыт Яндекс Капчи
Капча — крайняя в цепочке проверок запроса на роботность. Сюда перенаправляются запросы, для которых наша система Антиробот исчерпала способы пассивных проверок. Однако даже человек не всегда может пройти капчу — в том числе, когда у него есть проблемы со здоровьем.
В сегодняшней статье — рассказ о том, как наши разработчики решают нетривиальную задачу: делают капчу более доступной для слабовидящих пользователей и при этом соблюдают все требования безопасности и ГОСТ.
#статья
Капча — крайняя в цепочке проверок запроса на роботность. Сюда перенаправляются запросы, для которых наша система Антиробот исчерпала способы пассивных проверок. Однако даже человек не всегда может пройти капчу — в том числе, когда у него есть проблемы со здоровьем.
В сегодняшней статье — рассказ о том, как наши разработчики решают нетривиальную задачу: делают капчу более доступной для слабовидящих пользователей и при этом соблюдают все требования безопасности и ГОСТ.
#статья
This media is not supported in your browser
VIEW IN TELEGRAM
Наши друзья из телеграмм-канала Yandex for Developers проводят конкурс и дарят 5 Яндекс Станций
Yandex for Developers — это канал о технологиях Яндекса и разработчиках, которые их создают: они рассказывают про свои проекты и важные события индустрии, а ещё обсуждают инструменты и языки. В канале вы найдёте анонсы конференций, статьи, подкасты и интервью. А сейчас у подписчиков канала есть шанс выиграть одну из пяти Яндекс Станций! Для этого нужно лишь поставить реакцию и нажать кнопку «Участвовать» в конкурсном посте.
Подписывайтесь на Yandex for Developers и присоединяйтесь к конкурсу!
Yandex for Developers — это канал о технологиях Яндекса и разработчиках, которые их создают: они рассказывают про свои проекты и важные события индустрии, а ещё обсуждают инструменты и языки. В канале вы найдёте анонсы конференций, статьи, подкасты и интервью. А сейчас у подписчиков канала есть шанс выиграть одну из пяти Яндекс Станций! Для этого нужно лишь поставить реакцию и нажать кнопку «Участвовать» в конкурсном посте.
Подписывайтесь на Yandex for Developers и присоединяйтесь к конкурсу!
Как ломаются большие системы и как их траблшутить — инсайты из интенсива ШАДа Яндекса
Каким бы надёжным ни был сервис с точки зрения алгоритмов и отказоустойчивости, от аварий никто не застрахован. Они происходят всегда, это часть жизни. Один из способов минимизировать риски — развивать в команде культуру SRE (Site Reliability Engineering).
В сегодняшней статье — инсайты о том, как и почему ломаются большие системы, что такое траблшутинг и чем на практике занимается SRE-специалист.
#статья
Каким бы надёжным ни был сервис с точки зрения алгоритмов и отказоустойчивости, от аварий никто не застрахован. Они происходят всегда, это часть жизни. Один из способов минимизировать риски — развивать в команде культуру SRE (Site Reliability Engineering).
В сегодняшней статье — инсайты о том, как и почему ломаются большие системы, что такое траблшутинг и чем на практике занимается SRE-специалист.
#статья
Работает — не трожь: зачем обновлять Python в долгоживущих проектах
С момента своего появления Python быстро завоевал популярность и вошёл в тройку самых востребованных языков программирования. Он продолжает удерживать свои позиции, и это неудивительно, учитывая его активное развитие и изменения. Старые конструкции и правила постепенно уступают место новым, делая Python более лёгким и гибким.
Наша новая статья расскажет о значительных изменениях, произошедших в языке за последние несколько лет. Мы рассмотрим изменения в синтаксисе, аннотации, профилировщиках и попытаемся ответить на вопрос, в каком направлении движется Python.
#статья
С момента своего появления Python быстро завоевал популярность и вошёл в тройку самых востребованных языков программирования. Он продолжает удерживать свои позиции, и это неудивительно, учитывая его активное развитие и изменения. Старые конструкции и правила постепенно уступают место новым, делая Python более лёгким и гибким.
Наша новая статья расскажет о значительных изменениях, произошедших в языке за последние несколько лет. Мы рассмотрим изменения в синтаксисе, аннотации, профилировщиках и попытаемся ответить на вопрос, в каком направлении движется Python.
#статья
Как вырастить динозавра: масштабирование платформы YTsaurus от 200 до 20 000 хостов. Доклад Яндекса
В Яндексе развёрнуто несколько крупных инсталляций Data LakeHouse‑платформы YTsaurus. С момента релиза платформы в 2010 году кластеры выросли на два десятичных порядка. Сейчас самый большой кластер состоит из более 20 тысяч хостов, свыше миллиона CPU‑ядер и сотен HDD‑дисков с суммарным объёмом больше эксабайта, не считая SSD с NVMe.
Павел Сушин на CodeFest рассказал историю, какие ограничения архитектуры и узкие места пришлось преодолеть команде YTsaurus, чтобы масштабировать кластеры больше чем в сотню раз.
#доклад
В Яндексе развёрнуто несколько крупных инсталляций Data LakeHouse‑платформы YTsaurus. С момента релиза платформы в 2010 году кластеры выросли на два десятичных порядка. Сейчас самый большой кластер состоит из более 20 тысяч хостов, свыше миллиона CPU‑ядер и сотен HDD‑дисков с суммарным объёмом больше эксабайта, не считая SSD с NVMe.
Павел Сушин на CodeFest рассказал историю, какие ограничения архитектуры и узкие места пришлось преодолеть команде YTsaurus, чтобы масштабировать кластеры больше чем в сотню раз.
#доклад
Как Яндекс учит Алису понимать пользователей с особенностями речи
Пользователям с особенностями речи теперь будет проще общаться с Алисой. Она стала лучше распознавать голосовые запросы людей с речевыми нарушениями — например, с заиканием, ДЦП, последствиями инсульта или травмы. Команде разработки технологии ASR удалось сократить разрыв между точностью распознавания обычной речи и речи с искажениями в среднем на 20%. При некоторых лёгких формах нарушений звукопроизношения Алиса теперь понимает речь не хуже человека, а при тяжёлых формах нарушений — даже лучше.
Даниил Волгин рассказал на Хабре небольшую историю о том, как команде удалось добиться этого результата. Основная сложность решения таилась вовсе не в применяемых технологиях. Ключом к успеху стала помощь сообщества и экспертов.
#статья
Пользователям с особенностями речи теперь будет проще общаться с Алисой. Она стала лучше распознавать голосовые запросы людей с речевыми нарушениями — например, с заиканием, ДЦП, последствиями инсульта или травмы. Команде разработки технологии ASR удалось сократить разрыв между точностью распознавания обычной речи и речи с искажениями в среднем на 20%. При некоторых лёгких формах нарушений звукопроизношения Алиса теперь понимает речь не хуже человека, а при тяжёлых формах нарушений — даже лучше.
Даниил Волгин рассказал на Хабре небольшую историю о том, как команде удалось добиться этого результата. Основная сложность решения таилась вовсе не в применяемых технологиях. Ключом к успеху стала помощь сообщества и экспертов.
#статья
Как развивалась технология экстремального сжатия LLM: от QuIP до AQLM с PV-tuning
Недавно исследователи Yandex Research совместно с коллегами из IST Austria и KAUST предложили новый способ сжатия моделей в 8 раз с помощью комбинации методов AQLM и PV-tuning. Код, сжатые модели и обучающие материалы доступны разработчикам и исследователям по всему миру.
Владимир Малиновский поделился на Хабре увлекательной историей противостояния двух «конкурирующих» решений, которое и сыграло ключевую роль в совершенствовании технологии.
#статья
Недавно исследователи Yandex Research совместно с коллегами из IST Austria и KAUST предложили новый способ сжатия моделей в 8 раз с помощью комбинации методов AQLM и PV-tuning. Код, сжатые модели и обучающие материалы доступны разработчикам и исследователям по всему миру.
Владимир Малиновский поделился на Хабре увлекательной историей противостояния двух «конкурирующих» решений, которое и сыграло ключевую роль в совершенствовании технологии.
#статья
Спидран в реальности: история робота, который быстрее всех в мире собирает кубик Рубика
Александр Кротов из команды инфраструктуры рантайма больших языковых моделей никогда профессионально не занимался робототехникой. Но однажды он увидел, как робот собирает кубик Рубика за 0,38 секунды. Пересмотрев ролик в замедленной съёмке, Александр заметил, что можно оптимизировать, и в итоге собрал своего робота. Теперь этот робот решает головоломку быстрее всех в мире — за 0,2 секунды.
В статье на Хабре Александр подробно описывает историю создания робота и все те ошибки, которые совершил на пути к новому рекорду.
#статья
Александр Кротов из команды инфраструктуры рантайма больших языковых моделей никогда профессионально не занимался робототехникой. Но однажды он увидел, как робот собирает кубик Рубика за 0,38 секунды. Пересмотрев ролик в замедленной съёмке, Александр заметил, что можно оптимизировать, и в итоге собрал своего робота. Теперь этот робот решает головоломку быстрее всех в мире — за 0,2 секунды.
В статье на Хабре Александр подробно описывает историю создания робота и все те ошибки, которые совершил на пути к новому рекорду.
#статья
Как мы прогнозируем спрос на заказы в Яндекс Лавке, чтобы более эффективно распределить нагрузку на курьеров. Доклад Яндекса
Яндекс Лавка — сервис быстрой доставки. Быстрой, потому что, как только заказ появляется в системе, свободный сборщик сразу начинает его собирать, чтобы потом передать его курьеру. Чтобы уложиться во все сроки, необходимо прогнозировать нагрузку и понимать, сколько курьеров должно быть на каждом из дарксторов. И в этом нам помогают алгоритмы.
Александр Исаков, аналитик‑разработчик в Лавке, рассказал на DataFest о том, как в сервисе прогнозируются параметры для расчёта необходимого числа курьеров, чтобы все заказы прибыли вовремя.
#доклад
Яндекс Лавка — сервис быстрой доставки. Быстрой, потому что, как только заказ появляется в системе, свободный сборщик сразу начинает его собирать, чтобы потом передать его курьеру. Чтобы уложиться во все сроки, необходимо прогнозировать нагрузку и понимать, сколько курьеров должно быть на каждом из дарксторов. И в этом нам помогают алгоритмы.
Александр Исаков, аналитик‑разработчик в Лавке, рассказал на DataFest о том, как в сервисе прогнозируются параметры для расчёта необходимого числа курьеров, чтобы все заказы прибыли вовремя.
#доклад
Софтмакс Гумбеля: как устроен и для каких нейронных сетей полезен
Gumbel-Softmax — это метод, который используется для обучения нейронных сетей, способных выбирать из конечного списка вариантов. Он особенно полезен, когда в процессе вычислений возникает дискретное место, через которое не проходит градиент.
С помощью Gumbel-Softmax можно осуществлять сэмплирование из категориального распределения таким образом, чтобы это не влияло на вычисление градиентов. А как именно — рассказал Николай Лысенко, разработчик рекомендательных системам в Яндекс Маркете.
#статья
Gumbel-Softmax — это метод, который используется для обучения нейронных сетей, способных выбирать из конечного списка вариантов. Он особенно полезен, когда в процессе вычислений возникает дискретное место, через которое не проходит градиент.
С помощью Gumbel-Softmax можно осуществлять сэмплирование из категориального распределения таким образом, чтобы это не влияло на вычисление градиентов. А как именно — рассказал Николай Лысенко, разработчик рекомендательных системам в Яндекс Маркете.
#статья
Свой плеер для DASH: вошли и вышли, приключение на 20 минут
Для доставки контента пользователю многие сервисы Яндекса используют технологию стриминга по стандарту MPEG‑DASH. Чтобы всё хорошо работало, нужна подходящая библиотека. Команда выбрала готовое опенсорс-решение Shaka Player, но с ним возникло несколько проблем.
В своём докладе Ольга Попова, разработчик в Yandex Infrastructure, поделилась опытом разработки своего DASH-плеера, а также рассказала об архитектуре решения, его тестировании и метриках.
#доклад
Для доставки контента пользователю многие сервисы Яндекса используют технологию стриминга по стандарту MPEG‑DASH. Чтобы всё хорошо работало, нужна подходящая библиотека. Команда выбрала готовое опенсорс-решение Shaka Player, но с ним возникло несколько проблем.
В своём докладе Ольга Попова, разработчик в Yandex Infrastructure, поделилась опытом разработки своего DASH-плеера, а также рассказала об архитектуре решения, его тестировании и метриках.
#доклад
Как мы в Яндекс Путешествиях на Compose стёкла морозили
Антон Урывский, Android‑разработчик в Яндекс Вертикалях, поделился опытом создания эффекта морозного стекла, который блюрит не содержимое View, а всё, что находится под ним. На iOS он достигается достаточно легко, а вот на Android всё не так просто: BlurRenderEffect доступен только с API 31, а для нас очень важно, чтобы приложение выглядело одинаково на всех смартфонах — даже на старых.
#статья
Антон Урывский, Android‑разработчик в Яндекс Вертикалях, поделился опытом создания эффекта морозного стекла, который блюрит не содержимое View, а всё, что находится под ним. На iOS он достигается достаточно легко, а вот на Android всё не так просто: BlurRenderEffect доступен только с API 31, а для нас очень важно, чтобы приложение выглядело одинаково на всех смартфонах — даже на старых.
#статья
Математика надёжности. Доклад Яндекса
Есть много способов повысить надёжность — делать ретраи, срезать избыточную нагрузку, отключать необязательные функции, реплицировать сервисы или делать фолбэки на критичную логику. Но из чего складывается надёжность и как её посчитать?
Вадим Мартынов, руководитель команды платформы надёжности в Яндекс Go, в своём докладе рассказал, как влияют те или иные решения на надёжность системы и как это учитывать при разработке.
#доклад
Есть много способов повысить надёжность — делать ретраи, срезать избыточную нагрузку, отключать необязательные функции, реплицировать сервисы или делать фолбэки на критичную логику. Но из чего складывается надёжность и как её посчитать?
Вадим Мартынов, руководитель команды платформы надёжности в Яндекс Go, в своём докладе рассказал, как влияют те или иные решения на надёжность системы и как это учитывать при разработке.
#доклад
Хабр
Математика надёжности. Доклад Яндекса
Привет, меня зовут Вадим. Я делаю платформу надёжности в Яндекс Go. Инструментов для улучшения надёжности много, поэтому перед нашей командой всегда стоит выбор, что делать сейчас,...
Как Яндекс создал технологию эмоционального синтеза в Алисе
Теперь Алиса умеет выражать голосом целый спектр эмоций. Например, она может подбодрить, посочувствовать или порадоваться за пользователя. При этом Алиса способна менять оттенки эмоций в рамках одной реплики, как люди.
Рассказали, что под капотом: как работала эмоциональность раньше, в чём была проблема, как мы создали новый синтез эмоциональной речи и добавили туда оттенков.
#статья
Теперь Алиса умеет выражать голосом целый спектр эмоций. Например, она может подбодрить, посочувствовать или порадоваться за пользователя. При этом Алиса способна менять оттенки эмоций в рамках одной реплики, как люди.
Рассказали, что под капотом: как работала эмоциональность раньше, в чём была проблема, как мы создали новый синтез эмоциональной речи и добавили туда оттенков.
#статья
Встречаем OmniCast — технологию, которая повысит точность прогноза температуры с помощью пользовательских метеостанций
Яндекс Погода внедрила технологию OmniCast, которая учитывает данные как профессиональных, так и и любительских метеостанций. Подключить по API такую станцию к сервису теперь может любой желающий. Благодаря этому сервис стал в 36 раз чаще получать данные о температуре и давать более точный прогноз для каждого городского квартала.
Рассказали на Хабре о том, как при помощи фильтра Калмана и комбинации двунаправленной и однонаправленной LSTM-нейросетей нам удалось улучшить качество прогноза температуры.
#статья
Яндекс Погода внедрила технологию OmniCast, которая учитывает данные как профессиональных, так и и любительских метеостанций. Подключить по API такую станцию к сервису теперь может любой желающий. Благодаря этому сервис стал в 36 раз чаще получать данные о температуре и давать более точный прогноз для каждого городского квартала.
Рассказали на Хабре о том, как при помощи фильтра Калмана и комбинации двунаправленной и однонаправленной LSTM-нейросетей нам удалось улучшить качество прогноза температуры.
#статья
ICML 2024: как это было и куда движется индустрия
Владислав Офицеров, ответственный за развитие нейросетевых технологий в международном Поиске в Яндексе, впервые побывал на одной из крупнейших международных конференций по машинному обучению — ICML (The International Conference on Machine Learning), и поделился в статье своими впечатлениями.
Рассказывает, из чего конференция состоит, как смотреть доклады, когда участники представляют 2600 статей на своих стендах, и показывает в своем обзоре самые интересные из них.
А другими обзорами свежих научных статей мы с коллегами делимся в канале Душный NLP →
#статья
Владислав Офицеров, ответственный за развитие нейросетевых технологий в международном Поиске в Яндексе, впервые побывал на одной из крупнейших международных конференций по машинному обучению — ICML (The International Conference on Machine Learning), и поделился в статье своими впечатлениями.
Рассказывает, из чего конференция состоит, как смотреть доклады, когда участники представляют 2600 статей на своих стендах, и показывает в своем обзоре самые интересные из них.
А другими обзорами свежих научных статей мы с коллегами делимся в канале Душный NLP →
#статья