Моя волна — теперь и в офлайне. Рассказываем, как уместили рекомендательную систему в сотню килобайт

Несколько лет назад мы представили Мою волну — систему персональных рекомендаций в Яндекс Музыке, которая подстраивается под предпочтения пользователей. В её основе — рекомендательные нейросети-трансформеры, размер которых может достигать сотен миллиардов параметров, и поэтому без мощных дата-центров их работа просто невозможна.

Сегодня мы впервые представляем нашу новую рекомендательную технологию TinyML, которая работает локально, на обычном смартфоне. Теперь при потере доступа в интернет Моя волна не просто бесшовно продолжит воспроизведение музыки, но и будет подстраиваться под действия пользователя и формировать рекомендации, исходя из его предпочтений в текущий момент.

Как это работает и что нам пришлось для этого создать — расскажем под катом.

https://habr.com/ru/companies/yandex/articles/1010992/

Алгоритмы и Структуры данных

Как я впервые услышал черную дыру: Python и LIGO

Когда речь заходит об обсерватории LIGO, большинство из нас вспоминает классический сценарий: где-то за миллиарды световых лет слились две черные дыры, и только спустя это время, детекторы на Земле зафиксировали гравитационный всплеск, длившийся доли секунды. В классической Общей теории относительности (ОТО) считается, что изолированная или просто поглощающая газ черная дыра гравитационно «нема». Она ничего не излучает.

Но что, если это не так? Что, если гравитационные телескопы способны «слышать» не только редкие катастрофические слияния, но и постоянный, фоновый гул от обычных черных дыр, которые прямо сейчас пожирают материю в нашей галактике? И что, если этот гул может рассказать нам о физическом размере объектов, внутри которых, как нам говорят, находится «бесконечная сингулярность»?

В этой статье я покажу, как концепция механики сплошных сред позволяет предсказать точную частоту такого резонанса. А затем мы откроем Python, подключимся к серверам GWOSC (Gravitational Wave Open Science Center), выкачаем гигабайты сырых тензорных данных LIGO и методами цифровой обработки сигналов (DSP) вытащим этот акустический след из шума.

https://habr.com/ru/articles/1016242/

Алгоритмы и Структуры данных

Машина Тьюринга в Minecraft

Машина Тьюринга — одно из базовых устройств в компьютерной науке. Я играю в Minecraft уже более 12 лет и имею большой опыт в реализации различных механизмов внутри игры. Спустя годы университетской учёбы и работы в индустрии пришла идея совместить хобби с фундаментальной теорией — реализовать машину Тьюринга средствами игры и поделиться результатом.

https://habr.com/ru/articles/1016582/

Алгоритмы и Структуры данных

SQL квалии

Есть мнение, что принципиальной точкой в развитии ИИ станет обретение им сознания. Что такое со-знание, как оно появляется и “работает” (у Жизни, у нас, у ИИ) разговор отдельный. Но говоря о сознании нельзя пройти мимо темы т.н. “квалий”, на использовании которых в качестве своеобразной базы данных как считается сознание и основывает свою работу. Конечно же есть множество литературы на эту тему, в т.ч. и Д. Чалмерс, однако к.м.к. всё же имеет смысл схематически показать что такое квалии, как они получаются и работают на краткой, простой и понятной модели с использованием ПК и языка SQL.

https://habr.com/ru/articles/1016644/

Алгоритмы и Структуры данных

Долой иерархию и роли: о том, как LLM-агенты самоорганизуются лучше, чем мы их проектируем (только на сильных моделях)

Хабр, привет! Меня зовут Вика Дочкина, я работаю в Сбере и пишу диссертацию на тему автономных AI-систем.

Роли, отделы, департаменты, иерархии, должностные инструкции, процессы — всё это придумано для людей. Для нас: с одной специализацией (реже - несколькими), 8 часами продуктивности в день, невозможностью удержать в голове контекст всей организации и месяцами на смену профессии.

У LLM-агента ни одного из этих ограничений нет. Он мгновенно меняет специализацию. Он видит полный контекст. Он не потребляет ресурсы, когда не работает. Зачем тогда переносить на него человеческую оргструктуру?

Мы 6 месяцев проверяли эту гипотезу. 25 000 задач. 8 моделей. До 256 агентов. Больше миллиарда токенов.

https://habr.com/ru/articles/1017200/

Алгоритмы и Структуры данных

Множество Мандельброта — видео

Анимация: генерирует последовательность из 255 высокоточных кадров в формате BMP (frame_000.bmp ... frame_254.bmp) и автоматически компилирует их в видеоролик (файл Mandelbrot.mp4) с частотой 30 кадров в секунду, используя встроенный FFmpeg.

Скачать последнюю версию (Windows и Linux)
В windows это Mandelbrot_windows.exe и ffmpeg.exe
https://github.com/Divetoxx/Mandelbrot-Video/releases
Выше README содержит English и Русский!

FFmpeg - "швейцарский армейский нож" для обработки видео. В 2026 году он остается отраслевым стандартом, поддерживаемым сообществом разработчиков открытого программного обеспечения. От YouTube и Netflix до профессиональных киностудий - все на него полагаются. И да, он совершенно бесплатный.

https://habr.com/ru/articles/1016624/

Алгоритмы и Структуры данных

Новые способы хранения тайлов в Картах: как один сервер выдерживает 80k RPS

80k RPS и 25 Гбит/с трафика тайлов с одного сервера — звучит как мечта для картографического сервиса? На самом деле это реально — если ваш способ отдачи тайлов спроектирован для этого.

С момента появления первых веб‑карт подходы к хранению картографических данных сильно изменились. В этой статье я разберу эволюцию от классических методов до современных облачных форматов и расскажу о нашем собственном решении с интересными алгоритмами индексации, а также зачем нам для этого понадобились деревья и алгоритмы цифровой сортировки.

Поделюсь опытом того, как мы отказались от сложного рендеринга на бэкенде, упростили инфраструктуру и эксплуатацию, а заодно перестали бояться пиковой нагрузки. Покажу, как это позволило нам отдавать сотни экспериментальных вариантов подложки Карт, используя в качестве бэкенда только S3.

https://habr.com/ru/companies/yandex/articles/1013916/

Алгоритмы и Структуры данных

Как превратить годы обучения в IT в реальный опыт и деньги

Самое странное сейчас это пытаться вкатиться в IT по классике, когда опытные программисты давно кодят с нейронками даже в больших проектах.

Поэтому в 2026 выигрывает тот, кто быстро делает рабочие решения без долгих лет обучения и максимально сокращает путь с нуля до первого реального проекта в IT.

Андрей Ивашев запускает бесплатный 3-дневный интенсив:

«Первые деньги на вайбкодинге»

📅 7-9 апреля в 19:00 МСК

Для тех хочет начать программировать с нейронками и заработать на этом первые деньги даже без опыта и образования.

Программа 🔥

7 апреля

почему сегодня вход в IT стал сложнее и почему вайбкодинг меняет правила игры

8 апреля

3 способа заработать на вайбкодинге в 2026 и где брать первого клиента, чтобы сделать проект за реальные деньги

9 апреля

На практике соберём AI-ассистента, который станет твоим первым IT-проектом.

🎁 Бонус за регистрацию:

«Библиотека промптов для заработка на вайбкодинге», которые помогут упаковать портфолио и общаться с клиентами так, чтобы покупали

50 бесплатных нейросетей, чтобы кодить без остановки + серкетные бонусы

Бесплатных мест для наших подписчиков всего 100.

Зарегистрироваться бесплатно
Зарегистрироваться бесплатно
Зарегистрироваться бесплатно

Тыкни на 🔥, если идёшь.

Математическое программирование vs RL: может ли ИИ догнать классику в оптимизации?

С определенным успехом методы математического программирования захватили множество задач автоматизации и оптимизации бизнес процессов (маршрутизация доставки, планирование производства или графиков работы сотрудников, планирование сетей и т.д.). Используемые методы решения и классические постановки задач десятилетиями остаются без серьезных изменений. Когда ждать революцию? Кто имеет потенциал для ее организации?

Проведем эксперимент на предмет того, есть ли у RL способности решать оптимизационные задачи. Для исследования возьмем не сложную практическую оптимизационную задачу и оценим как обучение с подкреплением справится.

Материал будет полезен как заядлым специалистам по мат.оптимизации, так и ml-инженерам или data scientist’ам. Рассматриваемая задача может быть интересна специалистам из области логистики/транспортных перевозок.

https://habr.com/ru/articles/1013720/

Алгоритмы и Структуры данных

Книга: «Основы GraphRAG. Улучшенный RAG на базе графов знаний»

Привет, Хабожители! Система генерации ответа, дополненная результатами поиска (Retrieval Augmented Generation, RAG), автоматически выбирает и предоставляет контекст, характерный для конкретной предметной области, что значительно улучшает способность LLM генерировать точные ответы без искажений. Подход GraphRAG основывается на использовании графа знаний для структурирования входных данных и существующих в них связей, чтобы получить содержательные и релевантные промпты. Создайте и разверните систему GraphRAG производственного уровня. Научитесь извлекать структурированные знания из текста и комбинировать методы векторного поиска с поиском по графам. Книга богата практическими примерами: от создания инструмента поиска по векторному сходству и приложения Agentic RAG до оценки эффективности и точности результатов работы такого приложения.

https://habr.com/ru/companies/piter/articles/1013810/

Алгоритмы и Структуры данных

Не бойтесь динамического программирования

В этой статье разберем три задачи по динамическому программированию с LeetCode и попробуем каждый раз прийти к изящной формуле интуитивно. Также обсудим, по каким признакам можно понять, что задача — на динамическое программирование.

https://habr.com/ru/articles/1017372/

Алгоритмы и Структуры данных

Осталось 24 часа, чтобы забрать 👇🏼

- доступ к бесплатному интенсиву "Первые деньги на вайбкодинге" (старт уже завтра 7.04 в 19.00)

- уроки по программированию с нейронками

- 50 бесплатных нейросетей, чтобы кодить без остановки

- «Библиотека промптов для заработка на вайбкодинге», которые помогут упаковать портфолио и общаться с клиентами так, чтобы покупали

Все бонусы уже ждут тебя в закрытом канале по вайбкодингу👇

Вступить в закрытый канал
Вступить в закрытый канал
Вступить в закрытый канал

Как я случайно написал самый быстрый CSV-парсер на C#

На рождественских каникулах я ехал на автобусах из одного штата в другой, и мне нужно было как-то убить 24 часа. Я читал об UTF-8 и узнал об этой кодировке нечто интересное: все традиционные символы ASCII сохранены в ней в их исходном однобайтовом представлении, поэтому их можно сканировать крайне быстро. Я решил поэкспериментировать с кодом, максимально быстро подсчитывающим такие символы, в результате получив готовый парсер CSV, который вполне сравним с предыдущими парсерами, а то и быстрее них.

В статье я расскажу о своём процессе работы, экспериментах и оптимизациях, которые привели меня к этому итогу.

https://habr.com/ru/articles/1016970/

Алгоритмы и Структуры данных

Галлюцинации LLM — это артефакты сжатия. И это объясняет вообще всё

Представьте, что вам дают 10 терабайт текста и говорят запихнуть это в файл на 70 гигабайт. Да так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко, и не побайтово, но чтобы по смыслу билось.

Вы бы сказали: «так это же lossy-компрессия, часть данных неизбежно потеряется».

И были бы правы, потому что именно это делает LLM.

https://habr.com/ru/articles/1017612/

Алгоритмы и Структуры данных

No-code в крупных компаниях: Свобода или новая ИТ-ловушка?

Помните этот торжественный момент на старте многих ИТ-проектов? Компания покупает новую платформу, кто-нибудь из топ-менеджмента объявляет о победе над «ИТ-бюрократией» и с горящими глазами выдает аналитикам лицензии:

https://habr.com/ru/companies/directum/articles/1017966/

Алгоритмы и Структуры данных

Как выбирают свой путь призраки в Pac-Man

Pac-Man — полностью детерминированная игра. Как я объяснял в своём видео об этой игре, все движения призраков зависят от того, где на текущий момент находится Pac-Man. Следовательно, обладая этими знаниями, можно точно спрогнозировать, куда будут двигаться призраки в любой момент времени. Но так ли это? Когда Pac-Man съедает большой шарик («энерджайзер»), призраки пугаются и начинают двигаться по паттерну, который кажется случайным и непредсказуемым. Это единственный момент, когда в игре используется генератор случайных чисел (RNG): для определения того, в каком направлении повернёт испуганный призрак на перекрёстке лабиринта. Хоть это решение тоже детерминировано, это единственный непредсказуемый элемент Pac-Man.

В этой статье мы проведём глубокий анализ функции RNG игры и разберёмся, как призраки склонны действовать в этой ситуации. В конечном итоге мы выясним, что напуганных призраков обычно притягивает одна из областей лабиринта.

https://habr.com/ru/companies/ruvds/articles/1017080/

Алгоритмы и Структуры данных

Вся музыка, все фотографии и весь Wi-Fi работают на одном трюке. Ему 200 лет

Эта песня попала в ваши наушники благодаря одной идее. Той самой, за которую француза в 1807 году высмеяли на заседании Парижской академии наук. Лаплас был «за», но Лагранж встал и сказал: «Это невозможно.»

Француза звали Жан-Батист Жозеф Фурье. Его идея была настолько простой, что учёные отказались ей поверить.

Сейчас она обрабатывает каждую фотографию на вашем телефоне. Каждый пакет Wi-Fi. Каждый звонок. Каждый JPEG. Каждый MP3. Каждое MRI-сканирование. Каждую команду Siri. Каждый кадр на стриминговых платформах.

https://habr.com/ru/articles/1018172/

Алгоритмы и Структуры данных

Один хеш, вместо миллиона проверок: пишем Merkle Tree на Go с нуля

Представьте: у вас есть база из миллиона транзакций. Клиент спрашивает: «Моя транзакция точно в блоке?» Вы можете отдать ему все миллион записей для проверки. Или отдать 20 хешей по 32 байта - и он сам математически докажет, что его транзакция на месте. Без доверия. Без скачивания всего блока. За O(log N)

Merkle tree - структура данных на которая являеться Bitcoin, Git, IPFS и Certificate Transparency. Посмотим как она работает и напием свою реализацию на Golang c ДЖЕНЕРИКАМИ йоу

https://habr.com/ru/articles/1018186/

Алгоритмы и Структуры данных

Один хеш, вместо миллиона проверок: пишем Merkle Tree на Go с нуля

Представьте: у вас есть база из миллиона транзакций. Клиент спрашивает: «Моя транзакция точно в блоке?» Вы можете отдать ему все миллион записей для проверки. Или отдать 20 хешей по 32 байта - и он сам математически докажет, что его транзакция на месте. Без доверия. Без скачивания всего блока. За O(log N)

Merkle tree - структура данных на которая являеться Bitcoin, Git, IPFS и Certificate Transparency. Посмотим как она работает и напием свою реализацию на Golang c ДЖЕНЕРИКАМИ йоу

https://habr.com/ru/articles/1018186/

Алгоритмы и Структуры данных

SIMD-парсер CSV

Год назад я написал парсер CSV, способный обрабатывать 64 символа за раз. Он создан исключительно в исследовательских целях и в нём не учтены важнейшие этапы продакшен-парсера наподобие валидации. Сегодня я расскажу о базовом алгоритме, использующем SIMD и побитовые операции для групповой фильтрации структурных символов.

Если вы новичок в SIMD, то рекомендую сначала прочитать введение в SIMD McYoung. Вкратце же SIMD можно описать так:

https://habr.com/ru/articles/1018544/

Алгоритмы и Структуры данных