Шахматные программы I. Вступление

Наверное многие из вас помнят шахматные состязания людей против компьютеров, которые проводились еще относительно недавно. Обычная картина для того времени - на сцене, за шахматным столом, под светом софитов и вспышками фотокамер в своих креслах расположились два человека. Один из них - шахматный гроссмейстер, сосредоточенно смотрит на доску. Второй же - оператор, часто поглядывает на экран монитора, который установлен рядом. Многочисленные зрители затаив дыхание наблюдают за этим действом со стороны.

https://habr.com/ru/articles/1031836/

Алгоритмы и Структуры данных

Шахматные программы II. Отсечения

Самой важной частью шахматной программы, которая вносит основной вклад в силу игры, является направленный перебор. А самой главной частью направленного перебора являются отсечения и сокращения наиболее неперспективных ходов. Отбрасывая наименее важные ветви, программа вкладывает ресурсы машины в наиболее перспективные варианты. Чем больше отсекает программа, тем дальше она углубляется по дереву вариантов. И чем глубже она считает, тем сильнее играет.

https://habr.com/ru/articles/1033414/

Алгоритмы и Структуры данных

Квантизация больших языковых моделей: FP32, BF16, INT8, NF4 и QLoRA

Большие языковые модели требуют огромных объёмов памяти. Например, модель с 8 миллиардами параметров в формате FP16 занимает 24–27 ГБ памяти только для инференса (веса, кэш ключей-значений, буферы). Для полного обучения той же модели нужно уже 84–128 ГБ памяти. Даже с такими методами, как checkpointing активаций или offloading на CPU, требования остаются высокими, особенно для моделей с 70 миллиардами параметров.

Квантизация помогает снизить требования к памяти, уменьшая точность представления весов модели без значительной потери качества. В этой статье разберём основные форматы числовой точности, используемые в квантизации LLM, их особенности и ограничения. Также рассмотрим NF4 — ключевую инновацию из статьи про QLoRA, и разберём, зачем нужны такие методы, как блочная квантизация, двойная квантизация и квантизация по квантилям.

https://habr.com/ru/articles/1035626/

Алгоритмы и Структуры данных

Освойте нейросети для контента за 3 дня

ИИ это не про замену людей — это про усиление ваших умений и делегирование рутины. 80% контента уже делается с помощью ИИ и базовые навыки необходимы всем, кто работает с созданием контента.

Регистрируйтесь на бесплатный мини-курс, где вы получите готовое портфолио и научитесь:
— Писать продающие посты без «ИИ‑шаблонов»;
— Делать стильные визуалы для брендов и соцсетей;
— Проводить нейрофотосессии с реальными или вымышленными моделями;
— Готовить презентации, креативные арты и постеры.

Переходите по ссылке, чтобы получить доступ и бонусные материалы.

Реклама. Информация о рекламодателе по ссылкам в посте.

Отечественный суперкартридж для старушки Mega Drive и его киллер-фичи

На создание очередной статьи раз в восемь лет меня сподвигла данная публикация, где автор о сложном и хайповом рассказал настолько доступно и информативно, что я подумал, почему бы и нет, я тоже хочу написать о чем-то интересном!
Ко мне в руки попал профессиональный флеш-картридж InviteDRIVE v6 MAX с поддержкой игр Sega Genesis / Mega Drive / Sega CD / Master System / 32x, разработанный широко известным в узких кругах ретрогеймеров Масяней из Новосибирска. Главной, но не уникальной особенностью картриджа является возможность играть во всю библиотеку Sega CD игр различных регионов на оригинальной 16-ти битной консоли фирмы Сега не имея самого дорогостоящего и капризного CD аддона.

https://habr.com/ru/articles/1035910/

Алгоритмы и Структуры данных

Как управлять эволюционным поиском? На примере конечных автоматов

Есть задачи, в которых мы понимаем, чего нужно добиться, но не можем описать путь к цели. И когда способ достижения цели либо слишком сложен, либо совсем неизвестен, решение находится в процессе проб и улучшений. Так работает эволюция. У нее нет конкретного плана по дизайну организма, но есть цель: существо должно быть достаточно приспособленным к среде, чтобы выжить. 
А люди для решения такого рода задач придумали эволюционные алгоритмы. С помощью них можно генерировать разные варианты, тестировать их в одинаковых условиях и оставлять те, что становятся лучше по выбранным критериям.

https://habr.com/ru/articles/1035788/

Алгоритмы и Структуры данных

«Продай мне этот космолёт» или история любви к симуляторам. От космосима X-Tension до ActorModel/DoD/ECS архитектуры. Ч2

Прежде чем начать эту часть, хочется извиниться перед теми, кто пробирался через первую. Зоопарк аббревиатур (S&OP, IBP, DDAE, MRP, DDMRP, MES, WMS, TMS и далее по списку) местами утомлял меня самого, не говоря уже о читателе. Во второй части зоопарка меньше, но появляются новые странные звери: ECS, DoD, Actor Model, barrier sync, archetype-based. Зато тут больше истории, чем теории.

Структура примерно такая: сначала кратко напомню, что было в первой части и какие мысли я беру из нее. Потом как из работы с чужим кастомным симулятором у меня выросла идея «хочу тоже что-нибудь собрать». Дальше история про акторную модель (actor model): почему она показалась подходящей, и на чём я споткнулся. Потом про ECS как часть DoD, с признанием, что подсказку нашел при помощи ИИ. И в конце три варианта архитектуры, которые из этого получились и почему гибридная кажется наиболее интересной.

Финальная третья часть истории будет про прикладные кейсы и пересечения с играми. Но обо всем по порядку.

https://habr.com/ru/articles/1035768/

Алгоритмы и Структуры данных

GLM-5.1 придумал для меня новый алгоритм

Друзья, знаю, что интернет переполнен воспеванием AI, что вызывает у многих людей (особенно специалистов) фрустрацию, особенно когда речь заходит о написании кода на C/C++. Я не AI-проповедник – просто активный и ответственный программист, который пользуется AI-инструментами. Недавно я предложил AI (если быть точнее, opencode + GLM-5.1) придумать алгоритм для одной из задач, над которой я работаю, и он справился очень хорошо. Это не прорывной алгоритм, на котором я разбогатею, но он интересный: составленный из известных компонентов, но всё же новый. В статье расскажу:

https://habr.com/ru/articles/1036118/

Алгоритмы и Структуры данных

Насколько многомерным может быть многомерный точный индекс?

Вот, например, Milvius(DiskANN) рассчитан на вектора размерности до 32 768, но это приближенный поиск. Но как насчёт поиска точного?
В данной статье рассматривается работоспособность 1024 мерного индекса, хранилищем которого служит обычное B‑дерево (насколько вообще может быть обычным такое дерево). Используемый диск — вполне себе «железный» старый добрый WD Purple, оперативная память сознательно ограничена 8 Гб. Можно ли что‑то из этого выжать на рядовом десктопе за приемлемое время?

https://habr.com/ru/articles/1036056/

Алгоритмы и Структуры данных

Математическое моделирование непосредственно в 1С

Все началось с того, что мне довелось поучаствовать в увлекательном проекте. В рамках тендера необходимо было разработать прототип системы производственного планирования для парфюмерно-косметического предприятия. Прототип необходимо было реализовать в виде модуля для 1С:ERP.

Технического задания не было. Вводные данные поступали малыми порциями по мере раскуривания ментатами. Задача из обыденного “давайте тут красиво отобразим доступные остатки” стремительно трансформировалась в “отрисуй-ка мне здесь детальное расписание загрузки оборудования с учетом этого, этого и, возможно, еще вот этого, но это не точно…”.

https://habr.com/ru/articles/1023490/

Алгоритмы и Структуры данных

Шахматные программы III. Дерево перебора

В третьей части мы взглянем на дерево перебора в общем контексте поиска. Увидим, каким образом методы отсечений из предыдущей части влияют на дерево в целом или на значительные его части, а также для полноты картины оценим влияние этих методов в историческом контексте. Эту и следующую части можно пропустить, если общего описания основных методов ограничения перебора ранее кажется достаточным.

https://habr.com/ru/articles/1036214/

Алгоритмы и Структуры данных

Черную дыру фотографировали восемь телескопов. Фото собрал алгоритм

10 апреля 2019 года человечеству показали оранжевый бублик. Журналисты назвали его «первой фотографией черной дыры». Через час картинка была у всех — мемы про глаз Саурона, шутки про пончик, антропоморфизация, заголовки «ученые сфотографировали невидимое».

Проблема в том, что это не совсем фотография.Точнее сказать, это очень странная фотография: если бы вы использовали телескоп горизонта событий (англ. EHT — далее по тексту) «как камеру» и нажали кнопку, вы бы получили черный квадрат и никакого бублика. Потому что он делает измерения, из которых алгоритм уже собирает изображение… которого нет.

Вот про этот алгоритм и про то, как 3,5 петабайта данных летели в Бостон самолетом, и пойдет речь.

https://habr.com/ru/companies/selectel/articles/1033186/

Алгоритмы и Структуры данных

Гири, штрихкоды, роботы и AI: проверьте свои знания эволюции ретейла

Когда-то ретейл держался на продавцах, а вершиной технологий в магазине был кассовый аппарат. Сегодня всё изменилось: покупатели сами берут товар с полок, умные системы на весах распознают покупки. А если посмотреть на происходящее с точки зрения сети магазинов, то там давно уже технологии будущего: системы прогноза спроса, подбора цены и составление портрета покупателя по содержимому корзины.

В этом тесте вы прикоснётесь к разным эпохам ретейла. Вас ждут и торговые изобретения прошлого — от необычных до ставших привычными, и современные технологии Lenta Tech. Готовы проверить свою интуицию и пройти путь от сегодняшнего техстека торговой сети до первых касс? Тогда заглянем под капот магазина.

https://habr.com/ru/specials/1034800/

Алгоритмы и Структуры данных

Тестирование случайности самодельного ГПСЧ и сравнение с эталонами

Самодельный генератор псевдослучайных чисел (ГПСЧ) стал побочным продуктом работы над любительским шифром, а шифры для меня всего лишь хобби и поле для творчества и экспериментов. Поскольку в своём шифре я делал упор на заранее непредсказуемые динамические связи, которые зависят от промежуточных состояний шифра, сама собой напросилась идея о применении этой непредсказуемости для генерации псевдослучайных чисел. Нужно было лишь оценить степень случайности полученного генератора. Как выполнялась оценка, что показали тесты NIST и сравнение с известными «эталонами» — далее в статье.

https://habr.com/ru/articles/1036522/

Алгоритмы и Структуры данных

Когда метрики сходят с ума: автоматическая детекция аномалий во временных рядах в Yandex Monium

В инфраструктуре Яндекса работают тысячи микросервисов, которые каждую секунду генерируют миллионы временных рядов — метрик. Это могут быть количества запросов, принятых микросервисом, текущая загрузка процессора на сервере и так далее. Все эти метрики хранятся и обрабатываются в общеяндексовой системе Monium. Эта система предназначена для хранения и обработки метрик и логов.

Для контроля за метриками в системе Monium существует механизм алертов — небольших микропрограмм, которые анализируют временные ряды и, если значения ряда выходят за разрешённые пороги, отправляют дежурным сообщения об инциденте. Проблема в том, что для многих рядов сложно заранее определить разрешённые пороги. А для некоторых рядов сделать это попросту невозможно, потому что нормальное поведение ряда сильно зависит от дня недели, времени суток, сезона и ещё десятка факторов, которые сложно учесть. В результате контролировать такие временные ряды было довольно нетривиальной задачей.

https://habr.com/ru/companies/yandex/articles/1035520/

Алгоритмы и Структуры данных

Мой универсальный код

Зачем на число 1 я в типах u8, u16, u32 и так далее переплачиваю 7, 15 и 31 бит? Это же бред.
Однозначность декодирования? Быстрая адресация? Сейчас распишу до чего я допёр.
Проблема
Если биты лежат в потоке, то не совсем понятно что они значат без предварительной договорённости. Например:

https://habr.com/ru/articles/1036946/

Алгоритмы и Структуры данных

Мой bloom фильтр побил оригинальный в 200 раз

Не люблю я хэш-таблицы. Какой бы областью я не занимался — они везде просто “достаточно хорошее” решение. Где нужны объёмы — масштабируется линейно. Где нужна точность — даёт вероятность (высокую, но вероятность всё-таки).
Задача
Есть класс задач, где удобно заранее узнать включение паттерна в потоке. Например, AB есть в DDDABEEE. И узнавать надо часто. Наивный подход — линейный скан на каждый запрос. Медленно.

https://habr.com/ru/articles/1037072/

Алгоритмы и Структуры данных

ИИ против консервации музыкальных вкусов: обновление рекомендаций Яндекс Музыки

Компания «Яндекс» обновила в Яндекс Музыке главное преимущество сервиса — рекомендательный алгоритм «Моя волна» (Vibe для пользователей англоязычного интерфейса) на основе нового поколения ИИ-рекомендаций — генеративной модели ARGUS (Yandex presents a method for training large transformer recommenders with up to 1B parameters). И в 2026 году переработала дизайн интерфейса приложения с фокусом на ставший ещё мощнее рекомендательный потенциал. Генеративная модель ARGUS анализирует более длинную историю действий пользователя, находит неочевидные связи между действиями и учитывает внешние факторы, создавая то, что в «Яндексе» назвали «гиперконтекст». Теперь Моя волна рекомендуют не только треки, но и музыкальные сессии под момент. Вместо прежних настроек «Моей волны» — карусель цветных «волн» (предполагаемых алгоритмами подходящих пользователю контекстов), а также кнопка их перезагрузки. Ручные настройки «Моей волны» переехали в эту же карусель.

https://habr.com/ru/articles/1036220/

Алгоритмы и Структуры данных