Helena.4.0 – новый алгоритм для подбора гиперпараметров

С целью автоматизации процесса подбора гиперпараметров автором данной статьи разработан алгоритм Helena.4.0. Конечной целью является создание автоматической системы построения моделей (auto-ML), которая бы подбирала гиперпараметры за минимальное время.

С помощью алгоритма Helena.4.0 можно подбирать гиперпараметры для моделей градиентного бустинга, нейросетей, и более того – для генетических алгоритмов. Автор считает, что алгоритмы Helena могут заменить в генетических алгоритмах генеративную часть – т.е. уйти от биологических аналогий, заменив псевдобиологическую генерацию признаков путем процедур «скрещивания» и «мутаций» на генерацию с помощью указанных алгоритмов.

https://habr.com/ru/companies/rosbank/articles/763026/

Алгоритмы и Структуры данных | ChatGPT

Разработка рекомендательных систем: три открытых библиотеки от Сбера

Делимся своими открытыми библиотеками для разработки рекомендательных систем. Что? Да! Рассказываем подробнее. Всем известно, что Сбер это уже не просто банк, а огромная технологическая компания, которая включает в себя и сервисы компаний-партнёров: электронную коммерцию, индустрию развлечений и даже медицину. Количество пользователей достигло 108 млн, и для каждого из них мы создаём персональные рекомендации, которые помогают не потеряться в разнообразии предложений и выбрать лучшее.

https://habr.com/ru/companies/sberbank/articles/771760/

Алгоритмы и Структуры данных | ChatGPT

SEO продвижение сайта: Инструкция

SEO продвижение сайта — ключ к быстрой и уверенной позиции в поисковых системах. Это не загадочная магия, а смесь технологий и тактик, которые увеличивают видимость и привлекают аудиторию.

В статье мы раскроем, как SEO помогает продвинуть ваш сайт на верхние строчки, и поделимся практическими шагами, важными аспектами и частыми ошибками, которые стоит избегать.

https://habr.com/ru/articles/840724/

Алгоритмы и Структуры данных | ChatGPT

Ещё раз про алгоритм сжатия Хаффмана

К написанию этой заметки меня сподвигло почти полное отсутствие информации на русском языке относительно эффективной реализации алгоритма оптимального префиксного кодирования алфавита с минимальной избыточностью, известного по имени своего создателя как алгоритм Хаффмана. Этот алгоритм в том или ином виде используется во многих стандартах и программах сжатия разнообразных данных.

https://habr.com/ru/companies/samsung/articles/771572/

Алгоритмы и Структуры данных | ChatGPT

Использование многоуровневых зависимых списков в MS Excel для маппинга организационных структур

Полно́ статей о настройке зависимых списков в MS Excel, и невозможно придумать что-то совершенно новое на эту тему, однако организационным структурам требуется определенный тип зависимых списков по следующим причинам:

Может быть много уровней в иерархии отделов
Структура может часто изменяться
Названия отделов могут содержать любые символы

В этой статье мы продемонстрируем наш практический опыт маппинга позиций со структурой отделов при помощи инструмента «Проверка вводимых значений» MS Excel.

https://habr.com/ru/articles/771214/

Алгоритмы и Структуры данных | ChatGPT

Игрострой. Программирование. Оптимизация как камень преткновения

Я хоть и программирую на Pascal/Assembler, но думаю что для людей, использующих другие ЯП, данная информация может быть полезна. Полностью рассмотреть вопросы оптимизации программ/игр практически не возможно, думаю для этого надо написать достаточно не малую книгу и всё равно что-нибудь да будет упущено.
Помните, оптимизация - это достаточно не простая задача. Код, который хотят оптимизировать, могут перебирать десятки раз и практически не получить результата. А иногда малейшие изменения в коде, могут дать хороший результат. Потому, желательно знать и понимать как можно оптимизировать код и стоит ли заниматься этим в данный момент.

https://habr.com/ru/articles/840968/

Алгоритмы и Структуры данных | ChatGPT

Задача коммивояжёра в общем виде. Наибыстрейшее точное решение

Тут мы не будем рассматривать алгоритмы, которые не гарантируют именно точное решение. Хотя многие подходы, основанные на приближённых эвристиках, дают замечательные быстрые результаты, но нет гарантии, что мы получили именно минимальный результат. Так же мы не будем считать расстояние между точками как евклидово пространство. Для евклидова пространства есть алгоритмы, значительно сокращающие область решений. Вдобавок предлагаю считать задачу ассиметричной, даже если это не так. То есть, мы вообще не имеем представления о входной матрице ничего, кроме того, что граф ею образованный не содержит петель, но и это обстоятельство можно игнорировать. Только полный хардкор!

https://habr.com/ru/articles/839804/

Алгоритмы и Структуры данных | ChatGPT

Поделить нельзя — умножить или алгоритм быстрого деления по методу Ньютона-Рафсона

Все мы в школе проходили деление «столбиком» — простой алгоритм, который несложно реализовать, вот только не очень быстрый. В прошлый раз мы рассматривали, как компилятор оптимизирует деление в случаях, когда делитель известен во время компиляции, но применение его напрямую, чтоб оптимизировать деление для делителей, определямых в run-time, невозможно: вычисление констант сдвига и умножения само по себе требует деления.

В этот раз хочется поговорить о другом методе, сводящем деление к умножениям и битовым сдвигам, основанном на методе поиска корней функции.

https://habr.com/ru/companies/ruvds/articles/836054/

Алгоритмы и Структуры данных | ChatGPT

Фильтрация изображений методом свертки

Вероятно, большинство хабросообщества не понаслышке знает о фильтрах обработки изображений, таких как размытие, повышение резкости, нахождение краев, тиснение и прочие. Некоторые работали с ними более тесно, некоторые использовали их как данность. Однако все ли знают, как именно происходит фильтрация изображения, и что общего между перечисленными фильтрами? В данном топике я постараюсь в общем виде описать алгоритм, по которому это все выполняется, а так же приведу его реализацию.

https://habr.com/ru/articles/62738/

Алгоритмы и Структуры данных | ChatGPT

Путеводитель для диффузионок. Как заставить нейросети качественно редактировать изображения

Совсем недавно мы выложили препринт статьи, которую мы представим на ECCV этой осенью. Там мы предложили метод редактирования реальных изображений с помощью диффузионных моделей, который достигает лучшего среди всех методов компромисса между качеством редактирования и сохранением структуры исходного изображения, а также эффективен с вычислительной точки зрения. В данной статье я хотел бы рассказать о том, почему приходится делать такой выбор, и как мы эту проблему обошли. Приятного чтения!

https://habr.com/ru/companies/airi/articles/837268/

Алгоритмы и Структуры данных | ChatGPT

Поможем Ходору найти новых друзей с помощью графов

В интернете постоянно что‑то рекомендуют: посмотреть новое видео, добавить друга или купить товар. Как работают эти алгоритмы, расскажу в посте ниже и реализую рекомендательную систему с помощью графов.

https://habr.com/ru/articles/770914/

Алгоритмы и Структуры данных | ChatGPT

Удивительная история развития сортировки в JDK

Как вы считаете, если выполнить java.util.Arrays.sort(), то какая сортировка будет вызвана? Quicksort? Timsort? И та, и другая, потому что для объектов вызывается Timsort, а для примитивов (чисел int, long, float и так далее) — Dual-Pivot Quicksort. В JDK 6 для объектов использовался стандартный Merge sort, а для чисел классическая реализация Quicksort с одним опорным элементом, предложенная Джоном Бентли и Дугласом МакИлрой. В JDK 7 оба алгоритма поменялись: теперь объекты сортируются с помощью Timsort, автор Тим Петерс, а для простых типов данных используется Dual-Pivot Quicksort, предложенный мною вместе с Джоном Бентли и Джошем Блоком в 2009 году. Эта сортировка используется более 15 лет не только в JDK, но и в Android (хотя и немного устаревшая версия).

А зачем нам вообще второй алгоритм сортировки, если есть Timsort? Почему не использовать один и для объектов, и для примитивов? Сегодня я, как автор, расскажу историю Dual-Pivot Quicksort: как он начинался, как развивался и как продолжает развиваться сейчас.

https://habr.com/ru/companies/sberbank/articles/841342/

Алгоритмы и Структуры данных | ChatGPT

Алгоритм управления доставкой по расписанию и динамичесий прайсинг. Как мы сделали это в Купере

Сегодня предлагаю вместе разобраться, что такое плановая доставка и как устроен алгоритм управления слотами в нашем сервисе. Обсудим, как проходило тестирование и масштабирование от одного магазина до всех гипермаркетов, на какие грабли мы наступили и как реализовали динамическое ценообразование на этой базе.

https://habr.com/ru/companies/kuper/articles/841034/

Алгоритмы и Структуры данных | ChatGPT

Вложенные тексты как возможность для композиции (разделения на части) в длинных текстах (so10; sapscript text)

В SAP NetWeaver есть функционал для использования длинных текстов (более 100 символов и даже более 1000 😊). более технически корректное название sapscript text или, иногда, стандартные тексты.

Длинный текст может использоваться в качестве шаблонов в письмах, печатных формах, формировании договоров и любых других сущностей, где может быть «многабукав».

В одной из следующих статей мы детально разберем, как можно использовать шаблонизацию (это было пожелание одного из слушателей ABAP FIleOS) для писем на основе длинных текстов, а в этой статей покажем, как можно создать длинный текст с вложенными частями и как их прочитать в ABAP (по сути, базовые операции с сапскрипт).

https://habr.com/ru/articles/841422/

Алгоритмы и Структуры данных | ChatGPT

Булевы операции двумерных тел

В детстве меня всегда завараживали игры с динамическим ландшафтом: The Castle и Worms Armageddon. В то время я не понимал, как реализована эта удивительная механика разрушения и изменения мира. Позже я узнал, что секрет заключался в использовании растровой графики, но мне было интересно как реализовать тоже самое не прибегая к растру. В этой статье я хочу рассказать об одном из таких векторных решений.

https://habr.com/ru/articles/841572/

Алгоритмы и Структуры данных | ChatGPT

Считаем медиану быстрее numpy

Уважаемые коллеги! Вашему вниманию предлагается небольшой "этюд выходного дня", посвящённый несколько, скажем так, нетрадиционному способу вычисления медианы массива значений с плавающей точкой. Вкратце — мы сделаем это в несколько проходов по исходному массиву (два для одинарной точности или четыре для двойной), вычисляя медианы по словам, начиная с более значащих, пользуясь при этом только целочисленной арифметикой, что даст возможность в некоторых случаях несколько обогнать по скорости "традиционные" классические алгоритмы. Возможно данная "зарисовка" как идея окажется кому-нибудь полезна.

https://habr.com/ru/articles/771010/

Алгоритмы и Структуры данных | ChatGPT

Кратчайший путь с одним источником во взвешенных графах, Алгоритм Дейкстры и Python

В данной статье мы погрузимся в мир алгоритмов, предназначенных для нахождения кратчайшего пути в графах, в которых каждое ребро имеет свой вес. Независимо от того, является ли целью нахождение кратчайшего пути в дорожной сети, оптимизация маршрутов в логистике или даже поиск кратчайшего пути в социальных сетях, алгоритмы нахождения кратчайшего пути предоставляют мощные инструменты для решения таких задач.

https://habr.com/ru/companies/otus/articles/771016/

Алгоритмы и Структуры данных | ChatGPT

Как мы французскому ПО ценности добавляли, но нас не оценили

Судя по откликам, рассказы как я не стал миллионером или как мне не удалось спасить американскую АЭС, пользуются большим спросом на хабре. Поэтому продолжу публикацию кейсов из жизни быдлокодера и дам несколько бизнес-советов тем, кто собирается заработать миллионы продавая софт. Требую лайков, подписки и донатов, как настоящий инфоцыган.

https://habr.com/ru/articles/841764/

Алгоритмы и Структуры данных | ChatGPT

Нейронные оптимизаторы запросов в реляционных БД (Часть 1)

В 1970-х годах известный программист Эдгар Кодд разработал математически выверенную теорию организации данных в виде таблиц (реляций). С тех пор утекло немало воды — появилось большое количество различных коммерческих и open-source реляционных систем управления базами данных (РСУБД). Скоро стало понятно, что эффективное получение данных из базы — задача далеко не тривиальная. Если говорить прямо, она нелинейная и в общем случае NP-сложная.

https://habr.com/ru/companies/postgrespro/articles/841918/

Алгоритмы и Структуры данных | ChatGPT

Поиск пересечений между отрезком и прямой или прямой и прямой в трехмерном пространстве

Здравствуйте, дорогие хабровчане, недавно столкнулся с проблемой, связанной с написанием алгоритма из названия в turboprolog2.0, более того я не нашел нигде готовой реализации в трехмерном пространстве на нормальных языках программирования.

Имеется решение только для двухмерного пространства. В связи с чем пришлось придумывать его самому.

https://habr.com/ru/articles/770610/

Алгоритмы и Структуры данных | ChatGPT

Компиляция математического выражение из строки динамически во время выполнения в C# (.NET)

В этой статье я продемонстрирую, как динамически компилировать математические выражения из строк в runtime в C#, исключительно просто и быстро. Это решение поддерживает различные математические контексты, включая логические выражения, научные вычисления и C#, а также позволяет расширять эти контексты пользовательскими переменными, операторами и функциями.

https://habr.com/ru/articles/842046/

Алгоритмы и Структуры данных | ChatGPT