Встречаем Meteum 2.0 — первую технологию метеопрогноза, алгоритмы которой обучаются на сообщениях пользователей

Предсказывать погоду — дело неблагодарное. Рано или поздно каждый из нас сталкивается с ошибками в прогнозе, избежать которых трудно из-за постоянного недостатка информации и ограничений метеорологического оборудования. Но там, где не справляется техника, способен помочь человек.

Сегодня мы начинаем раскатывать новую версию прогнозирования осадков в Яндекс.Погоде. Ключевое изменение — внедрение технологии Meteum 2.0, которая впервые в истории метеопрогноза полагается не только на данные технических средств, но и на сообщения пользователей. В это сложно поверить, но сигналы пользователей оказались не менее полезны для качества прогнозов, чем данные радаров и спутников. Благодаря этому краткосрочный прогноз осадков стал точнее на 20%, а значит, люди будут реже попадать под дождь.

https://habr.com/ru/companies/yandex/articles/565238/

Алгоритмы и Структуры данных

Как ускорить бинарный поиск

Я решил рассказать о том, как ускорить обычный бинаный поиск в сотни раз и искать данные в обычном текстовом файле БЫСТРЕЕ, чем при использовании класических баз данных. Сейчас я попробую решить задачу бинарного поиска без них, расскажу об основных способах оптимизации, а в конце проведу сравнение. Это вполне реальная задача, с которой я столкнутся при разработке собственного проекта, а поэтому мне есть что вам рассказать.

https://habr.com/ru/articles/732970/

Алгоритмы и Структуры данных

Ускоряем приложение: никаких фреймворков — только математика

Представьте, что вам нужно ускорить работу огромной легаси-системы с 50 микросервисами, нагрузка на которую выросла в 2000 раз. При этом она обрабатывает затратные по времени операции, которые зависят друг от друга в плане данных.

Первыми на ум приходят стандартные подходы к оптимизации, например внедрить кэширование или улучшить работу с базой. Но я расскажу вам про более необычный, математический способ — алгоритм сетевого планирования. Он помогает составлять технологические карты и находить узкие места в процессах с высокой степенью параллелизма.

https://habr.com/ru/companies/oleg-bunin/articles/732712/

Алгоритмы и Структуры данных

Поймай меня, если сможешь: как найти хакера в инфраструктуре с помощью ML

По результатам пентестов, проведенных нашими специалистами в 2021–2022 годах, 96% компаний оказались не защищены от проникновения в локальную сеть, причем в 8 из 10 организаций мог бы проникнуть даже низкоквалифицированный злоумышленник. Среди протестированных предприятий каждое пятое — из отрасли промышленности, и инциденты на них гораздо серьезнее и страшнее, чем взлом кассового аппарата продуктового магазина. Остановка турбины АЭС грозит экологической катастрофой, авария на металлургическом заводе практически всегда приводит к человеческим жертвам. А что будет, если хакеры атакуют аэропорт?

Мы проверили и узнали — ничего хорошего. На кибербитве Standoff команда красных взломала SCADA-систему аэропорта виртуального Государства F. Более того, им удалось получить контроль над телетрапом. Мы подробно рассказывали об этой истории в нашем блоге.

Сегодня мы пошагово разберем действия red team, расскажем, как модели машинного обучения могли бы помочь их поймать, и покажем, какими методами можно обнаружить атаку и выявить ее источник.

https://habr.com/ru/companies/pt/articles/768272/

Алгоритмы и Структуры данных

Я никогда не понимала, почему 90% москвичей не знают куда сходить, кроме ВДНХ и Красной площади

…гуляют в одних и тех же парках, ходят в одни и те же кафе, рестораны и кино.

Чтобы разбудить в себе внутреннего ребенка и почувствовать себя по-настоящему счастливыми, достаточно посетить пару современных локаций в Москве.

Развлечения от которых будет в восторге каждый, публикуют на канале: Московская Хроника

Канал открыт, подписывайтесь: https://t.me/+tOs1-x_WGDNhMTli

Идеально ли текстовые эмбеддинги кодируют текст?

В последние годы наблюдается стремительное развитие генеративного искусственного интеллекта. Это привело к тому, что многие компании спешат внедрить соответствующие ИИ-инструменты в свои бизнес-процессы. Один из самых распространённых способов это сделать заключается в создании ИИ-систем, которые отвечают на вопросы, имеющие отношение к информации, которую можно найти в некоей базе данных, хранящей документы. Большинство решений этой задачи основано на подходе, называемом «генерация с дополненной выборкой» (Retrieval Augmented Generation, RAG).

https://habr.com/ru/companies/wunderfund/articles/859232/

Алгоритмы и Структуры данных

«Разрешение наносить ракетные удары вглубь России — это начало Третьей мировой» — предупреждает культовый пророческий журнал The Economist.

Эксперты давно подозревают, что за авторами стоит мировая элита — они с пугающей точностью предсказывают все эпохальные события с 1983 года. Так было с эпидемией COVID-19, СВО и конфликтом на Ближнем Востоке.

В предупреждении на декабрь-январь: что за радикальные меры примет Россия в ответ, какие страны вмешаются в конфликт и кто первым применит ядерное оружие — читайте разбор, если не боитесь узнать правду: t.me/TheEconomist/299

Вычислительная сложность некоторых игр и головоломок (часть 1)

Есть несколько причин смотреть на игры как на нечто большее, чем просто на развлечения. Как станет яснее по ходу дела, многие игры основаны на сложных вычислительных задачах, хотя зачастую и с более низким «входным барьером», поскольку они редко требуют наличия формального образования.

Многие игры и головоломки интересны своей сложностью, и для их решения требуется определённая смекалка и некоторые навыки. Почти всегда трудность решений можно показать математически в виде результатов вычислительной разрешимости. К примеру, каждая NP-полная задача в некотором смысле является головоломкой, и, наоборот, многие головоломки являются NP-полными. Игры для двух игроков часто имеют более высокую сложность, например, PSPACE. На Хабре есть достаточно подробное руководство по сложным вычислительным задачам.

https://habr.com/ru/companies/first/articles/732604/

Алгоритмы и Структуры данных