Бекэнд на fastify для няшных котят (aura8)
Мы разработали приложение, где пользователь может свайпать картинки, и с учетом лайков пользователя мы генерируем новые картинки. Ниже рассказ, с чем интересным мы столкнулись во время разработки этого приложения.
https://habr.com/ru/articles/1015634/
Алгоритмы и Структуры данных
Мы разработали приложение, где пользователь может свайпать картинки, и с учетом лайков пользователя мы генерируем новые картинки. Ниже рассказ, с чем интересным мы столкнулись во время разработки этого приложения.
https://habr.com/ru/articles/1015634/
Алгоритмы и Структуры данных
Хабр
Бекэнд на fastify для няшных котят (aura8)
Мы разработали приложение, где пользователь может свайпать картинки, и с учетом лайков пользователя мы генерируем новые картинки. Ниже рассказ, с чем интересным мы столкнулись во время разработки...
«Лёгкие маршруты» в 2ГИС: рассказываем про алгоритмы и новую систему штрафов
Навигатор при построении маршрута решает масштабную оптимизационную задачу на графах — он работает с дорогами не как с линиями на карте, а со структурой из миллионов рёбер и вершин. Учитываются ограничения движения, текущие и прогнозные скорости, качество дорог и многое другое.
Недавно в дополнение к самому быстрому и оптимальному мы добавили ещё один вид маршрута — «лёгкий маршрут», наименее стрессовый для водителя. Минимум сложных перекрёстков, поворотов налево и перестроений.
В статье рассказываем, как мы строим лёгкий маршрут и как он вписывается в текущую архитектуру маршрутизации.
https://habr.com/ru/companies/2gis/articles/1015140/
Алгоритмы и Структуры данных
Навигатор при построении маршрута решает масштабную оптимизационную задачу на графах — он работает с дорогами не как с линиями на карте, а со структурой из миллионов рёбер и вершин. Учитываются ограничения движения, текущие и прогнозные скорости, качество дорог и многое другое.
Недавно в дополнение к самому быстрому и оптимальному мы добавили ещё один вид маршрута — «лёгкий маршрут», наименее стрессовый для водителя. Минимум сложных перекрёстков, поворотов налево и перестроений.
В статье рассказываем, как мы строим лёгкий маршрут и как он вписывается в текущую архитектуру маршрутизации.
https://habr.com/ru/companies/2gis/articles/1015140/
Алгоритмы и Структуры данных
Хабр
«Лёгкие маршруты» в 2ГИС: рассказываем про алгоритмы и новую систему штрафов
Навигатор при построении маршрута решает масштабную оптимизационную задачу на графах — он работает с дорогами не как с линиями на карте, а со структурой...
Моя волна — теперь и в офлайне. Рассказываем, как уместили рекомендательную систему в сотню килобайт
Несколько лет назад мы представили Мою волну — систему персональных рекомендаций в Яндекс Музыке, которая подстраивается под предпочтения пользователей. В её основе — рекомендательные нейросети-трансформеры, размер которых может достигать сотен миллиардов параметров, и поэтому без мощных дата-центров их работа просто невозможна.
Сегодня мы впервые представляем нашу новую рекомендательную технологию TinyML, которая работает локально, на обычном смартфоне. Теперь при потере доступа в интернет Моя волна не просто бесшовно продолжит воспроизведение музыки, но и будет подстраиваться под действия пользователя и формировать рекомендации, исходя из его предпочтений в текущий момент.
Как это работает и что нам пришлось для этого создать — расскажем под катом.
https://habr.com/ru/companies/yandex/articles/1010992/
Алгоритмы и Структуры данных
Несколько лет назад мы представили Мою волну — систему персональных рекомендаций в Яндекс Музыке, которая подстраивается под предпочтения пользователей. В её основе — рекомендательные нейросети-трансформеры, размер которых может достигать сотен миллиардов параметров, и поэтому без мощных дата-центров их работа просто невозможна.
Сегодня мы впервые представляем нашу новую рекомендательную технологию TinyML, которая работает локально, на обычном смартфоне. Теперь при потере доступа в интернет Моя волна не просто бесшовно продолжит воспроизведение музыки, но и будет подстраиваться под действия пользователя и формировать рекомендации, исходя из его предпочтений в текущий момент.
Как это работает и что нам пришлось для этого создать — расскажем под катом.
https://habr.com/ru/companies/yandex/articles/1010992/
Алгоритмы и Структуры данных
Хабр
Моя волна — теперь и в офлайне. Рассказываем, как уместили рекомендательную систему в сотню килобайт
Несколько лет назад мы представили Мою волну — систему персональных рекомендаций в Яндекс Музыке, которая подстраивается под предпочтения пользователей. В её основе — рекомендательные...
Как я впервые услышал черную дыру: Python и LIGO
Когда речь заходит об обсерватории LIGO, большинство из нас вспоминает классический сценарий: где-то за миллиарды световых лет слились две черные дыры, и только спустя это время, детекторы на Земле зафиксировали гравитационный всплеск, длившийся доли секунды. В классической Общей теории относительности (ОТО) считается, что изолированная или просто поглощающая газ черная дыра гравитационно «нема». Она ничего не излучает.
Но что, если это не так? Что, если гравитационные телескопы способны «слышать» не только редкие катастрофические слияния, но и постоянный, фоновый гул от обычных черных дыр, которые прямо сейчас пожирают материю в нашей галактике? И что, если этот гул может рассказать нам о физическом размере объектов, внутри которых, как нам говорят, находится «бесконечная сингулярность»?
В этой статье я покажу, как концепция механики сплошных сред позволяет предсказать точную частоту такого резонанса. А затем мы откроем Python, подключимся к серверам GWOSC (Gravitational Wave Open Science Center), выкачаем гигабайты сырых тензорных данных LIGO и методами цифровой обработки сигналов (DSP) вытащим этот акустический след из шума.
https://habr.com/ru/articles/1016242/
Алгоритмы и Структуры данных
Когда речь заходит об обсерватории LIGO, большинство из нас вспоминает классический сценарий: где-то за миллиарды световых лет слились две черные дыры, и только спустя это время, детекторы на Земле зафиксировали гравитационный всплеск, длившийся доли секунды. В классической Общей теории относительности (ОТО) считается, что изолированная или просто поглощающая газ черная дыра гравитационно «нема». Она ничего не излучает.
Но что, если это не так? Что, если гравитационные телескопы способны «слышать» не только редкие катастрофические слияния, но и постоянный, фоновый гул от обычных черных дыр, которые прямо сейчас пожирают материю в нашей галактике? И что, если этот гул может рассказать нам о физическом размере объектов, внутри которых, как нам говорят, находится «бесконечная сингулярность»?
В этой статье я покажу, как концепция механики сплошных сред позволяет предсказать точную частоту такого резонанса. А затем мы откроем Python, подключимся к серверам GWOSC (Gravitational Wave Open Science Center), выкачаем гигабайты сырых тензорных данных LIGO и методами цифровой обработки сигналов (DSP) вытащим этот акустический след из шума.
https://habr.com/ru/articles/1016242/
Алгоритмы и Структуры данных
Хабр
Как я впервые услышал черную дыру: Python и LIGO
Привет, Хабр! Когда речь заходит об обсерватории LIGO, большинство из нас вспоминает классический сценарий: где-то за миллиарды световых лет слились две черные дыры, и только спустя это время,...
Машина Тьюринга в Minecraft
Машина Тьюринга — одно из базовых устройств в компьютерной науке. Я играю в Minecraft уже более 12 лет и имею большой опыт в реализации различных механизмов внутри игры. Спустя годы университетской учёбы и работы в индустрии пришла идея совместить хобби с фундаментальной теорией — реализовать машину Тьюринга средствами игры и поделиться результатом.
https://habr.com/ru/articles/1016582/
Алгоритмы и Структуры данных
Машина Тьюринга — одно из базовых устройств в компьютерной науке. Я играю в Minecraft уже более 12 лет и имею большой опыт в реализации различных механизмов внутри игры. Спустя годы университетской учёбы и работы в индустрии пришла идея совместить хобби с фундаментальной теорией — реализовать машину Тьюринга средствами игры и поделиться результатом.
https://habr.com/ru/articles/1016582/
Алгоритмы и Структуры данных
Хабр
Машина Тьюринга в Minecraft
Машина Тьюринга — одно из базовых устройств в компьютерной науке. Я играю в Minecraft уже более 12 лет и имею большой опыт в реализации различных механизмов внутри игры. Спустя годы университетской...
SQL квалии
Есть мнение, что принципиальной точкой в развитии ИИ станет обретение им сознания. Что такое со-знание, как оно появляется и “работает” (у Жизни, у нас, у ИИ) разговор отдельный. Но говоря о сознании нельзя пройти мимо темы т.н. “квалий”, на использовании которых в качестве своеобразной базы данных как считается сознание и основывает свою работу. Конечно же есть множество литературы на эту тему, в т.ч. и Д. Чалмерс, однако к.м.к. всё же имеет смысл схематически показать что такое квалии, как они получаются и работают на краткой, простой и понятной модели с использованием ПК и языка SQL.
https://habr.com/ru/articles/1016644/
Алгоритмы и Структуры данных
Есть мнение, что принципиальной точкой в развитии ИИ станет обретение им сознания. Что такое со-знание, как оно появляется и “работает” (у Жизни, у нас, у ИИ) разговор отдельный. Но говоря о сознании нельзя пройти мимо темы т.н. “квалий”, на использовании которых в качестве своеобразной базы данных как считается сознание и основывает свою работу. Конечно же есть множество литературы на эту тему, в т.ч. и Д. Чалмерс, однако к.м.к. всё же имеет смысл схематически показать что такое квалии, как они получаются и работают на краткой, простой и понятной модели с использованием ПК и языка SQL.
https://habr.com/ru/articles/1016644/
Алгоритмы и Структуры данных
Хабр
SQL квалии
Есть мнение, что принципиальной точкой в развитии ИИ станет обретение им сознания. Что такое со-знание, как оно появляется и “работает” (у Жизни, у нас, у ИИ) разговор отдельный . Но говоря о сознании...
Долой иерархию и роли: о том, как LLM-агенты самоорганизуются лучше, чем мы их проектируем (только на сильных моделях)
Хабр, привет! Меня зовут Вика Дочкина, я работаю в Сбере и пишу диссертацию на тему автономных AI-систем.
Роли, отделы, департаменты, иерархии, должностные инструкции, процессы — всё это придумано для людей. Для нас: с одной специализацией (реже - несколькими), 8 часами продуктивности в день, невозможностью удержать в голове контекст всей организации и месяцами на смену профессии.
У LLM-агента ни одного из этих ограничений нет. Он мгновенно меняет специализацию. Он видит полный контекст. Он не потребляет ресурсы, когда не работает. Зачем тогда переносить на него человеческую оргструктуру?
Мы 6 месяцев проверяли эту гипотезу. 25 000 задач. 8 моделей. До 256 агентов. Больше миллиарда токенов.
https://habr.com/ru/articles/1017200/
Алгоритмы и Структуры данных
Хабр, привет! Меня зовут Вика Дочкина, я работаю в Сбере и пишу диссертацию на тему автономных AI-систем.
Роли, отделы, департаменты, иерархии, должностные инструкции, процессы — всё это придумано для людей. Для нас: с одной специализацией (реже - несколькими), 8 часами продуктивности в день, невозможностью удержать в голове контекст всей организации и месяцами на смену профессии.
У LLM-агента ни одного из этих ограничений нет. Он мгновенно меняет специализацию. Он видит полный контекст. Он не потребляет ресурсы, когда не работает. Зачем тогда переносить на него человеческую оргструктуру?
Мы 6 месяцев проверяли эту гипотезу. 25 000 задач. 8 моделей. До 256 агентов. Больше миллиарда токенов.
https://habr.com/ru/articles/1017200/
Алгоритмы и Структуры данных
Хабр
Долой иерархию и роли: о том, как LLM-агенты самоорганизуются лучше, чем мы их проектируем (только на сильных моделях)
Хабр, привет! Меня зовут Вика Дочкина, я работаю в Сбере и пишу диссертацию на тему автономных AI-систем. Роли, отделы, департаменты, иерархии, должностные инструкции, процессы — всё это придумано для...
Множество Мандельброта — видео
Анимация: генерирует последовательность из 255 высокоточных кадров в формате BMP (frame_000.bmp ... frame_254.bmp) и автоматически компилирует их в видеоролик (файл Mandelbrot.mp4) с частотой 30 кадров в секунду, используя встроенный FFmpeg.
Скачать последнюю версию (Windows и Linux)
В windows это Mandelbrot_windows.exe и ffmpeg.exe
https://github.com/Divetoxx/Mandelbrot-Video/releases
Выше README содержит English и Русский!
FFmpeg - "швейцарский армейский нож" для обработки видео. В 2026 году он остается отраслевым стандартом, поддерживаемым сообществом разработчиков открытого программного обеспечения. От YouTube и Netflix до профессиональных киностудий - все на него полагаются. И да, он совершенно бесплатный.
https://habr.com/ru/articles/1016624/
Алгоритмы и Структуры данных
Анимация: генерирует последовательность из 255 высокоточных кадров в формате BMP (frame_000.bmp ... frame_254.bmp) и автоматически компилирует их в видеоролик (файл Mandelbrot.mp4) с частотой 30 кадров в секунду, используя встроенный FFmpeg.
Скачать последнюю версию (Windows и Linux)
В windows это Mandelbrot_windows.exe и ffmpeg.exe
https://github.com/Divetoxx/Mandelbrot-Video/releases
Выше README содержит English и Русский!
FFmpeg - "швейцарский армейский нож" для обработки видео. В 2026 году он остается отраслевым стандартом, поддерживаемым сообществом разработчиков открытого программного обеспечения. От YouTube и Netflix до профессиональных киностудий - все на него полагаются. И да, он совершенно бесплатный.
https://habr.com/ru/articles/1016624/
Алгоритмы и Структуры данных
GitHub
Releases · Divetoxx/Mandelbrot-Video
Sequential BMP frames (to frame_254.bmp) compiled into Mandelbrot.mp4 using FFmpeg. Automated Animation Suite: Generates a sequence of 255 high-precision BMP frames and automatically compiles them ...
Новые способы хранения тайлов в Картах: как один сервер выдерживает 80k RPS
80k RPS и 25 Гбит/с трафика тайлов с одного сервера — звучит как мечта для картографического сервиса? На самом деле это реально — если ваш способ отдачи тайлов спроектирован для этого.
С момента появления первых веб‑карт подходы к хранению картографических данных сильно изменились. В этой статье я разберу эволюцию от классических методов до современных облачных форматов и расскажу о нашем собственном решении с интересными алгоритмами индексации, а также зачем нам для этого понадобились деревья и алгоритмы цифровой сортировки.
Поделюсь опытом того, как мы отказались от сложного рендеринга на бэкенде, упростили инфраструктуру и эксплуатацию, а заодно перестали бояться пиковой нагрузки. Покажу, как это позволило нам отдавать сотни экспериментальных вариантов подложки Карт, используя в качестве бэкенда только S3.
https://habr.com/ru/companies/yandex/articles/1013916/
Алгоритмы и Структуры данных
80k RPS и 25 Гбит/с трафика тайлов с одного сервера — звучит как мечта для картографического сервиса? На самом деле это реально — если ваш способ отдачи тайлов спроектирован для этого.
С момента появления первых веб‑карт подходы к хранению картографических данных сильно изменились. В этой статье я разберу эволюцию от классических методов до современных облачных форматов и расскажу о нашем собственном решении с интересными алгоритмами индексации, а также зачем нам для этого понадобились деревья и алгоритмы цифровой сортировки.
Поделюсь опытом того, как мы отказались от сложного рендеринга на бэкенде, упростили инфраструктуру и эксплуатацию, а заодно перестали бояться пиковой нагрузки. Покажу, как это позволило нам отдавать сотни экспериментальных вариантов подложки Карт, используя в качестве бэкенда только S3.
https://habr.com/ru/companies/yandex/articles/1013916/
Алгоритмы и Структуры данных
Хабр
Новые способы хранения тайлов в Картах: как один сервер выдерживает 80k RPS
80k RPS и 25 Гбит/с трафика тайлов с одного сервера — звучит как мечта для картографического сервиса? На самом деле это реально — если ваш способ отдачи тайлов...
Как превратить годы обучения в IT в реальный опыт и деньги
Самое странное сейчас это пытаться вкатиться в IT по классике, когда опытные программисты давно кодят с нейронками даже в больших проектах.
Поэтому в 2026 выигрывает тот, кто быстро делает рабочие решения без долгих лет обучения и максимально сокращает путь с нуля до первого реального проекта в IT.
Андрей Ивашев запускает бесплатный 3-дневный интенсив:
«Первые деньги на вайбкодинге»
📅 7-9 апреля в 19:00 МСК
Для тех хочет начать программировать с нейронками и заработать на этом первые деньги даже без опыта и образования.
Программа 🔥
7 апреля
почему сегодня вход в IT стал сложнее и почему вайбкодинг меняет правила игры
8 апреля
3 способа заработать на вайбкодинге в 2026 и где брать первого клиента, чтобы сделать проект за реальные деньги
9 апреля
На практике соберём AI-ассистента, который станет твоим первым IT-проектом.
🎁 Бонус за регистрацию:
«Библиотека промптов для заработка на вайбкодинге», которые помогут упаковать портфолио и общаться с клиентами так, чтобы покупали
50 бесплатных нейросетей, чтобы кодить без остановки + серкетные бонусы
Бесплатных мест для наших подписчиков всего 100.
Зарегистрироваться бесплатно
Зарегистрироваться бесплатно
Зарегистрироваться бесплатно
Тыкни на 🔥, если идёшь.
Самое странное сейчас это пытаться вкатиться в IT по классике, когда опытные программисты давно кодят с нейронками даже в больших проектах.
Поэтому в 2026 выигрывает тот, кто быстро делает рабочие решения без долгих лет обучения и максимально сокращает путь с нуля до первого реального проекта в IT.
Андрей Ивашев запускает бесплатный 3-дневный интенсив:
«Первые деньги на вайбкодинге»
📅 7-9 апреля в 19:00 МСК
Для тех хочет начать программировать с нейронками и заработать на этом первые деньги даже без опыта и образования.
Программа 🔥
7 апреля
почему сегодня вход в IT стал сложнее и почему вайбкодинг меняет правила игры
8 апреля
3 способа заработать на вайбкодинге в 2026 и где брать первого клиента, чтобы сделать проект за реальные деньги
9 апреля
На практике соберём AI-ассистента, который станет твоим первым IT-проектом.
🎁 Бонус за регистрацию:
«Библиотека промптов для заработка на вайбкодинге», которые помогут упаковать портфолио и общаться с клиентами так, чтобы покупали
50 бесплатных нейросетей, чтобы кодить без остановки + серкетные бонусы
Бесплатных мест для наших подписчиков всего 100.
Зарегистрироваться бесплатно
Зарегистрироваться бесплатно
Зарегистрироваться бесплатно
Тыкни на 🔥, если идёшь.
❤1
Математическое программирование vs RL: может ли ИИ догнать классику в оптимизации?
С определенным успехом методы математического программирования захватили множество задач автоматизации и оптимизации бизнес процессов (маршрутизация доставки, планирование производства или графиков работы сотрудников, планирование сетей и т.д.). Используемые методы решения и классические постановки задач десятилетиями остаются без серьезных изменений. Когда ждать революцию? Кто имеет потенциал для ее организации?
Проведем эксперимент на предмет того, есть ли у RL способности решать оптимизационные задачи. Для исследования возьмем не сложную практическую оптимизационную задачу и оценим как обучение с подкреплением справится.
Материал будет полезен как заядлым специалистам по мат.оптимизации, так и ml-инженерам или data scientist’ам. Рассматриваемая задача может быть интересна специалистам из области логистики/транспортных перевозок.
https://habr.com/ru/articles/1013720/
Алгоритмы и Структуры данных
С определенным успехом методы математического программирования захватили множество задач автоматизации и оптимизации бизнес процессов (маршрутизация доставки, планирование производства или графиков работы сотрудников, планирование сетей и т.д.). Используемые методы решения и классические постановки задач десятилетиями остаются без серьезных изменений. Когда ждать революцию? Кто имеет потенциал для ее организации?
Проведем эксперимент на предмет того, есть ли у RL способности решать оптимизационные задачи. Для исследования возьмем не сложную практическую оптимизационную задачу и оценим как обучение с подкреплением справится.
Материал будет полезен как заядлым специалистам по мат.оптимизации, так и ml-инженерам или data scientist’ам. Рассматриваемая задача может быть интересна специалистам из области логистики/транспортных перевозок.
https://habr.com/ru/articles/1013720/
Алгоритмы и Структуры данных
Хабр
Математическое программирование vs RL: может ли ИИ догнать классику в оптимизации?
С определенным успехом методы математического программирования захватили множество задач автоматизации и оптимизации бизнес процессов (маршрутизация доставки, планирование производства или графиков...
Книга: «Основы GraphRAG. Улучшенный RAG на базе графов знаний»
Привет, Хабожители! Система генерации ответа, дополненная результатами поиска (Retrieval Augmented Generation, RAG), автоматически выбирает и предоставляет контекст, характерный для конкретной предметной области, что значительно улучшает способность LLM генерировать точные ответы без искажений. Подход GraphRAG основывается на использовании графа знаний для структурирования входных данных и существующих в них связей, чтобы получить содержательные и релевантные промпты. Создайте и разверните систему GraphRAG производственного уровня. Научитесь извлекать структурированные знания из текста и комбинировать методы векторного поиска с поиском по графам. Книга богата практическими примерами: от создания инструмента поиска по векторному сходству и приложения Agentic RAG до оценки эффективности и точности результатов работы такого приложения.
https://habr.com/ru/companies/piter/articles/1013810/
Алгоритмы и Структуры данных
Привет, Хабожители! Система генерации ответа, дополненная результатами поиска (Retrieval Augmented Generation, RAG), автоматически выбирает и предоставляет контекст, характерный для конкретной предметной области, что значительно улучшает способность LLM генерировать точные ответы без искажений. Подход GraphRAG основывается на использовании графа знаний для структурирования входных данных и существующих в них связей, чтобы получить содержательные и релевантные промпты. Создайте и разверните систему GraphRAG производственного уровня. Научитесь извлекать структурированные знания из текста и комбинировать методы векторного поиска с поиском по графам. Книга богата практическими примерами: от создания инструмента поиска по векторному сходству и приложения Agentic RAG до оценки эффективности и точности результатов работы такого приложения.
https://habr.com/ru/companies/piter/articles/1013810/
Алгоритмы и Структуры данных
Хабр
Книга: «Основы GraphRAG. Улучшенный RAG на базе графов знаний»
Привет, Хабожители! Система генерации ответа, дополненная результатами поиска (Retrieval Augmented Generation, RAG), автоматически выбирает и предоставляет контекст, характерный для конкретной...
❤1🔥1
Не бойтесь динамического программирования
В этой статье разберем три задачи по динамическому программированию с LeetCode и попробуем каждый раз прийти к изящной формуле интуитивно. Также обсудим, по каким признакам можно понять, что задача — на динамическое программирование.
https://habr.com/ru/articles/1017372/
Алгоритмы и Структуры данных
В этой статье разберем три задачи по динамическому программированию с LeetCode и попробуем каждый раз прийти к изящной формуле интуитивно. Также обсудим, по каким признакам можно понять, что задача — на динамическое программирование.
https://habr.com/ru/articles/1017372/
Алгоритмы и Структуры данных
Хабр
Не бойтесь динамического программирования
Говорят, все боятся задач на динамическое программирование (aka ДП), потому что их решения выглядят как из задачника по матанализу. А мне оно всегда нравилось. Одна изящная формула вроде — и задача...
Осталось 24 часа, чтобы забрать 👇🏼
- доступ к бесплатному интенсиву "Первые деньги на вайбкодинге" (старт уже завтра 7.04 в 19.00)
- уроки по программированию с нейронками
- 50 бесплатных нейросетей, чтобы кодить без остановки
- «Библиотека промптов для заработка на вайбкодинге», которые помогут упаковать портфолио и общаться с клиентами так, чтобы покупали
Все бонусы уже ждут тебя в закрытом канале по вайбкодингу👇
Вступить в закрытый канал
Вступить в закрытый канал
Вступить в закрытый канал
- доступ к бесплатному интенсиву "Первые деньги на вайбкодинге" (старт уже завтра 7.04 в 19.00)
- уроки по программированию с нейронками
- 50 бесплатных нейросетей, чтобы кодить без остановки
- «Библиотека промптов для заработка на вайбкодинге», которые помогут упаковать портфолио и общаться с клиентами так, чтобы покупали
Все бонусы уже ждут тебя в закрытом канале по вайбкодингу👇
Вступить в закрытый канал
Вступить в закрытый канал
Вступить в закрытый канал
Как я случайно написал самый быстрый CSV-парсер на C#
На рождественских каникулах я ехал на автобусах из одного штата в другой, и мне нужно было как-то убить 24 часа. Я читал об UTF-8 и узнал об этой кодировке нечто интересное: все традиционные символы ASCII сохранены в ней в их исходном однобайтовом представлении, поэтому их можно сканировать крайне быстро. Я решил поэкспериментировать с кодом, максимально быстро подсчитывающим такие символы, в результате получив готовый парсер CSV, который вполне сравним с предыдущими парсерами, а то и быстрее них.
В статье я расскажу о своём процессе работы, экспериментах и оптимизациях, которые привели меня к этому итогу.
https://habr.com/ru/articles/1016970/
Алгоритмы и Структуры данных
На рождественских каникулах я ехал на автобусах из одного штата в другой, и мне нужно было как-то убить 24 часа. Я читал об UTF-8 и узнал об этой кодировке нечто интересное: все традиционные символы ASCII сохранены в ней в их исходном однобайтовом представлении, поэтому их можно сканировать крайне быстро. Я решил поэкспериментировать с кодом, максимально быстро подсчитывающим такие символы, в результате получив готовый парсер CSV, который вполне сравним с предыдущими парсерами, а то и быстрее них.
В статье я расскажу о своём процессе работы, экспериментах и оптимизациях, которые привели меня к этому итогу.
https://habr.com/ru/articles/1016970/
Алгоритмы и Структуры данных
Хабр
Как я случайно написал самый быстрый CSV-парсер на C#
На рождественских каникулах я ехал на автобусах из одного штата в другой, и мне нужно было как-то убить 24 часа. Я читал об UTF-8 и узнал об этой кодировке нечто интересное: все традиционные символы...
Галлюцинации LLM — это артефакты сжатия. И это объясняет вообще всё
Представьте, что вам дают 10 терабайт текста и говорят запихнуть это в файл на 70 гигабайт. Да так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко, и не побайтово, но чтобы по смыслу билось.
Вы бы сказали: «так это же lossy-компрессия, часть данных неизбежно потеряется».
И были бы правы, потому что именно это делает LLM.
https://habr.com/ru/articles/1017612/
Алгоритмы и Структуры данных
Представьте, что вам дают 10 терабайт текста и говорят запихнуть это в файл на 70 гигабайт. Да так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко, и не побайтово, но чтобы по смыслу билось.
Вы бы сказали: «так это же lossy-компрессия, часть данных неизбежно потеряется».
И были бы правы, потому что именно это делает LLM.
https://habr.com/ru/articles/1017612/
Алгоритмы и Структуры данных
Хабр
Галлюцинации LLM — это артефакты сжатия. И это объясняет вообще всё
Представьте, что вам дают 10 терабайт текста и говорят запихнуть это в файл на 70 гигабайт. Да так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко, и не...
Лови список полезных IT каналов в Max 🇷🇺
Архиватор – крупная база слитых айти курсов по программированию
Сливакер – отобранный архив полезных курсов для программистов
Полка Разработчика – сборник книг для изучения Python, JS, Java и других языков программирования;
Записки Фронтендера -- опытный Frontend-разработчик собрал все самое основное
Записки Бэкендера -- а тут опытный Backend-разработчик подбирает самое полезное
Записки Питониста -- здесь думаю итак понятно, питонисты заходите
Code Learning – ютуб в мире программистов, сборник видео для обучения
Графика и Дизайн – сборник полезных курсов и видео для полного погружения в дизайн
Нейролента – публикуем самое актуальное из мира нейросетей
Windows Community -- все что связанно с Windows
DevHumor – все что выше, без юмора не понять
Находки Программиста – подбираем все самое нужно для программистов
Архиватор – крупная база слитых айти курсов по программированию
Сливакер – отобранный архив полезных курсов для программистов
Полка Разработчика – сборник книг для изучения Python, JS, Java и других языков программирования;
Записки Фронтендера -- опытный Frontend-разработчик собрал все самое основное
Записки Бэкендера -- а тут опытный Backend-разработчик подбирает самое полезное
Записки Питониста -- здесь думаю итак понятно, питонисты заходите
Code Learning – ютуб в мире программистов, сборник видео для обучения
Графика и Дизайн – сборник полезных курсов и видео для полного погружения в дизайн
Нейролента – публикуем самое актуальное из мира нейросетей
Windows Community -- все что связанно с Windows
DevHumor – все что выше, без юмора не понять
Находки Программиста – подбираем все самое нужно для программистов
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯2
No-code в крупных компаниях: Свобода или новая ИТ-ловушка?
Помните этот торжественный момент на старте многих ИТ-проектов? Компания покупает новую платформу, кто-нибудь из топ-менеджмента объявляет о победе над «ИТ-бюрократией» и с горящими глазами выдает аналитикам лицензии:
https://habr.com/ru/companies/directum/articles/1017966/
Алгоритмы и Структуры данных
Помните этот торжественный момент на старте многих ИТ-проектов? Компания покупает новую платформу, кто-нибудь из топ-менеджмента объявляет о победе над «ИТ-бюрократией» и с горящими глазами выдает аналитикам лицензии:
https://habr.com/ru/companies/directum/articles/1017966/
Алгоритмы и Структуры данных
Хабр
No-code в крупных компаниях: Свобода или новая ИТ-ловушка?
Помните этот торжественный момент на старте многих ИТ-проектов? Компания покупает новую платформу, кто-нибудь из топ-менеджмента объявляет о победе над «ИТ-бюрократией» и с горящими глазами выдает...
Как выбирают свой путь призраки в Pac-Man
Pac-Man — полностью детерминированная игра. Как я объяснял в своём видео об этой игре, все движения призраков зависят от того, где на текущий момент находится Pac-Man. Следовательно, обладая этими знаниями, можно точно спрогнозировать, куда будут двигаться призраки в любой момент времени. Но так ли это? Когда Pac-Man съедает большой шарик («энерджайзер»), призраки пугаются и начинают двигаться по паттерну, который кажется случайным и непредсказуемым. Это единственный момент, когда в игре используется генератор случайных чисел (RNG): для определения того, в каком направлении повернёт испуганный призрак на перекрёстке лабиринта. Хоть это решение тоже детерминировано, это единственный непредсказуемый элемент Pac-Man.
В этой статье мы проведём глубокий анализ функции RNG игры и разберёмся, как призраки склонны действовать в этой ситуации. В конечном итоге мы выясним, что напуганных призраков обычно притягивает одна из областей лабиринта.
https://habr.com/ru/companies/ruvds/articles/1017080/
Алгоритмы и Структуры данных
Pac-Man — полностью детерминированная игра. Как я объяснял в своём видео об этой игре, все движения призраков зависят от того, где на текущий момент находится Pac-Man. Следовательно, обладая этими знаниями, можно точно спрогнозировать, куда будут двигаться призраки в любой момент времени. Но так ли это? Когда Pac-Man съедает большой шарик («энерджайзер»), призраки пугаются и начинают двигаться по паттерну, который кажется случайным и непредсказуемым. Это единственный момент, когда в игре используется генератор случайных чисел (RNG): для определения того, в каком направлении повернёт испуганный призрак на перекрёстке лабиринта. Хоть это решение тоже детерминировано, это единственный непредсказуемый элемент Pac-Man.
В этой статье мы проведём глубокий анализ функции RNG игры и разберёмся, как призраки склонны действовать в этой ситуации. В конечном итоге мы выясним, что напуганных призраков обычно притягивает одна из областей лабиринта.
https://habr.com/ru/companies/ruvds/articles/1017080/
Алгоритмы и Структуры данных
Хабр
Как выбирают свой путь призраки в Pac-Man
Pac-Man — полностью детерминированная игра. Как я объяснял в своём видео об этой игре, все движения призраков зависят от того, где на текущий момент находится Pac-Man. Следовательно, обладая этими...
Вся музыка, все фотографии и весь Wi-Fi работают на одном трюке. Ему 200 лет
Эта песня попала в ваши наушники благодаря одной идее. Той самой, за которую француза в 1807 году высмеяли на заседании Парижской академии наук. Лаплас был «за», но Лагранж встал и сказал: «Это невозможно.»
Француза звали Жан-Батист Жозеф Фурье. Его идея была настолько простой, что учёные отказались ей поверить.
Сейчас она обрабатывает каждую фотографию на вашем телефоне. Каждый пакет Wi-Fi. Каждый звонок. Каждый JPEG. Каждый MP3. Каждое MRI-сканирование. Каждую команду Siri. Каждый кадр на стриминговых платформах.
https://habr.com/ru/articles/1018172/
Алгоритмы и Структуры данных
Эта песня попала в ваши наушники благодаря одной идее. Той самой, за которую француза в 1807 году высмеяли на заседании Парижской академии наук. Лаплас был «за», но Лагранж встал и сказал: «Это невозможно.»
Француза звали Жан-Батист Жозеф Фурье. Его идея была настолько простой, что учёные отказались ей поверить.
Сейчас она обрабатывает каждую фотографию на вашем телефоне. Каждый пакет Wi-Fi. Каждый звонок. Каждый JPEG. Каждый MP3. Каждое MRI-сканирование. Каждую команду Siri. Каждый кадр на стриминговых платформах.
https://habr.com/ru/articles/1018172/
Алгоритмы и Структуры данных
Хабр
Вся музыка, все фотографии и весь Wi-Fi работают на одном трюке. Ему 200 лет
Откройте ваш плейлист и нажмите play на любом треке. Эта песня попала в ваши наушники благодаря одной идее. Той самой, за которую француза в 1807 году высмеяли на заседании Парижской академии наук....
❤1
Один хеш, вместо миллиона проверок: пишем Merkle Tree на Go с нуля
Представьте: у вас есть база из миллиона транзакций. Клиент спрашивает: «Моя транзакция точно в блоке?» Вы можете отдать ему все миллион записей для проверки. Или отдать 20 хешей по 32 байта - и он сам математически докажет, что его транзакция на месте. Без доверия. Без скачивания всего блока. За O(log N)
Merkle tree - структура данных на которая являеться Bitcoin, Git, IPFS и Certificate Transparency. Посмотим как она работает и напием свою реализацию на Golang c ДЖЕНЕРИКАМИ йоу
https://habr.com/ru/articles/1018186/
Алгоритмы и Структуры данных
Представьте: у вас есть база из миллиона транзакций. Клиент спрашивает: «Моя транзакция точно в блоке?» Вы можете отдать ему все миллион записей для проверки. Или отдать 20 хешей по 32 байта - и он сам математически докажет, что его транзакция на месте. Без доверия. Без скачивания всего блока. За O(log N)
Merkle tree - структура данных на которая являеться Bitcoin, Git, IPFS и Certificate Transparency. Посмотим как она работает и напием свою реализацию на Golang c ДЖЕНЕРИКАМИ йоу
https://habr.com/ru/articles/1018186/
Алгоритмы и Структуры данных
Хабр
Один хеш, вместо миллиона проверок: пишем Merkle Tree на Go с нуля
Представьте: у вас есть база из миллиона транзакций. Клиент спрашивает: «Моя транзакция точно в блоке?» Вы можете отдать ему все миллион записей для проверки. Или отдать 20 хешей по 32 байта - и он...