Чанкинг — это один из методов, который позволяет представить текст в виде смысловых отрезков, с которыми далее будет работать LLM.

Правильное деление на эти отрезки на входе и определяет в большей мере скорость, качество и цену работы всей системы поиска.

Андрей Носов, AI-архитектор в компании Raft,  рассказал в статье о вызовах, которые он с командой  преодолевает каждый день, создавая такие системы. Подробнее всего остановился на чанкинге.

⭐️ Топ-10 докладов HighLoad++ 2025

6 и 7 ноября в Москве собрались более 2700 участников со всей страны и 150+ спикеров, которые представили свои доклады по 14 тематическим трекам.

Два дня мы обсуждали базы данных и системы хранения, GenAI, LLM и ML в продакшене, архитектуру и масштабируемость, безопасность и надежность, FinOps, SRE, Platform Engineering и другие направления, связанные с большими и высоконагруженными IT-системами.

Все для того, чтобы получить концентрат самых актуальных решений 🔥

Пришло время подвести итоги прошедшей конференции и объявить доклады, которые получили самые высокие оценки от участников за содержание и подачу!

Начнем в обратном порядке:

1️⃣0️⃣ Как масштабировать не только IT-системы, но и IT-команды. Александр Апазиди (независимый эксперт, ментор CTO (Apazidi IT)).
Доклад исследует вызовы масштабирования IT-команд через призму системного подхода. Сравнительный анализ организационных моделей, кейсы успехов и провалов. Фреймворк для эволюции структуры команд с использованием Team Topologies и data-driven-подходов.

9️⃣ CокрAIти.It. Марина Кубанина (Технологии Доверия (ex PWC)).
Многие IT-компании на Западе, да и у нас, объявили об оптимизациях. Чего нам ждать от этого? Какими реальными метриками руководствуются IT-боссы и причем тут AI? Узнайте из доклада Марины.

8️⃣ SLA на максималках. Дмитрий Химион (X5 Digital).
Доклад содержит не только ценнейший опыт подходов к SLA, но и пример того, как можно собрать инструменты в работающий процесс.

7️⃣ Как устроена система восприятия робота-доставщика Яндекса. Сергей Голованов (Яндекс).
Как робот Яндекса «видит» город и избегает препятствий? Доклад раскроет систему восприятия: от hardware (лидар, камеры, парктроники) и подсистем (локализация, планировщик) до ML-моделей (3D-детекция, трекинг, светофоры). Узнайте production-истории, об оптимизации latency и тестировании релизов.

6️⃣ Двигательные установки космических аппаратов. Александр Токарев (Voxys).
Как спутники по пять тонн держатся на орбите, зачем им паровые и ионные двигатели, и можно ли собрать движок для спутника в гараже. Разговор о технологиях, инженерии и мечте покорять космос — просто, с юмором и фактами.

🖐️ Продолжение ждет вас в следующем посте. Если вы не смогли присутствовать офлайн или смотреть онлайн — вы можете приобрести записи всех докладов уже сейчас.

✅ Полная программа прошедшей конференции и кнопка для покупки записей на сайте

В сегодняшней статье вы узнаете, как из хаоса родился порядок: как вместо десятков разрозненных девайсов появилась стойка, где каждый винт, кабель и IP на своем месте. И как одна инженерная идея может превратиться в систему, которая экономит часы, нервы и делает работу с тестами наконец-то предсказуемой.

Инженер по тестированию АО «ИнфоТеКС» Евгений Деркач — с историей о том, как обуздать привычный рутинный хаос, всего лишь изменив к нему подход. Рекомендуется к прочтению всем, кто скучает по порядку на рабочем месте.

⭐ Топ-10 докладов HighLoad++ 2025

Сегодня делимся с вами пятеркой лидеров. Если вы пропустили первую часть, то она здесь ✔️

5️⃣ Сетевые нереплицируемые диски в облаке: почему, как, а главное — зачем? Александр Руденко (K2 Cloud).
На что только не придется пойти, желая отмасштабироваться! В крупной инфраструктуре все чаще приходится решать задачу эффективной утилизации. В докладе вы увидите историю выноса дисков на отдельные ноды и как при этом не потерять лишние микросекунды задержек на доступе к данным.

4️⃣ ИИ расшифровывает код мозга: от реального синапса до цифрового двойника нейрона (и при чем тут мыши с микроскопами на голове?). Екатерина Пчицкая (СПб политехнический университет Петра Великого).
В докладе – путешествие в мир, где биты и байты помогают расшифровывать биологический код, а данные и метаданные учат нас не только науке, но и порядку!

3️⃣ Восстание машин, или Как хранилища Sage на новое железо заезжали. Руслан Боярский (T-Банк).
Принято считать железо надежным и готовым к использованию из коробки, но это не так. В докладе интересный путь команды Sage, которая умудрилась наступить на массу граблей и столкнуться с «черными лебедями». Полезно будет сравнить их чек-лист проверки железа с вашим списком, если он у вас есть.

2️⃣ Как понимание работы RAM ускорило на 30% пакетный шлюз 4G/5G-сетей и позволило обрабатывать 4M пакетов в секунду на одном ядре и 100 Gbps на NUMA node. Максим Шахметов (Протей-Лаб).
С одной стороны, работа с памятью кажется очевидной задачей со стандартными решениями, однако всегда найдутся хитрости. В докладе вы посмотрите на эффективную работу с ОЗУ в применении к телекому, а также оцените современные возможности программной обработки сетевых пакетов.

1️⃣ Perforator: всеядный распределенный профилировщик. Сергей Скворцов (Яндекс)
Из первых уст узнаете о том, что из себя представляет open-source-инструмент для профилирования, какие подводные камни вас ждут, если решите самостоятельно сделать похожий инструмент.

Программа HighLoad++ 2025 — концентрат решений, технологий и новинок в одном месте 🙌

✅ Посмотреть полную программу прошедшей конференции и приобрести записи всех докладов вы можете на сайте

ИИ-агенты успешно пишут код, но проваливают безопасность.

Ученые из Carnegie Mellon University, Columbia и Johns Hopkins провели исследование, в котором оценили, насколько безопасен код, создаваемый ИИ-агентами. В ходе тестирования трех популярных ИИ-агентов на 200 реальных задачах с GitHub выяснилось, что 61% предложенных решений работоспособны, однако лишь 10,5% из них можно назвать защищенными. Таким образом, почти 90% функционально правильного кода содержат серьезные уязвимости.

Среди распространенных ошибок в сгенерированном коде — уязвимости, позволяющие проводить атаки на время отклика для подбора паролей, внедрение вредоносных скриптов через неотфильтрованные ссылки и некорректная обработка данных сессий. ИИ корректно реализует основную логику, но систематически упускает важные проверки.

Это ставит под сомнение готовность технологии к использованию в продакшене, особенно в чувствительных к безопасности областях. Простые напоминания о безопасности в запросе не помогают. Необходимы или принципиально новые подходы к обучению моделей, или признание того, что итоговый код всегда будет требовать экспертной проверки.

Новый выпуск Podcast++, где мы погружаемся в важнейшую тему жизнестойкости — метанавыка, который помогает преодолевать сложности и неопределенность как в жизни, так и в работе!

🎤 Ведущая: Ольга Ортега —директор по данным и аналитике в Ви.Tech.
🖐 В гостях: Иван Лукьянов — программист, директор и панк-коуч.

Ольга и Иван обсуждают ключевые аспекты этого навыка и делятся личными историями, которые вдохновляют на развитие устойчивости.

Узнайте, как позитивное мышление, реалистичный взгляд на вещи и дисциплина помогают справляться с трудностями, а также какие техники могут помочь вам укрепить жизнестойкость.

Если вы хотите улучшить свою способность преодолевать препятствия и находить смысл в сложных жизненных ситуациях, этот выпуск для вас 🙌

Слушайте подкаст:
ВКонтакте
Яндекс Музыка
mave

В X5 Digital работают в режиме highload с RPS в 7500 и отвечают за всю онлайн-доставку в 73 региона. Этот канал постоянно растет. В компании создают собственную in-house WMS для дарксторов, приложения для сборщиков и курьеров, CRM, каталоги товаров и другие онлайн-продукты.

Задачей было сопоставить одинаковые или похожие товары, которые есть и в X5, и у конкурента — то есть метчи. В свою очередь, основная цель метчинга — обеспечить конкурентоспособность, позволяя быстро реагировать на изменения цен и предложений конкурентов.

Однако при работе с подрядчиками могут возникать проблемы. Например, длительное исправление ошибок тормозит процессы ценообразования и обновления информации о товарах. А это может привести к упущенным возможностям на рынке. Кроме того, необходимость ручных привязок для взаимодействия с собственными торговыми марками и готовой едой, создает дополнительные сложности и увеличивает вероятность ошибок. Исходя из этого в компании решили заменить решение подрядчика на собственную разработку.

🖐️ Узнайте подробности от Данилы Федюкина, тимлида в X5 Digital, в новой статье

В CDEK за 25 лет работы накопился богатый арсенал архитектурных решений — удачных, спорных и по-своему эффективных.

✅ На связи Наталья Макарова, техлид внутригородской логистики и глава Гильдии Java.

Как выяснилось, идеальных архитектурных паттернов не бывает. Один и тот же подход в разных условиях может стать и спасением, и катастрофой. Все решает контекст.

Чтобы показать это на практике, Наталья собрала три инженерных кейса. Каждый оформлен в формате детективного квиза: роль, фабула, вопросы на размышление, разбор и выводы. Попробуйте разобраться в проблеме, пройти тест и определить: где костыль, где инженерный компромисс, а где — настоящая best practice.

Создан суперкомпьютер, который помещается в кармане.

Компания Tiiny AI Inc., занимающаяся разработкой передовых технологий в области искусственного интеллекта, представила самый маленький в мире персональный суперкомпьютер с искусственным интеллектом — Tiiny AI Pocket Lab. Разработка официально занесена в Книгу рекордов Гиннесса в категории «Самый маленький мини-ПК (100B LLM в локальной сети)»

Это карманное устройство способно полностью локально, без облака и серверов, запускать LLM-модели до 120 миллиардов параметров (уровень GPT-4o), потребляя всего 65Вт. Прорыв стал возможен благодаря технологиям TurboSparse и PowerInfer, которые обеспечивают профессиональную производительность на компактном устройстве.

Ключевой сдвиг: полный отказ от облачной зависимости в пользу приватного, безопасного и энергоэффективного интеллекта прямо на устройстве. Поддерживает мгновенное развертывание десятков open-source моделей и фреймворков.

ИИ будущего теперь работает без интернета, с PhD-уровнем рассуждений и банковским уровнем шифрования ваших данных.

// файл: cmd/new_year_greetings.go
package main

import (
"успех"
"стабильность"
"отпуск"
)

func main() {
wish := Wish{
Производительность: "высокая",
Нагрузка: "сбалансированная",
Инциденты: nil,
Настроение: "праздничное",
}

for _, engineer := range heroesOfHighLoad { // всем причастным!
engineer.Отправить(wish)
engineer.Уведомить("Годовой деплой завершён. Можно делать git checkout holiday_mode.")
}
}

// Пусть в 2026 году ваши логи будут чисты, а графики — зелены!