«Мы у конца экспоненты»: сказал глава Anthropic, говоря о развитии ИИ
Глава Anthropic Дарио Амодеи заявил, что индустрия ИИ приближается к пику экспоненциального роста ("we’re hitting the end of the exponential"). По его оценке, модели уровня "страна гениев в дата-центре" — сверхразумный ИИ, превосходящий человека почти во всем — появятся в 2026–2027 годах. Вероятность этого Амодеи оценивает в 90% в горизонте десяти лет, но лично ставит на то, что это случится гораздо раньше.
Технологический прогресс подкрепляют два фактора: классические законы масштабирования продолжают работать, а обучение с подкреплением (RL) дает новый виток улучшений. При этом Амодеи считает, что для решения большинства экономических задач может хватить огромного контекстного окна (несколько миллионов токенов) и мощного предварительного обучения — без полноценного дообучения моделей в реальном времени.
Отдельно Амодеи рассказал о Claude Code — инструменте для кодинга, который изначально создавался для внутреннего использования. Он настолько ускорил работу сотрудников Anthropic, что компания решила выпустить его как отдельный продукт. По словам Амодеи, программирование — та область, где ИИ уже ускоряет работу на 15–20%, а в перспективе компания ожидает, что модели будут выполнять до 90% задач разработчика.
https://www.dwarkesh.com/p/dario-amodei-2
ЗЫ. к слову, у экспоненты как функции (e^x) нет ни пика, ни конца. Эта функция определена для всех чисел от -бесконечности до +бесконечности и непрерывно растет.
При увеличении аргумента x функция стремится к бесконечности, а при уменьшении — к нулю, но никогда не достигает реального физического "конца".
Вообще кажется, что когда так говорят, что вот де мы скоро получим супер-ИИ, который заменит всех и вся и будет делать почти всю работу и т.д., то тем самым просто завлекают инвесторов, чтобы те еще больше вкладывали и в их компанию, в частности, и в весь этот ИИ-пузырь в целом.
Глава Anthropic Дарио Амодеи заявил, что индустрия ИИ приближается к пику экспоненциального роста ("we’re hitting the end of the exponential"). По его оценке, модели уровня "страна гениев в дата-центре" — сверхразумный ИИ, превосходящий человека почти во всем — появятся в 2026–2027 годах. Вероятность этого Амодеи оценивает в 90% в горизонте десяти лет, но лично ставит на то, что это случится гораздо раньше.
Технологический прогресс подкрепляют два фактора: классические законы масштабирования продолжают работать, а обучение с подкреплением (RL) дает новый виток улучшений. При этом Амодеи считает, что для решения большинства экономических задач может хватить огромного контекстного окна (несколько миллионов токенов) и мощного предварительного обучения — без полноценного дообучения моделей в реальном времени.
Отдельно Амодеи рассказал о Claude Code — инструменте для кодинга, который изначально создавался для внутреннего использования. Он настолько ускорил работу сотрудников Anthropic, что компания решила выпустить его как отдельный продукт. По словам Амодеи, программирование — та область, где ИИ уже ускоряет работу на 15–20%, а в перспективе компания ожидает, что модели будут выполнять до 90% задач разработчика.
https://www.dwarkesh.com/p/dario-amodei-2
ЗЫ. к слову, у экспоненты как функции (e^x) нет ни пика, ни конца. Эта функция определена для всех чисел от -бесконечности до +бесконечности и непрерывно растет.
При увеличении аргумента x функция стремится к бесконечности, а при уменьшении — к нулю, но никогда не достигает реального физического "конца".
Вообще кажется, что когда так говорят, что вот де мы скоро получим супер-ИИ, который заменит всех и вся и будет делать почти всю работу и т.д., то тем самым просто завлекают инвесторов, чтобы те еще больше вкладывали и в их компанию, в частности, и в весь этот ИИ-пузырь в целом.
Dwarkesh
Dario Amodei — "We are near the end of the exponential"
"That's why I'm sending this message of urgency"
👍20🤡13🤔5🥱3🖕3❤2😁2
Компания Google представила первую бета-версию Android 17, релиз которой должен выйти во втором квартале этого года. Основные изменения в Android 17 Beta 1:
🚀 Основные изменения для разработчиков
Новая модель распространения: Canary-канал
Google заменяет традиционные Developer Preview на постоянный Canary-канал. Это дает ранний доступ к API и функциям, упрощает тестирование через OTA-обновления и позволяет быстрее влиять на финальные изменения.
Адаптивность становится обязательной
Для приложений, нацеленных на SDK 37 (Android 17), на больших экранах (ширина > 600dp) блокируются манифест-атрибуты и API, ограничивающие ориентацию (
Тонкая настройка перезапуска Activity
Система больше не перезапускает Activity при многих изменениях конфигурации (например, смена темы оформления, клавиатуры), а передает их через
⚡️ Производительность и системы
* Блокировка MessageQueue: Новая реализация очереди сообщений без блокировок (lock-free) уменьшает число пропущенных кадров.
* Сборка мусора: Внедрение поколенческой (generational) сборки мусора снижает нагрузку на CPU при сборках.
* Неизменяемые `static final`: Запрет на изменение
* Ограничение уведомлений: Введены лимиты на размер пользовательских видов уведомлений для экономии памяти.
* Новые триггеры профилирования: В
📸 Медиа и камера
* Динамические сессии камеры: Метод
* Метаданные мультикамер: Теперь можно получать данные со всех физических камер в логической мультикамере для более эффективной обработки.
* Поддержка VVC: Добавлена поддержка современного видеокодека VVC (H.266).
* Контроль качества видео: В
* Управление звуком в фоне: Ужесточены правила для фоновых аудио-запросов, чтобы они запускались только по явному действию пользователя.
🔒 Приватность, безопасность и связь
* Очистка трафика: Атрибут
* Гибридное шифрование: Представлен SPI для HPKE — современного стандарта гибридного шифрования.
* VoIP и звонки: Улучшена интеграция VoIP: управление видимостью вызовов в журнале и поддержка аватаров участников в системном приложении телефона.
* Wi-Fi Ranging: Добавлены API для непрерывного измерения расстояния и безопасного пиринга.
* Профили устройств: В
Для тестирования разработчики могут установить бета-версию на поддерживаемые устройства Pixel по OTA или использовать эмулятор в Android Studio.
https://android-developers.googleblog.com/2026/02/the-first-beta-of-android-17.html
🚀 Основные изменения для разработчиков
Новая модель распространения: Canary-канал
Google заменяет традиционные Developer Preview на постоянный Canary-канал. Это дает ранний доступ к API и функциям, упрощает тестирование через OTA-обновления и позволяет быстрее влиять на финальные изменения.
Адаптивность становится обязательной
Для приложений, нацеленных на SDK 37 (Android 17), на больших экранах (ширина > 600dp) блокируются манифест-атрибуты и API, ограничивающие ориентацию (
portrait, landscape) и изменение размера (resizeableActivity). Исключение — игры. Пользователи по-прежнему могут управлять поведением приложения через настройки системы.Тонкая настройка перезапуска Activity
Система больше не перезапускает Activity при многих изменениях конфигурации (например, смена темы оформления, клавиатуры), а передает их через
onConfigurationChanged. Чтобы вернуть старое поведение с полным пересозданием Activity, разработчикам нужно явно указать это в новом атрибуте манифета android:recreateOnConfigChanges.⚡️ Производительность и системы
* Блокировка MessageQueue: Новая реализация очереди сообщений без блокировок (lock-free) уменьшает число пропущенных кадров.
* Сборка мусора: Внедрение поколенческой (generational) сборки мусора снижает нагрузку на CPU при сборках.
* Неизменяемые `static final`: Запрет на изменение
static final полей через рефлексию и JNI для оптимизации производительности.* Ограничение уведомлений: Введены лимиты на размер пользовательских видов уведомлений для экономии памяти.
* Новые триггеры профилирования: В
ProfilingManager добавлены триггеры для отладки (холодный старт, OOM).📸 Медиа и камера
* Динамические сессии камеры: Метод
updateOutputConfigurations() позволяет менять выходные поверхности (например, с фото на видео) без пересоздания сессии камеры, устраняя задержки.* Метаданные мультикамер: Теперь можно получать данные со всех физических камер в логической мультикамере для более эффективной обработки.
* Поддержка VVC: Добавлена поддержка современного видеокодека VVC (H.266).
* Контроль качества видео: В
MediaRecorder добавлен метод для настройки кодирования с постоянным качеством (CQ).* Управление звуком в фоне: Ужесточены правила для фоновых аудио-запросов, чтобы они запускались только по явному действию пользователя.
🔒 Приватность, безопасность и связь
* Очистка трафика: Атрибут
android:usesCleartextTraffic объявлен устаревшим. Без конфигурации безопасности сети (Network Security Config) будет запрещен.* Гибридное шифрование: Представлен SPI для HPKE — современного стандарта гибридного шифрования.
* VoIP и звонки: Улучшена интеграция VoIP: управление видимостью вызовов в журнале и поддержка аватаров участников в системном приложении телефона.
* Wi-Fi Ranging: Добавлены API для непрерывного измерения расстояния и безопасного пиринга.
* Профили устройств: В
CompanionDeviceManager добавлены профили для медицинских устройств и фитнес-трекеров, упрощающие получение разрешений. Появился единый диалог для связи с устройством и запроса прав на Nearby.Для тестирования разработчики могут установить бета-версию на поддерживаемые устройства Pixel по OTA или использовать эмулятор в Android Studio.
https://android-developers.googleblog.com/2026/02/the-first-beta-of-android-17.html
Android Developers Blog
The First Beta of Android 17
News and insights on the Android platform, developer tools, and events.
❤5👍4🤝2🤔1
Из-за ИИ сотрудники перерабатывают и выгорают
Компании столкнулись с неожиданной проблемой. Сотрудники, которые первыми начали использовать ИИ-инструменты в работе, массово выгорают. Парадокс в том, что технологии действительно помогают быстрее выполнять задачи, на которые раньше уходил весь день. Вот только домой никто не уходит. Освободившееся время тут же заполняется новыми проектами, бесконечными списками дел и работой по вечерам. Вместо обещанной душевной гармонии люди получили бессонные ночи, наполненные деловой волокитой выходные и больше стресса.
Первыми страдают самые активные. Это энтузиасты, которые внедрили ИИ раньше коллег, не дожидаясь указаний начальства. Обычно такие люди амбициозны, нацелены на результат и вовлечены по максимуму. Именно эти качества делают их уязвимыми. Они не останавливаются, когда инструмент выполнил задачу, — берут на себя еще больше, пока не ломаются.
У компаний есть примерно 18 месяцев, чтобы исправить ситуацию. Сейчас выгорание затронуло только 15−20% работников — тех самых ранних пользователей. Остальных психологический эффект еще не накрыл. Если не установить правила игры прямо сейчас, весной и летом 2026 года начнется массовый отток кадров, предупреждают исследователи. Уйдут лучшие специалисты, которые раньше всех освоили новые технологии. Следом рухнет моральный дух команд, остановятся проекты, исчезнет накопленная экспертиза.
Сейчас текучка кадров в технологических компаниях держится на уровне 12−15% в год. В командах, где началось выгорание, она подскакивает до 25−35%. Это означает катастрофические затраты на поиск замены, потерю знаний, срыв сроков и деморализацию тех, кто остался. Средняя стоимость замены одного технического специалиста достигает 150−200% его годовой зарплаты с учетом времени на обучение нового человека.
Разработчикам ИИ-инструментов стоит задуматься о смене приоритетов. Следующее поколение продуктов должно делать нечто большее, чем просто ускорять выполнение задач. Нужны интерфейсы, которые подталкивают завершить дела и выйти из системы, а не накапливать их бесконечно. Настройки, ограничивающие производительность рабочим временем.
https://www.themeridiem.com/ai/2026/2/10/ai-s-productivity-paradox-hits-inflection-as-early-adopters-burn-out
Компании столкнулись с неожиданной проблемой. Сотрудники, которые первыми начали использовать ИИ-инструменты в работе, массово выгорают. Парадокс в том, что технологии действительно помогают быстрее выполнять задачи, на которые раньше уходил весь день. Вот только домой никто не уходит. Освободившееся время тут же заполняется новыми проектами, бесконечными списками дел и работой по вечерам. Вместо обещанной душевной гармонии люди получили бессонные ночи, наполненные деловой волокитой выходные и больше стресса.
Первыми страдают самые активные. Это энтузиасты, которые внедрили ИИ раньше коллег, не дожидаясь указаний начальства. Обычно такие люди амбициозны, нацелены на результат и вовлечены по максимуму. Именно эти качества делают их уязвимыми. Они не останавливаются, когда инструмент выполнил задачу, — берут на себя еще больше, пока не ломаются.
У компаний есть примерно 18 месяцев, чтобы исправить ситуацию. Сейчас выгорание затронуло только 15−20% работников — тех самых ранних пользователей. Остальных психологический эффект еще не накрыл. Если не установить правила игры прямо сейчас, весной и летом 2026 года начнется массовый отток кадров, предупреждают исследователи. Уйдут лучшие специалисты, которые раньше всех освоили новые технологии. Следом рухнет моральный дух команд, остановятся проекты, исчезнет накопленная экспертиза.
Сейчас текучка кадров в технологических компаниях держится на уровне 12−15% в год. В командах, где началось выгорание, она подскакивает до 25−35%. Это означает катастрофические затраты на поиск замены, потерю знаний, срыв сроков и деморализацию тех, кто остался. Средняя стоимость замены одного технического специалиста достигает 150−200% его годовой зарплаты с учетом времени на обучение нового человека.
Разработчикам ИИ-инструментов стоит задуматься о смене приоритетов. Следующее поколение продуктов должно делать нечто большее, чем просто ускорять выполнение задач. Нужны интерфейсы, которые подталкивают завершить дела и выйти из системы, а не накапливать их бесконечно. Настройки, ограничивающие производительность рабочим временем.
https://www.themeridiem.com/ai/2026/2/10/ai-s-productivity-paradox-hits-inflection-as-early-adopters-burn-out
The Meridiem
AI's Productivity Paradox Hits Inflection as Early Adopters Burn Out
The moment AI adoption scales beyond efficiency gains into unsustainable workload expansion. Organizations now face a critical window to establish boundaries before talent attrition cascades.
🤯8👍5🤷♂4❤4😢4😁2🥱2🖕2🤡1
Россия вышла на третье место в мире по росту зарплат IT-инженеров
Россия вышла на третье место в мире по темпам роста зарплат IT-инженеров в пересчете на доллар США в соответствии с исследованием японской кадровой компании Human Resocia.
Согласно исследованию, доходы российских специалистов в сфере разработки ПО за 2025 год увеличились на 18,2%. По этому показателю РФ уступила только Панаме (рост на 39,6%) и Румынии (29,6%).
Авторы связывают ускоренный рост зарплат в этих странах с перераспределением офшорных IT-заказов и развитием центров разработки, в том числе в сфере искусственного интеллекта.
В целом более чем в 70% стран мира зарплаты IT-инженеров выросли, что свидетельствует о сохраняющемся глобальном восходящем тренде. При этом в развитых экономиках динамика была заметно скромнее: в США рост составил 2,8%, во Франции - 3,7%, в Германии - 4,9%, в Великобритании - 5,2%, в Италии - 6,3%, в Японии - на 5,3% за год. При этом отмечается, что в Японии средний годовой доход составил 29,8 тысячи долларов, что примерно в три раза ниже показателя США (в целом показатель Японии примерно аналогично средней зарплате IT-специалистов в России по текущему курсу USD).
https://ria.ru/20260216/rossija-2074579816.html
Вообще странно бы было, если бы в долларовом выражении зарплаты в России не выросли, учитывая укрепление рубля за год почти на 30%
Россия вышла на третье место в мире по темпам роста зарплат IT-инженеров в пересчете на доллар США в соответствии с исследованием японской кадровой компании Human Resocia.
Согласно исследованию, доходы российских специалистов в сфере разработки ПО за 2025 год увеличились на 18,2%. По этому показателю РФ уступила только Панаме (рост на 39,6%) и Румынии (29,6%).
Авторы связывают ускоренный рост зарплат в этих странах с перераспределением офшорных IT-заказов и развитием центров разработки, в том числе в сфере искусственного интеллекта.
В целом более чем в 70% стран мира зарплаты IT-инженеров выросли, что свидетельствует о сохраняющемся глобальном восходящем тренде. При этом в развитых экономиках динамика была заметно скромнее: в США рост составил 2,8%, во Франции - 3,7%, в Германии - 4,9%, в Великобритании - 5,2%, в Италии - 6,3%, в Японии - на 5,3% за год. При этом отмечается, что в Японии средний годовой доход составил 29,8 тысячи долларов, что примерно в три раза ниже показателя США (в целом показатель Японии примерно аналогично средней зарплате IT-специалистов в России по текущему курсу USD).
https://ria.ru/20260216/rossija-2074579816.html
Вообще странно бы было, если бы в долларовом выражении зарплаты в России не выросли, учитывая укрепление рубля за год почти на 30%
РИА Новости
Россия вышла на третье место в мире по росту зарплат IT-инженеров
Россия вышла на третье место в мире по темпам роста зарплат IT-инженеров в пересчете на доллар США, выяснило РИА Новости на основании исследования,... РИА Новости, 16.02.2026
🤔22🥴8🔥5❤3😁1
Американские студенты бросают учиться на программистов — теперь в моде специальности в сфере ИИ
Впервые со времен краха доткомов зафиксирован спад интереса к классическим компьютерным наукам в кампусах Калифорнийского университета (UC). Хотя общий поток абитуриентов в США растет, будущие специалисты массово мигрируют из традиционных IT-направлений на новые специальности, связанные с развитием искусственного интеллекта.
Американские университеты столкнулись с неожиданным оттоком студентов с факультетов компьютерных наук. Статистика Калифорнийского университета показала снижение числа поступающих на 6% в прошлом году и еще на 3% в 2024 году. Эта тенденция развивается на фоне общего национального роста количества студентов в колледжах (на 2%) . Единственным исключением в системе стал кампус в Сан-Диего, где своевременное открытие отдельной специальности по искусственному интеллекту позволило удержать показатели набора.
Эксперты расценивают происходящее не как отказ от технологий, а как миграцию в сторону более перспективной сферы. Опрос Ассоциации компьютерных исследований показал, что падение интереса к базовому программированию зафиксировали 62% профильных факультетов. Одновременно с этим вузы США фиксируют резкий рост спроса на программы по изучению нейросетей. Например, в Массачусетском технологическом институте (MIT) направление по принятию решений на основе ИИ уже вышло на второе место по популярности, а Университет Южной Флориды за один семестр набрал более 3000 студентов в новый профильный колледж.
https://techcrunch.com/2026/02/15/the-great-computer-science-exodus-and-where-students-are-going-instead/
Впервые со времен краха доткомов зафиксирован спад интереса к классическим компьютерным наукам в кампусах Калифорнийского университета (UC). Хотя общий поток абитуриентов в США растет, будущие специалисты массово мигрируют из традиционных IT-направлений на новые специальности, связанные с развитием искусственного интеллекта.
Американские университеты столкнулись с неожиданным оттоком студентов с факультетов компьютерных наук. Статистика Калифорнийского университета показала снижение числа поступающих на 6% в прошлом году и еще на 3% в 2024 году. Эта тенденция развивается на фоне общего национального роста количества студентов в колледжах (на 2%) . Единственным исключением в системе стал кампус в Сан-Диего, где своевременное открытие отдельной специальности по искусственному интеллекту позволило удержать показатели набора.
Эксперты расценивают происходящее не как отказ от технологий, а как миграцию в сторону более перспективной сферы. Опрос Ассоциации компьютерных исследований показал, что падение интереса к базовому программированию зафиксировали 62% профильных факультетов. Одновременно с этим вузы США фиксируют резкий рост спроса на программы по изучению нейросетей. Например, в Массачусетском технологическом институте (MIT) направление по принятию решений на основе ИИ уже вышло на второе место по популярности, а Университет Южной Флориды за один семестр набрал более 3000 студентов в новый профильный колледж.
https://techcrunch.com/2026/02/15/the-great-computer-science-exodus-and-where-students-are-going-instead/
TechCrunch
The great computer science exodus (and where students are going instead) | TechCrunch
Students are losing some interest in computer science broadly but gaining interest in AI-specific majors and courses.
🤡10❤5🔥4🐳3😁2👍1👏1🖕1
Шардинг базы данных (Database Sharding)
(продолжение предыдущего поста)
1. Что такое шардинг?
Шардинг — это процесс разделения монолитной базы данных (Monolithic Database) на несколько меньших частей, называемых шардсами (shards). Цель шардинга — распределить нагрузку и увеличить масштабируемость системы. На изображении показано, как одна большая база данных разделяется на несколько шардов.
2. Типы шардинга
Существует несколько способов распределения данных по шардам:
- Range-based Sharding (шардинг по диапазонам): данные распределяются по шардам на основе диапазонов значений. Например, продукты с ценой от $0 до $75 попадают в Shard 1, а с ценой от $76 до $150 — в Shard 2. Это удобно, когда данные можно логично разделить по числовым диапазонам.
- Directory-based Sharding (шардинг на основе каталога): данные распределяются по шардам согласно определённым категориям (например, по географическому расположению клиентов). На изображении показано, как клиенты из разных регионов (North America, Europe, Asia) направляются в соответствующие шарды (Shard 1, Shard 2, Shard 3).
- Key-based Sharding (шардинг по ключу): используется хеш-функция (Hash Function) для распределения данных по шардам на основе уникального ключа. Например, ключ (Key) определяет, в какой shard попадёт запись. Это позволяет равномерно распределить нагрузку, если хеш-функция хорошо сбалансирована.
3. Выбор ключей шардинга (Shard Keys)
При выборе ключа шардинга важно учитывать три аспекта:
- Cardinality (кардинальность): лучше выбирать ключ с высокой кардинальностью (большим количеством уникальных значений). Это помогает избежать перегрузки отдельных шардов.
- Frequency (частота использования): чем больше подмножество возможных значений ключа, тем меньше вероятность «горячих разделов» (hot partitions) — ситуаций, когда один шард получает непропорционально много запросов.
- Monotonic Change (монотонное изменение): если ключ монотонно увеличивается или уменьшается (например, временные метки), это может привести к неравномерному распределению данных (один шард будет постоянно получать новые записи). Следует избегать таких ключей.
4. Маршрутизация запросов (Request Routing)
Чтобы система знала, к какому шарду обращаться, используется механизм маршрутизации запросов. Существуют три основных подхода:
- Shard-Aware Nodes (узлы, осведомлённые о шардах): узлы сами знают, где находятся данные, и напрямую обращаются к нужным шардам.
- Dedicated Routing Tier (выделенный уровень маршрутизации): специальный слой маршрутизации (Routing Tier) определяет, к какому шарду направить запрос. Это упрощает логику клиентов.
- Shard-Aware Client (клиент, осведомлённый о шардах): клиент сам решает, к какому шарду отправить запрос, основываясь на логике шардинга.
5. Репликация с шардингом (Replication with Sharding)
Для обеспечения отказоустойчивости и доступности данных используется репликация. На изображении показано, как данные шардов реплицируются между узлами (Node 1, Node 2, Node 3):
- Leader (лидер): основной узел, который обрабатывает записи (writes) для шарда.
- Follower (фолловер): реплицирует данные лидера, может обрабатывать только чтения (reads). Если лидер выходит из строя, один из фолловеров может стать новым лидером.
Например:
- Shard A Leader на Node 1 реплицируется на Shard A Follower на Node 2 и Node 3.
- Аналогично для Shard B и Shard C.
Итог
Шардинг позволяет:
- распределить нагрузку между несколькими серверами;
- увеличить производительность и масштабируемость системы;
- обеспечить отказоустойчивость за счёт репликации;
- оптимизировать доступ к данным с помощью грамотной маршрутизации запросов.
Ключевой момент — правильный выбор ключей шардинга и стратегии распределения данных, чтобы избежать «горячих разделов» и обеспечить равномерную нагрузку на систему.
(продолжение предыдущего поста)
1. Что такое шардинг?
Шардинг — это процесс разделения монолитной базы данных (Monolithic Database) на несколько меньших частей, называемых шардсами (shards). Цель шардинга — распределить нагрузку и увеличить масштабируемость системы. На изображении показано, как одна большая база данных разделяется на несколько шардов.
2. Типы шардинга
Существует несколько способов распределения данных по шардам:
- Range-based Sharding (шардинг по диапазонам): данные распределяются по шардам на основе диапазонов значений. Например, продукты с ценой от $0 до $75 попадают в Shard 1, а с ценой от $76 до $150 — в Shard 2. Это удобно, когда данные можно логично разделить по числовым диапазонам.
- Directory-based Sharding (шардинг на основе каталога): данные распределяются по шардам согласно определённым категориям (например, по географическому расположению клиентов). На изображении показано, как клиенты из разных регионов (North America, Europe, Asia) направляются в соответствующие шарды (Shard 1, Shard 2, Shard 3).
- Key-based Sharding (шардинг по ключу): используется хеш-функция (Hash Function) для распределения данных по шардам на основе уникального ключа. Например, ключ (Key) определяет, в какой shard попадёт запись. Это позволяет равномерно распределить нагрузку, если хеш-функция хорошо сбалансирована.
3. Выбор ключей шардинга (Shard Keys)
При выборе ключа шардинга важно учитывать три аспекта:
- Cardinality (кардинальность): лучше выбирать ключ с высокой кардинальностью (большим количеством уникальных значений). Это помогает избежать перегрузки отдельных шардов.
- Frequency (частота использования): чем больше подмножество возможных значений ключа, тем меньше вероятность «горячих разделов» (hot partitions) — ситуаций, когда один шард получает непропорционально много запросов.
- Monotonic Change (монотонное изменение): если ключ монотонно увеличивается или уменьшается (например, временные метки), это может привести к неравномерному распределению данных (один шард будет постоянно получать новые записи). Следует избегать таких ключей.
4. Маршрутизация запросов (Request Routing)
Чтобы система знала, к какому шарду обращаться, используется механизм маршрутизации запросов. Существуют три основных подхода:
- Shard-Aware Nodes (узлы, осведомлённые о шардах): узлы сами знают, где находятся данные, и напрямую обращаются к нужным шардам.
- Dedicated Routing Tier (выделенный уровень маршрутизации): специальный слой маршрутизации (Routing Tier) определяет, к какому шарду направить запрос. Это упрощает логику клиентов.
- Shard-Aware Client (клиент, осведомлённый о шардах): клиент сам решает, к какому шарду отправить запрос, основываясь на логике шардинга.
5. Репликация с шардингом (Replication with Sharding)
Для обеспечения отказоустойчивости и доступности данных используется репликация. На изображении показано, как данные шардов реплицируются между узлами (Node 1, Node 2, Node 3):
- Leader (лидер): основной узел, который обрабатывает записи (writes) для шарда.
- Follower (фолловер): реплицирует данные лидера, может обрабатывать только чтения (reads). Если лидер выходит из строя, один из фолловеров может стать новым лидером.
Например:
- Shard A Leader на Node 1 реплицируется на Shard A Follower на Node 2 и Node 3.
- Аналогично для Shard B и Shard C.
Итог
Шардинг позволяет:
- распределить нагрузку между несколькими серверами;
- увеличить производительность и масштабируемость системы;
- обеспечить отказоустойчивость за счёт репликации;
- оптимизировать доступ к данным с помощью грамотной маршрутизации запросов.
Ключевой момент — правильный выбор ключей шардинга и стратегии распределения данных, чтобы избежать «горячих разделов» и обеспечить равномерную нагрузку на систему.
Telegram
METANIT.COM
Шардинг базы данных (Database Sharding)
(продолжение в следующем посте)
(продолжение в следующем посте)
❤4👍4🤝2
В руководство по языку Си добавлена статья про реализацию шаблона Result с помощью макросов и обработку ошибок
https://metanit.com/c/tutorial/12.7.php
#c_ansi
https://metanit.com/c/tutorial/12.7.php
#c_ansi
🔥16❤🔥5🥰3🆒2🏆1
Полная блокировка Telegram в России может начаться 1 апреля
Роскомнадзор может приступить к полной блокировке мессенджера Telegram на территории России уже с 1 апреля. О готовящихся мерах сообщает телеграм-канал Baza со ссылкой на источники в нескольких ведомствах.
По данным канала, с указанной даты регулятор начнет «тотальную блокировку» платформы по сценарию, который ранее применялся к другим заблокированным соцсетям.
Источники утверждают, что ограничения будут действовать на всей территории страны. Предполагается, что приложение перестанет загружаться и обновлять данные как через мобильные сети операторов связи, так и через стационарных интернет-провайдеров.
Со своей стороны Роскомнадзор прокомментировал слухи о полной блокировке Telegram следующим образом: «Ведомству нечего добавить к ранее опубликованной информации по данному вопросу»
https://www.kommersant.ru/doc/8441184
Роскомнадзор может приступить к полной блокировке мессенджера Telegram на территории России уже с 1 апреля. О готовящихся мерах сообщает телеграм-канал Baza со ссылкой на источники в нескольких ведомствах.
По данным канала, с указанной даты регулятор начнет «тотальную блокировку» платформы по сценарию, который ранее применялся к другим заблокированным соцсетям.
Источники утверждают, что ограничения будут действовать на всей территории страны. Предполагается, что приложение перестанет загружаться и обновлять данные как через мобильные сети операторов связи, так и через стационарных интернет-провайдеров.
Со своей стороны Роскомнадзор прокомментировал слухи о полной блокировке Telegram следующим образом: «Ведомству нечего добавить к ранее опубликованной информации по данному вопросу»
https://www.kommersant.ru/doc/8441184
Коммерсантъ
Роскомнадзор прокомментировал слухи о полной блокировке Telegram с 1 апреля
Подробнее на сайте
🤡43💊10😁6❤1💔1🖕1
В проведенном опросе на тему, как пользователи будут отправлять сообщения при блокировке Телеграмма победил вариант "Передача сообщений с помощью костров". Голубиная почта только на втором.
https://t.me/devnull22/3395
К сожалению, забыл включить некоторые варианты. Например, если вообще замедлить интернет, то у Почты России тоже есть шанс. Так что при блокировке Телеграмма альтернативы есть.
Ну я также напоминаю, что в качестве альтернативы посты дублируются также в канале в Мах: https://max.ru/metanit на случай, если Телеграмм заблокируют (что в принципе уже стало понятно с момента запуска Max)
https://t.me/devnull22/3395
К сожалению, забыл включить некоторые варианты. Например, если вообще замедлить интернет, то у Почты России тоже есть шанс. Так что при блокировке Телеграмма альтернативы есть.
Ну я также напоминаю, что в качестве альтернативы посты дублируются также в канале в Мах: https://max.ru/metanit на случай, если Телеграмм заблокируют (что в принципе уже стало понятно с момента запуска Max)
😁20💩6🤝5❤3👎2
Роскомнадзор опроверг информацию о блокировке сервисов Windows
Решения уполномоченных органов по ограничению сервисов Windows в России не поступали. Об этом заявили в пресс-службе Роскомнадзора.
Сегодня появились сообщения о жалобах пользователей на работу Windows после обновления сервиса — россияне сообщали о «черных экранах смерти» и долгой загрузке компьютера. Также сообщается, что пользователям Windows перестали приходить обновления для операционной системы. В конечном счете это связали с работой РКН по замедлению мессенджера Telegram.
https://www.kommersant.ru/doc/8441415
Решения уполномоченных органов по ограничению сервисов Windows в России не поступали. Об этом заявили в пресс-службе Роскомнадзора.
Сегодня появились сообщения о жалобах пользователей на работу Windows после обновления сервиса — россияне сообщали о «черных экранах смерти» и долгой загрузке компьютера. Также сообщается, что пользователям Windows перестали приходить обновления для операционной системы. В конечном счете это связали с работой РКН по замедлению мессенджера Telegram.
https://www.kommersant.ru/doc/8441415
Коммерсантъ
Роскомнадзор опроверг информацию о блокировке сервисов Windows
Подробнее на сайте
🥴16🤣8😁6🤔2😢1
Стратегии повышения производительности системы
(продолжение предыдущего поста)
1. Применение CAP-теоремы и PACELC-теоремы для выбора баланса характеристик системы
- CAP-теорема утверждает, что распределённая система может одновременно обеспечить только два из трёх свойств:
- Consistency (согласованность) — все узлы видят одинаковые данные;
- Availability (доступность) — каждый запрос получает ответ, даже если он не содержит самых актуальных данных;
- Partition Tolerance (устойчивость к разделению) — система работает при разрывах связи между узлами.
Варианты выбора:
- CP-системы (Consistency + Partition Tolerance) — приоритет точности данных (например, в финансах).
- AP-системы (Availability + Partition Tolerance) — приоритет доступности, временная несогласованность данных допустима (например, в развлекательных сервисах).
- CA-системы (Consistency + Availability) — возможны только при исключении сетевого разделения
- PACELC-теорема расширяет CAP-теорему:
- При разделении сети (P) система выбирает между доступностью (A) и согласованностью (C).
- В штатном режиме (E) — между задержками (L) и согласованностью (C). Это позволяет оптимизировать производительность за счёт снижения задержек в обычных условиях работы
2. Шардирование базы данных (Database Sharding)
- Суть: распределение данных по нескольким инстансам или серверам базы данных, где каждый шард содержит уникальный поднабор данных.
- Преимущества:
- Горизонтальное масштабирование — система легко адаптируется к росту нагрузки и объёму данных.
- Уменьшение нагрузки на отдельные узлы за счёт распределения запросов.
- Механизм: использование функции хеширования (Hash Function) для распределения ключей (Keys) по шардам (Shards) на основе вычисленного хеша.
- Пример на изображении: ключи A, B, C, D распределяются по двум шардам (Shard 1 и Shard 2) с помощью хеш-функции.
3. Кэширование базы данных (Database Caching)
- Суть: хранение часто используемых данных в кэше для ускорения доступа к ним.
- Компоненты:
- Webserver отправляет запросы к кэшу и базе данных.
- Cache хранит копии данных для быстрого доступа.
- DB — исходная база данных, к которой обращаются при «промахе кэша» (Cache Miss).
- Процессы:
- Read Path (Cache Miss): если данные отсутствуют в кэше, система обращается к БД, забирает данные, сохраняет их в кэше и возвращает клиенту.
- Write Path: при записи данных сначала обновляется кэш, затем — БД.
- Преимущества:
- Снижение нагрузки на БД.
- Уменьшение времени отклика системы.
- Повышение пропускной способности.
4. Согласованное хеширование (Consistent Hashing)
- Суть: метод распределения данных по узлам с минимизацией перераспределения при добавлении/удалении узлов.
- Как работает:
- Пространство ключей представляется как кольцо (на изображении — круг с ключами K1, K2, K3, K4).
- Узлы (серверы) также распределяются по этому кольцу.
- Каждый ключ назначается ближайшему по кольцу узлу.
- Преимущества:
- Балансировка нагрузки между узлами.
- Устойчивость к отказам узлов — данные перераспределяются только на соседние узлы.
- Лёгкость масштабирования — добавление/удаление узлов требует перераспределения лишь небольшой части данных.
5. Асинхронная обработка (Asynchronous Processing)
- Суть: отделение тяжёлых вычислительных задач от основного потока выполнения для повышения отзывчивости системы.
- Компоненты:
- Service A и Service B — сервисы, обменивающиеся сообщениями.
- Broker — посредник (очередь сообщений), который буферизирует запросы.
- Механизм:
- Сервис A отправляет запрос в брокер.
- Брокер сохраняет запрос и передаёт его сервису B, когда тот готов обработать.
- Сервис B обрабатывает запрос асинхронно, не блокируя основной поток сервиса A.
- Преимущества:
- Повышение пропускной способности — система не ждёт завершения операций.
- Разделение ответственности между сервисами.
- Устойчивость к временным сбоям — брокер сохраняет запросы до их обработки.
(продолжение предыдущего поста)
1. Применение CAP-теоремы и PACELC-теоремы для выбора баланса характеристик системы
- CAP-теорема утверждает, что распределённая система может одновременно обеспечить только два из трёх свойств:
- Consistency (согласованность) — все узлы видят одинаковые данные;
- Availability (доступность) — каждый запрос получает ответ, даже если он не содержит самых актуальных данных;
- Partition Tolerance (устойчивость к разделению) — система работает при разрывах связи между узлами.
Варианты выбора:
- CP-системы (Consistency + Partition Tolerance) — приоритет точности данных (например, в финансах).
- AP-системы (Availability + Partition Tolerance) — приоритет доступности, временная несогласованность данных допустима (например, в развлекательных сервисах).
- CA-системы (Consistency + Availability) — возможны только при исключении сетевого разделения
- PACELC-теорема расширяет CAP-теорему:
- При разделении сети (P) система выбирает между доступностью (A) и согласованностью (C).
- В штатном режиме (E) — между задержками (L) и согласованностью (C). Это позволяет оптимизировать производительность за счёт снижения задержек в обычных условиях работы
2. Шардирование базы данных (Database Sharding)
- Суть: распределение данных по нескольким инстансам или серверам базы данных, где каждый шард содержит уникальный поднабор данных.
- Преимущества:
- Горизонтальное масштабирование — система легко адаптируется к росту нагрузки и объёму данных.
- Уменьшение нагрузки на отдельные узлы за счёт распределения запросов.
- Механизм: использование функции хеширования (Hash Function) для распределения ключей (Keys) по шардам (Shards) на основе вычисленного хеша.
- Пример на изображении: ключи A, B, C, D распределяются по двум шардам (Shard 1 и Shard 2) с помощью хеш-функции.
3. Кэширование базы данных (Database Caching)
- Суть: хранение часто используемых данных в кэше для ускорения доступа к ним.
- Компоненты:
- Webserver отправляет запросы к кэшу и базе данных.
- Cache хранит копии данных для быстрого доступа.
- DB — исходная база данных, к которой обращаются при «промахе кэша» (Cache Miss).
- Процессы:
- Read Path (Cache Miss): если данные отсутствуют в кэше, система обращается к БД, забирает данные, сохраняет их в кэше и возвращает клиенту.
- Write Path: при записи данных сначала обновляется кэш, затем — БД.
- Преимущества:
- Снижение нагрузки на БД.
- Уменьшение времени отклика системы.
- Повышение пропускной способности.
4. Согласованное хеширование (Consistent Hashing)
- Суть: метод распределения данных по узлам с минимизацией перераспределения при добавлении/удалении узлов.
- Как работает:
- Пространство ключей представляется как кольцо (на изображении — круг с ключами K1, K2, K3, K4).
- Узлы (серверы) также распределяются по этому кольцу.
- Каждый ключ назначается ближайшему по кольцу узлу.
- Преимущества:
- Балансировка нагрузки между узлами.
- Устойчивость к отказам узлов — данные перераспределяются только на соседние узлы.
- Лёгкость масштабирования — добавление/удаление узлов требует перераспределения лишь небольшой части данных.
5. Асинхронная обработка (Asynchronous Processing)
- Суть: отделение тяжёлых вычислительных задач от основного потока выполнения для повышения отзывчивости системы.
- Компоненты:
- Service A и Service B — сервисы, обменивающиеся сообщениями.
- Broker — посредник (очередь сообщений), который буферизирует запросы.
- Механизм:
- Сервис A отправляет запрос в брокер.
- Брокер сохраняет запрос и передаёт его сервису B, когда тот готов обработать.
- Сервис B обрабатывает запрос асинхронно, не блокируя основной поток сервиса A.
- Преимущества:
- Повышение пропускной способности — система не ждёт завершения операций.
- Разделение ответственности между сервисами.
- Устойчивость к временным сбоям — брокер сохраняет запросы до их обработки.
❤5🔥3👍2
Комбинация этих стратегий позволяет оптимизировать производительность системы с учётом конкретных требований: баланса между согласованностью и доступностью (CAP/PACELC), распределения нагрузки (шардирование, согласованное хеширование), ускорения доступа к данным (кэширование) и повышения отзывчивости (асинхронная обработка).
Telegram
METANIT.COM
Стратегии повышения производительности системы
(продолжение в следующем посте)
(продолжение в следующем посте)
🔥3👍2🤝2
Unity пообещала разработать ИИ, который позволит создавать игры по текстовому описанию
Разработчик игрового движка Unity активно внедряет инструменты ИИ, обещая пользователям ускорение разработки, повышение узнаваемости и рост доходов от рекламы.
ИИ-помощник будет работать на основе уникального понимания контекста проекта и нашей среды выполнения, используя при этом лучшие существующие модели.
В Unity уверены, что в конечном итоге десятки миллионов людей будут создавать интерактивные развлечения, используя инструменты разработки с поддержкой ИИ, и подчеркмвают что Unity намерена возглавить этот процесс.
В компании заявили, что Unity AI даст доступ к разработке игр для тех, кто не занимается программированием, одновременно повышая производительность для всех пользователей. А цель компании - максимально упростить творческий процесс, став универсальным мостом между первой искрой творчества и успешным, масштабируемым и долговечным цифровым опытом.
https://www.gamedeveloper.com/programming/unity-says-its-ai-tech-will-soon-be-able-to-prompt-full-casual-games-into-existence-
Разработчик игрового движка Unity активно внедряет инструменты ИИ, обещая пользователям ускорение разработки, повышение узнаваемости и рост доходов от рекламы.
ИИ-помощник будет работать на основе уникального понимания контекста проекта и нашей среды выполнения, используя при этом лучшие существующие модели.
В Unity уверены, что в конечном итоге десятки миллионов людей будут создавать интерактивные развлечения, используя инструменты разработки с поддержкой ИИ, и подчеркмвают что Unity намерена возглавить этот процесс.
В компании заявили, что Unity AI даст доступ к разработке игр для тех, кто не занимается программированием, одновременно повышая производительность для всех пользователей. А цель компании - максимально упростить творческий процесс, став универсальным мостом между первой искрой творчества и успешным, масштабируемым и долговечным цифровым опытом.
https://www.gamedeveloper.com/programming/unity-says-its-ai-tech-will-soon-be-able-to-prompt-full-casual-games-into-existence-
Game Developer
Unity says its AI tech will soon eliminate the need for coding
Company CEO Matt Bromberg claims AI will empower non-coders and seasoned developers alike.
😭32🤮22👎6🤔6🖕5👍3🥴2💩1🤡1🤣1