Миграция пеликанов в облака: как реализовать сложный орнитологический проект на базе облачной платформы. Часть 1

ML-технологии помогают значительно сократить ручной труд, повысить точность и скорость расчетов. Но, чтобы использование ML было результативным, важно правильно выстроить весь пайплайн работы с данными и развернуть его в удобной для пользования среде. Последнее особенно важно, если конечный пользователь продукта — человек без глубокой экспертизы в ИТ. В этом на своем опыте убедилась команда проекта «Сохранение кудрявого и розового пеликанов».

Читать дальше →

#vk_cloud #cloud_ml_platform #mashine_learning | @habr_ai

Как рост вычислительных мощностей отражается на точности и качестве моделей

ИИ развивается стремительными темпами, но чем сложнее становятся технологии, тем больше усилий требуется для создания подходящей инфраструктуры. По данным TrendForce, объём поставок ИИ-серверов во втором квартале 2024 года увеличился почти на 20% по сравнению с предыдущим кварталом. Аналитики ожидают, что по сравнению с 2023 годом годовой рост может составить 41,5%. Облачные провайдеры перенаправляют бюджеты на закупку ИИ-серверов. Для сравнения, рост поставок обычных серверов составит всего 1,9%.

Один из главных способов получить доступ к передовым чипам — облако. Виртуальные GPU-серверы — эффективное решение для работы с нейронными сетями, большими данными и параллельными вычислениями. Однако необходимость сокращения издержек разработки систем ИИ становится всё более очевидной, а преимущества в решении данной задачи — фактором конкуренции в этой области.

Посмотрим, что происходит в сфере аппаратного и программного обеспечения. Читать дальше →

#gpu #cloud #облако #облачные_вычисления #ии #ml #нейросеть #мощности_в_аренду | @habr_ai

Графические ускорители: битва между AMD и NVIDIA

Графические процессоры (GPU) стали важной частью современной вычислительной техники, превратившись из устройств для рендеринга графики в критически важные компоненты для ИИ, обработки данных и высокопроизводительных вычислений. GPU состоят из множества вычислительных блоков, в основном простых арифметико-логических устройств (ALU), которые часто дополняются специализированными ядрами, такими как тензорные и RT ядра. Эти специализированные ядра позволяют параллельно обрабатывать сложные уравнения с векторами, матрицами и тензорами. В этой статье мы рассмотрим конкуренцию между AMD и NVIDIA, выясняя, почему AMD постоянно отстает от NVIDIA в ускорении GPU и гонке ИИ, и изучим исторические, технологические и стратегические факторы, которые сформировали это соперничество.

Читать далее

#amd #nvidia #cuda #нейросети #ai #компьютерное_железо #облака #cloud #itglobal_com | @habr_ai

Расцвет скоростей в сетях ЦОД: 400GbE уже мейнстрим или совсем мало?

Привет! Меня зовут Михаил Шпак, я занимаюсь комплексной архитектурой технологических решений в сетевой части ИТ-холдинга Fplus, который выпускает широкий спектр высокотехнологичных электронных устройств. В данной статье я хочу показать, как за последние 5 лет требования современного бизнеса и развитие ресурсоемких приложений (искусственного интеллекта, поисковых систем, мобильной связи стандарта 5G и т.д.) изменили требования к архитектуре, скорости и отзывчивости сетей, используемых в центрах обработки данных. Давайте разберемся, какие комплексные технологические решения заставляют нас ускоряться, а где можно использовать старые наработки и отточенные десятилетиями практики.

Читать далее

#цод #400gbe #облачные_вычисления #cloud_computing #большие_данные #искусственный_интеллект #архитектура #gigabit_ethernet | @habr_ai

Влияние трендов в IT на жизнь технических специалистов: плюсы и минусы

Привет, хабровчане! Мы в компании ежегодно делаем подборку трендов в сфере информационной безопасности. Недавно собрали данные от наших экспертов и слово за слово разговорились об общих трендах в IT. Интересным оказалось обсуждать не влияние технологий на жизнь вообще, а то, как их развитие сказывается на жизни людей, чья работа связана с написанием программ и защитой информации. В общем — на жизни таких, как мы с вами. Наши коллеги предложили для обсуждения такие тренды: роботы-курьеры, нейротехнологии, ChatGPT и подобные системы ИИ, технологии cloud native и машинное зрение. Если вам приходят в голову другие — напишите в комментариях, будет интересно рассмотреть их тоже! Поразмышляем, сделает ли развитие технологий нашу жизнь лучше, какие сложности возникнут в будущем и как можно снизить возможные риски.

В этой статье будем рассуждать о плюсах и минусах развития технологий с позиции «обобщенного» сотрудника IT-компании. Мы представили его как человека лет тридцати-сорока, имеющего семью, детей и питомцев, любящего путешествовать. Его родители еще достаточно молоды и самостоятельны, дети — малыши и школьники. Как развитие технологий повлияет на жизнь этого человека и его семьи? Впрочем, наш герой вполне может быть одиночкой-домоседом, воспитывающим ммм... игуану и тоже, представьте себе, работать в IT и испытывать влияние технологий.

Читать далее

#нейротехнологии #машинное_зрение #cloud_native #роботы_курьеры #chatgpt #самокат_доставка #яндекс_еда #облако #мобильность_разработчика | @habr_ai

Векторный поиск внутри PostgreSQL: что умеет и где может пригодиться pgvector

Итак, ваш проект вырос и вам потребовалась новая функциональность, будь то рекомендательный движок, база знаний или автоматизированная первая линия техподдержки. Для всего этого можно использовать векторный и/или семантический поиск, а также интегрировать в проект LLM. Поздравляю — теперь вам нужно еще и хранить embedding-векторы, а также искать по ним ближайшие объекты. Решений два: внешняя векторная БД или интеграция всего этого богатства в существующий стек. Второй путь проще на старте, немного быстрее и обычно дешевле — разумеется, если вы уже используете PostgreSQL.

Привет, Хабр! Меня зовут Александр Гришин, я отвечаю за развитие продуктов хранения данных в Selectel: облачных баз данных и S3-хранилища. В этой статье я расскажу о pgvector — расширении для PostgreSQL, которое позволяет добавить векторный поиск без внешних сервисов, пересборки архитектуры и большого количества работы. Материал пригодится продуктовым командам, архитекторам, бэкенд-разработчикам и инженерам данных. Читать дальше →

#selectel #postgresql #cloud #dbaas #embeddings #vector #vectordb #pgvector | @habr_ai

Как облачные ассистенты и RAG‑технологии меняют работу с LLM: интервью с директором продуктовой разработки Cloud.ru

Привет, Хабр! Последнее время я много слышал, что в облачных технологиях появляются ИИ‑ассистенты. Они перестают быть экспериментом и становятся рабочим инструментом. Кроме того, нейросетевые модели всё больше появляются в разных облаках. Но как это выглядит с точки зрения разработчиков облачных платформ, и какие технологии лежат в основе таких сервисов? Об этом я поговорил на конференции GigaConf с директором продуктовой разработки Cloud.ru Владимиром Шульгой. Также в разговоре затронули темы RAG‑пайплайна, интеграции LLM в DevOps‑процессы, автоматизации рутинных операций и о том, как облачные ассистенты меняют пользовательский опыт. Приятного чтения! Читать далее

#cloud_ru #gigaconf #облачный_сервис #ии_помощники #искусственный_интеллект | @habr_ai