Векторных базы данных: Интересные факты

📍 Векторная база данных индексирует и хранит векторные вложения для быстрого поиска и сравнения похожести, обладая возможностями, такими как CRUD-операции, фильтрация метаданных и горизонтальное масштабирование.

📍 Недавние достижения в области ИИ общего назначения (AGI) сделали векторные базы данных настолько популярными.

📍 Векторная база данных хранит высокоразмерные векторы, извлеченные из различных неструктурированных данных, таких как аудио, видео, изображения и текст. Затем с их помощью вы можете рассчитать сходство между неструктурированными данными.

📍 Примеры использования:
- поиск похожих изображений или текста
- рекомендация похожих продуктов
- обнаружение аномалий
- временное хранение вложений для большого объема входных данных

📍 Немножко цифр. Компании, разрабатывающие векторные базы данных, которые привлекли крупное финансирование:
Pinecone: 138 миллионов долларов
Milvus: 113 миллионов долларов
Weaviate: 67,7 миллионов долларов
Chroma: 20 миллионов долларов
Qdrant: 9,8 миллионов долларов

И небольшой бонус. Ловите диаграмму сравнения между векторной базой данных и другими типами баз данных.
А вы используете векторные базы данных? Поделитесь своим опытом!

Mad Stream продолжается! 🔥

22 августа наш Frontend Developer Константин Бабушкин выступит с темой: «Garbage Collection».

За время стрима вы не только поймете как работает память и узнаете что такое Garbage Collection, но и рассмотрите основные алгоритмы, плюсы и минусы их использования и многое другое.

Дата/Время: 22 августа, 19:00 (GTM +6)

Вход на вебинар – свободный.
Ссылка будет доступна в нашем Telegram-канале за 15 минут до начала ивента.

Ждем всех!

На каких языках кодят в NASA и SpaceX 🚀

Ещё в 2000-х годах для кораблей NASA использовались маломощные по современным меркам процессоры. К примеру, в 2006 году корабли работали на процессорах Intel 8085 1976 года выпуска и для их программирования использовался Ассемблер.

Несмотря на все попытки отказаться от Ассемблера и придумать собственный язык, попытки не увенчались успехом.

Например, Министерства Обороны США разработали универсальный язык Ada. С его помощью управляли кораблями, самолётами и военными базами. Но и тут не все так просто. Ada был прост, быстр и надёжен, но он не был лёгким, из-за чего NASA перешла на С.

На сегодняшний день большая часть ПО в NASA разрабатывается на С, в то время как Python вовсе не используется. Кроме того, разработчики NASA избегают применения С++. Разработчики отмечают, что при разработке на С проблемы возникают реже, потому что он наиболее близок уровню «железа», а писать на нём — легко и быстро.

В отличие от NASA, SpaceX предпочитает использовать С++, который отлично подходит для разработки удаленных систем управления. Также, SpaceX использует JavaScript, включая фреймворк веб-приложений Knockout.js и шаблонизатор Handlebars, в свои инструменты. В компании реже применяют динамический язык стилей LESS и Python. В области операционных систем, предпочтение отдается Linux.

❓ Существует ли готовое ПО для полёта на Луну?
К сожалению, информация о конфигурациях программного обеспечения для запуска ракет не распространяется космонавтами. Тем не менее имеются обрывки данных о ранее использованных решениях.

На GitHub можно найти несколько репозиториев с кодом для миссии Apollo-11, например:
📍 chrislgarry/Apollo-11 — это восстановленный репозиторий с кодом на Ассемблере. Благодаря специалистам из Virtual AGC и Музея MIT мы узнали как выглядел код для оригинальной лунной миссии.
📍 alfonsokim/apollo-guidance-computer — Код написан на языках С и С++ и использовался для Центра принятия решений миссии Аполлон-11.
📍 virtualagc/virtualagc — большая часть этого ПО ещё одна версия ПО написана на Ассемблере, также использованы Xproc и С. Применялось для Центра принятия решений.

Кроме этого, можно посмотреть еще:
📍 VxWorks — это ОС, которая использовалась в NASA и SpaceX. Использовали для кораблей серии Dragon и для марсохода Curiosity.
📍 SOFTWARE CATALOG — это список open-source решений от NASA, используемых в программе. Например, можно найти ПО для робота Astrobee, который выполняет стыковку и посадку на МКС.

Надеемся, что мы ничего не упустили. А если вы знаете еще больше интересных фактов и готовы ими поделиться, то всегда рады вас видеть в комментариях. To infinity... and beyond 🚀

Прогуляйтесь по городу из вашего кода с помощью Grappl 🏙️

Grappl — это свежий плагин, который был выпущен в июле 2023 года. Это визуализатор для VS Code, с помощью которого можно строить целые города из вашего кода, а затем прогуливаться по ним.

С его помощью вы можете наглядно увидеть, как устроена кодовая база вашего проекта, какие зависимости в ней есть или какого кода ей не хватает. Кроме того, вы можете выявить деградирующие участки кода в базе и определить точное место ошибки.

Grappl работает с любыми языками, поддерживаемыми VS Code, и весь анализ кода происходит в пределах вашей локальной среды VS Code.

Несмотря на то, что это коммерческий проект, в текущей версии плагин доступен бесплатно для всех желающих.

❓ Как использовать Grappl?

1️⃣ Установите Grappl с помощью команды ext install grappl.grappl в VS Code.

2️⃣ Запустите парсинг вашего кода. Плагин предложит выполнить парсинг сразу после запуска. Весь код будет загружен из папки src в VS Code, но вы также можете добавить другие источники в настройках. Начнется процесс визуализации кода.

3️⃣Для прогулки по городу, построенному на основе вашей кодовой базы, используйте стрелки на клавиатуре и мышь/тачпад, словно вы перемещаетесь по карте.

4️⃣Подключите Jira и Trello, чтобы видеть, что необходимо добавить в коде и какие проблемы требуют решения. Добавить доски можно с помощью команды alt+d. Если вы хотите выбрать карточку с задачей и приступить к работе над ней, нажмите alt+c.

5️⃣Чтобы посмотреть, как блоки кода связаны между собой, нажмите на блок в Grappl и затем alt+r. Плагин отобразит все зависимости.

Grappl — это новый проект, поэтому делать окончательные выводы о его полезности пока сложно. Однако вы можете сформировать свое мнение и поделиться им с нами в комментариях. 👇

Напоминаем, что уже сегодня в 19:00 (UTC 6+) начнется Mad Stream на котором Константин Бабушкин, наш Frontend Developer, выступит с темой доклада «Garbage Collection»🔥

Вход на стрим – свободный! Ссылка будет опубликована в нашем Telegram-канале за 15 минут до начала ивента.

Mad Stream начнется через 15 минут! 🔥

Сегодня наш Frontend Developer Константин Бабушкин выступит на онлайн-стриме с темой: «Garbage Collection».

🔗 Ссылка на трансляцию.

Зачем нужен MISRA C — стандарт с огромным количеством запретов? 🚗

Стандарт MISRA был разработан ассоциацией MISRA (Motor Industry Software Reliability Association) в 1994 году в Великобритании. Изначальная цель его создания заключалась в повышении безопасности и надежности ПО для автомобилей, так как уже в начале 1990-х стало очевидно, что некачественный код может представлять опасность для пассажиров.

В 1994 году был выпущен первый стандарт "MISRA Guidelines for the Use of C in Vehicle-Based Software". Он определил правила для использования языка C в автомобильном ПО.

В последующие годы стандарт обновлялся и дополнялся. В 2023 году он снова был обновлен; вы можете ознакомиться с ним самостоятельно на официальном сайте.

Таким образом, MISRA C — это набор промышленных рекомендаций и стандартов, разработанных для разработки программного обеспечения на языке C.

На сегодняшний день, MISRA широко используется. Среди компаний, использующих данный стандарт, можно назвать BMW, Ford, General Motors, Toyota, Airbus, Boeing, Siemens Healthineers, Philips Healthcare, Schneider Electric и многие другие.

Именно строгий стандарт MISRA помогает исключить возможность ошибок, которые могут стоить жизни.

Он определяет правила, которым разработчикам следует следовать при написании кода. Каждый год количество правил только растет. Они включают рекомендации по оформлению, использованию конструкций языка и предупреждают о потенциальных проблемах, таких как неопределенное поведение или возможность ошибок.

❓ Как проверять код на соответствие MISRA

Существует несколько анализаторов кода, например:
📍 PC-lint/FlexeLint — популярный инструмент статического анализа для языка C и C++. Он поддерживает проверку соответствия нескольким версиям стандарта MISRA C.
📍 Polyspace — анализатор, который поддерживает проверку соответствия стандарту MISRA C. Он помогает выявлять проблемы, такие как неопределенное поведение или использование небезопасных функций.
📍 Klocwork — инструмент статического анализа, поддерживающий проверку соответствия стандарту MISRA C.
📍 Cppcheck — бесплатный и открытый инструмент статического анализа для C и C++. Исходно он не настроен на проверку соответствия стандарту MISRA, но может обнаруживать некоторые нарушения.

Также существуют специализированные компиляторы:

📍 IAR Embedded Workbench — компилятор, который предоставляет статический анализатор для поиска нарушений правил MISRA и предлагает решения для их исправления.
📍 MULTI IDE — интегрированная среда разработки (IDE) с компилятором, поддерживающим стандарт MISRA C. Она включает инструменты статического анализа, охватывающие правила MISRA и помогающие выявить потенциальные ошибки.

Соблюдение стандарта MISRA C — это только один из инструментов для создания безопасного ПО, но следование этому стандарту зависит от конкретного проекта. Компании могут создавать свои собственные правила, включая MISRA C, и сочетать их с другими методологиями и практиками, такими как тестирование или обзор кода.

Как мы принимаем решения? Мозгом!

Нейроэкономика объединяет нейробиологию, психологию и экономику для моделирования человеческого поведения и принятия решений. Решения формируются на уровне нейронной системы, где нейронная сеть анализирует данные и делает оптимальный выбор. Сигналы (мотивационные, сенсорные или когнитивные) поступают к нейронам-детекторам, а нейроны-интеграторы обрабатывают альтернативы и выбирают лучший вариант.

📌 Процесс принятия решений разделяется на четыре этапа:

⚙️ Формулирование цели
Определение конечного решения и учет влияния внутренних процессов и внешних факторов. На данном этапе мозг анализирует внутренние органические процессы и воздействие внешних факторов, оценивая их потенциальное влияние на конечный результат.

⚙️ Альтернативы
Оценка ценности всех доступных альтернатив.

⚙️ Выбор
Сравнение и выбор наиболее эффективной альтернативы. Момент, когда различия между альтернативами становятся максимальными, называется порогом принятия решения.

⚙️ Реализация решения
Оперативная обработка выбранного решения и оценка полученного результата.

Интересный факт, что далее наступает этап, когда обработка информации о принятом решении и обновляет "базу данных" мозга, и в будущем вы можете принимать аналогичные решения быстрее.

Этот процесс также можно назвать рациональным. Такой подход требует больше времени в отличие от эмоционального (интуитивного), который отличается автоматизмом и желанием получить результат «здесь и сейчас».

📌 Немного статистики:
- За 8 секунд до принятия решения человеком его уже принимает мозг.
- На 20% эффективнее принимают решения позитивно мыслящие люди.

📌 Что почитать больше о работе мозга при принятии решений?
📚Питер Уайброу «Мозг. Тонкая настройка. Наша жизнь с точки зрения нейронауки».
📚Даниэль Канеман «Мышление, быстрое и медленное».

🤖 Новое в CSS и пользовательском интерфейсе: издание I/O 2023. Часть 1.

Последние месяцы стали новой вехой в мире веб-интерфейсов. Браузеры получили новые инструменты, расширяя функциональность и настройки веб-страниц.

Собрали для вас все новинки CSS и UI из обзора от команды Google I/O. Ознакомиться с подробностями вы можете в оригинальной статье.

В данной серии постов мы поговорим про самые захватывающие и впечатляющие функции.

Сегодня разберем основные новинки в Responsive web-design.

📌 Container Queries и Style Queries
Container Queries — стандарт во всех современных браузерах. Они позволяют задавать стили дочерних элементов на основе размеров и стилей родителя. Более точны и работают с вложенными макетами. В Chrome 111 частично реализовано через CSS-свойства для стилей контейнера. Спецификация container query позволяет запросить стили родительского контейнера. Это лишь начало для Style Queries. В будущем планируются логические запросы для определения пользовательских свойств и range queries для стилей на основе диапазонов значений, уменьшая повторения кода.

📌 :has()
Селектор :has() — мощная новинка CSS, позволяющая стилизовать элементы на основе наличия дочерних элементов или их состояния в родительском элементе. Этот селектор значительно расширяет возможности CSS, делая компоненты более динамичными. Функция API :has() не ограничивает выбор только родителя. Вы также можете стилизовать дочерние элементы.

📌 text-wrap: balance
Логика не ограничивается лишь селекторами и стилями. В Chrome 114 появилась возможность балансировки переноса текста в заголовках через свойство text-wrap с значением balance. Типографика становится более гибкой.

📌 initial-letter
Это новое свойство CSS, улучшающее веб-типографику. Оно помогает управлять стилизацией буквиц в виде внутреннего начертания. Применяется через :first-letter с размером и отступом, зависящими от строк и погружения буквы в блоке.

📌 Dynamic viewport units
Для веб-разработчиков актуальна проблема точного размера элементов на всю высоту viewport. Единица измерения vh не учитывает сворачивание панели навигации, приводя к избыточной длине. Были представлены новые единицы измерения: svh, svw (малая высота и ширина) и lvh, lvw (большая высота и ширина), а также dvh, dvw (динамические) для точного контроля размеров.

Следите за обновлениями и не упустите вторую часть 🔔

🤖 Новое в CSS и пользовательском интерфейсе: издание I/O 2023. Часть 2.

Собрали для вас все новинки CSS и UI из обзора от команды Google I/O. Ознакомиться с подробностями вы можете в оригинальной статье.

🔴 Сегодня мы поговорим о новинках в CSS Foundations.

📌 Вложенность CSS
Вложенность CSS, популярная в Sass, теперь доступна на веб-платформе. Это упрощает группировку и сокращает код. Вложенность распространяется на медиавыражения и даже на Container Queries.

📌 Стили с ограниченной областью действия (scoped styles)
Scoped styles создают собственное пространство имен в CSS. Они предотвращают конфликты стилей, позволяя указывать границы, в которых применяются стили. Можно использовать @scope, чтобы создать область видимости для элементов, например, .title внутри .card, избегая конфликтов с другими элементами на странице.

📌 Отдельные свойства transform
Теперь можно применять подфункции scale, rotate и translate отдельно в анимациях. Благодаря этому изменения в смещении, повороте или масштабировании могут происходить одновременно с разными скоростями в разное время в течение анимации.

🔴 Кроме того, мы рассмотрим новости в настраиваемых компонентах.

📌 Позиционирование якоря
Всплывающие окна (popovers) важны в диалоговых окнах и подсказках. Вы можете создать центрированную всплывающую подсказку с помощью функции «anchor()», используя ширину элемента-якоря для позиционирования всплывающей подсказки посередине по оси x относительно якоря.

📌
С помощью всплывающих окон (popover) и позиционирования якоря (anchor) вы можете создавать полностью настраиваемые выпадающие меню (selectmenus).

📌 Дискретные переходы свойств. ( Discrete property transitions)
Для плавных анимаций всплывающих окон веб-платформа создает механизм анимирования дискретных свойств. Это включает анимацию перехода на верхний слой и из display: none. Освещение новых переходов для всплывающих окон, меню и других элементов является важной задачей браузеров.

🔴 А также затронем обновления в группе взаимодействия.

📌 Анимации, управляемые прокруткой (scroll-driven animations)
Анимации, связанные с прокруткой, управляются положением прокрутки. Они создают интересные эффекты: параллакс, индикаторы прогресса, появление изображений. Новые JavaScript и CSS классы/API облегчают создание декларативных анимаций, включая плавные анимации вне главного потока.

📌 Просмотр перехода (View transitions)
View Transition API упрощает изменение DOM с анимированным переходом между состояниями. Это могут быть простые переходы между представлениями, но вы также можете контролировать, как должны переходить отдельные части страницы. Он также поддерживает поэтапное улучшение, предоставляя резервный вариант для неподдерживающих браузеров.

Надеемся, что вам была полезна эта серия постов и вы уже испели что-нибудь испробовать. Напоминаем, что узнать больше вы можете в оригинальной статье или в видеороликах I/O.

"Ты не заслуживаешь своей должности. Ты не справишься с этой задачей. Твои достижения – это череда случайностей. Все всё равно узнают, что ты не на своем месте."

Считается, что синдром самозванца есть у 70% всех людей, и даже Альберт Эйнштейн был ему подвержен. Но что это такое? Модный тренд, который может помочь вам в работе? Или же проблема, о которой не стоит молчать? И можно ли от него избавиться?

В новом выпуске Олег Пузанов, Михаил Иващенко и специальный гость Даниил Вартанов на собственных примерах расскажут, каково это чувствовать неуверенность в своих навыках и постоянно ощущать страх быть разоблаченным.

🔗 https://youtu.be/NatXbPH1Tyw

Приятного просмотра!

Продвинутая логика именования в Python 🐍

Разработчики часто сталкиваются с ситуацией, когда комментировать код кажется непривлекательным или затратным занятием. В этом посте мы рассмотрим, как выбирать имена переменных и функций так, чтобы они были информативными и не требовали дополнительных пояснений.

📌 Используйте PEP 8 (Python Enhancement Proposal) — документ, определяющий рекомендации и стандарты для улучшения качества кода. В нем описаны принципы, которые способствуют увеличению читаемости и понимания кода.

📌 Используйте четыре пробела, избегайте табуляции и пробелов в конце строк. Добавляйте пустые строки между функциями и классами, а также вокруг операторов.

📌 Ограничивайте строки кода до 79 символов, но если выражение длинное, делайте перенос.

📌 Импортируйте только необходимые компоненты. И группируйте следующим образом: стандартные, сторонние библиотеки, самописные модули. Разделяйте группы пустыми строками.

📌 Следует добавлять пробелы до и после операторов (=, +, -, *, /) и после запятых, но не используйте лишних пробелов, чтобы не усложнять код.

📌 Имена в коде должны быть читаемыми, с разделением слов нижним подчеркиванием (например, record_count). Записывайте константы заглавными буквами с нижним подчеркиванием.

📌 Избегайте начала имени с цифры и использования зарезервированных слов в языке.

📌 Добавляйте пояснительные комментарии к сложным участкам кода, начиная с заглавной буквы и разделяя текст комментария двумя пробелами от символа #.

📌 Используйте docstrings для документирования модулей, функций, классов и методов, описывая параметры, возвращаемые значения и исключения.

📌 Придерживайтесь одного уровня отступа для каждого нового блока кода. Избегайте хардкод-чисел и заменяйте их на именованные константы.

Кроме этого, вы можете:

📌 Использовать аббревиатуры.

📌 Оставлять неизменными названия переменных, которые устоялись в документации.

📌 Опускать гласные в существительных.

📌 По умолчанию именовать столбцы по-английски.

Сегодня работа с именованием переменных постепенно становится проще. Если вам это дается нелегко, то вы можете спросить у удобного для вас ИИ.

Продолжается регистрация на DevOps Night ⚡️

Первый профессиональный митап для DevOps инженеров от Mad Devs состоится уже 12 сентября. Напомним, что мы приготовили для вас 3 доклада от наших экспертов, которые могут быть интересны инженерам разных уровней и направлений, но прежде всего тем, кто является или желает стать DevOps-ом.

Cпикеры и доклады:
🎤 Иван Филянин: «Построение безопасной инфраструктуры для HIPAA и SOC2 с использованием Terraform и GKE в Google Cloud»
🎤 Денис Дудко: «Dockerfile: разбираем лучшие практики шаг за шагом»
🎤 Марат Бедиев: «PaaS: магия простого развёртывания приложений»

Участие в митапе абсолютно бесплатное. Регистрация доступна по ссылке.

Не пропустите:
📅 12 сентября 2023 года
⏰ Начало в 18:00
📍 Бишкек, ​микрорайон Асанбай, 27/1, ololo OrmonKhan

До встречи на ивенте!

Как ускорить обучение с помощью парного программирования

В этом посте разберём концепцию парного программирования и как её использовать эффективно для обучения навыкам написания кода.

Парное программирование — это метод написания кода вдвоем, где один пишет код, а другой наблюдает и дает советы, исправляет ошибки. Примерно каждые 20-30 минут они меняются ролями, обсуждая, помогая и учась друг у друга.

❓ Где найти себе пару
Вы можете написать в чат группы\рабочий предложение поработать вместе. Либо вы можете попробовать найти себе пару в любом IT-коммьюнити. Другой вариант — поучаствовать в чемпионатах и конкурсах по спортивному программированию. Учтите, что лучше работать в паре новичок-опытный.

❓ Почему двое лучше, чем один
При правильном использовании вы увеличиваете эффективность кодинга, как с точки зрения скорости так и качества кода, так как:

📌 Разработчики не отвлекаются на посторонние задачи. Уровень прокрастинации падает, а производительность повышается до максимума.
📌 Вам становится проще и оперативнее найти баг.
📌 Пишущий фокусируется на строчках, которые пишет прямо сейчас, а наблюдатель видит картину в целом, что повышает качество кода.
📌 Парное программирование позволяет научиться всему, т.к. происходит взаимное обучение.

❓ Как правильно проводить парное программирование для ускорения своего обучения
Убедитесь, что у вашей “пары” одинаковые стандарты кодирования. Не используйте парное программирование для слишком простых или слишком сложных задач, где требуется постоянное чтение документации/анализ.

Вот несколько правил:
📌 Меняйтесь ролями каждые 20-30 минут;
📌 Пока кто-то пишет код, второй участник наблюдает, а не занимается своими делами.
📌 Для первых разов ограничьтесь 1-2 часами кодинга.

❓ Как помогают чемпионаты
Участие в соревнованиях и чемпионатах — это распространенный вид активности, который дает возможность не только получить новые навыки, но и выиграть интересные призы.

Вы сами можете организовать их в рамках своей компании в качестве тимбилдинга. В качестве задания может быть работа над каким-либо открытым проектом. В роли ведущго ведущего пусть будет опытного сеньор, который сможет вести участников и подсказывать им, что делать.

Такая практика поможет и улучшить навыки кодинга сотрудников, и укрепить отношения в команде.

Парное программирование в теории звучит очень интересно, но лучше всего попробовать это на практике. А если вы уже участвовали, то расскажите о своём опыте в комментариях.