⚡️⚡️⚡️Несколько часов назад Qwen анонсировали QvQ-72B-Preview — первую open source мультимодальную модель с ризонингом (умеет итеративно «размышлять/рассуждать» и двигаться в сторону правильного ответа)

Сами авторы говорят, что модель в стадии preview и может «тупить», но так или иначе метрики очень крутые. Ключевые проблемы:
📍Модель может миксовать языки при ответах
📍Модель может зацикливаться в рассуждениях, не приближаясь к правильному выводу
📍Требуется дополнительный уровень безопасности и “любимого” alignment
📍В ходе рассуждений модель может утратить внимание на входную картинку и начать галлюцинировать

Ещё детали и примеры в блоге👇
https://qwenlm.github.io/blog/qvq-72b-preview/

Коротко о прошлом ))))

Двухчасового интервью достаточно, чтобы создать ИИ-копию вашей личности 🤯

В исследовании Google и Стэнфордского университета представлены «симуляционные агенты» — модели ИИ, разработанные для имитации человеческого поведения с поразительной точностью.

С 1052 участниками проводились углублённые интервью, которые касались личных историй, ценностей и мнений и сформировали набор данных для обучения моделей.

Затем ИИ-реплики прошли те же тесты, отразив ответы своих человеческих аналогов с точностью в 85%.

«Если у вас будет несколько маленьких «вы», которые будут бегать вокруг и принимать решения, которые приняли бы вы, — я думаю, что это и есть будущее», — сказал руководитель данного исследования.

https://www.techspot.com/news/106201-two-hour-interview-enough-create-accurate-ai-replica.html

У ChatGPT серьёзные проблемы — террорист, который подорвал себя в Tesla Cybertruck возле отеля Трампа, собрал бомбу по инструкции от нейросети.

Шериф Лас-Вегаса утверждает, что у них есть диалоги мужчины с ChatGPT: нападавший узнал у ИИ о конструкции бомбы, необходимом количестве взрывчатки, где это все купить и как собрать вместе.

OpenAI ответили на обвинение тем, что эта информация лежит в открытом доступе в интернете, а нейросеть просто помогла её найти, трижды предупредив террориста, что взрывать себя вместе с машиной — не лучшая идея.

Ждём новую цензуру в нейросетях.

Никогда не было и вот опять...

Убийца ChatGPT от китайцев вышел в открытый доступ — создатели Qwen2.5 выкатили свой, полностью БЕСПЛАТНЫЙ чат-бот. И это ИМБА для всех задач.

Qwen2.5 во многом не уступает GPT-4o, при этом предлагая безграничные возможности за ноль рублей. В боте есть:

• Модель Qwen2.5-Plus — самая умная модель от китайцев
• Qwen2.5-Turbo — модель с контекстом в 1 млн токенов. Она осилит генерацию целых дипломов или даже книг
• Распознавание документов, генерация их саммари и перевод на любой язык
• Загрузка картинок и видосов — их описание, объяснение и расшифровка со всеми таймингами
• Бот умеет отправлять промпт сразу нескольким моделям — обеспечивая самый эффективный результат
• Мгновенная генерация кода и проверка его работы в СОСЕДНЕМ окне
• В математике у Qwen2.5 тоже почти нет равных.

Русский язык на месте, никаких донатных опций нет — пробуем тут.

Ну во-первых это красиво... )) То что мы живем в матрице, сомнений у меня не осталось, от слова совсем.

Факт...

Скоро действительно придётся звать Уилла Смита: китайский робот с самой человечной походкой вышел на прогулку

Его уже продают за 1,2 млн рублей.

Эх )))

​​🛞Читаем статьи за Вас №20:

Grafana — прошлое, настоящее, будущее и альтернативы

✔️История Grafana
• Grafana — популярное приложение для мониторинга и визуализации данных.
• Основано в 2013 году Торкелем Одегаардом.
• Первая версия упростила настройку дашбордов и построение запросов.

✔️Переход от open source к Open SaaS
• В 2014 году Торкель и Радж Датт основали компанию Grafana Labs.
• В 2016 году запущена платформа Grafana Enterprise.
• В 2019 году количество активных инстансов превысило 400 тыс.

✔️Развитие и вклад сообщества
• В 2015 году добавлена поддержка бэкенда на Go.
• В 2016 году выпущена третья версия с системой плагинов.
• Вклад сообщества в виде разработки плагинов и поддержки OpenTSDB.

✔️Настоящее и будущее
• С 2019 по 2022 год выпущены инструменты Loki, Tempo и Mimir.
• В 2021 году сменили лицензию с Apache 2.0 на AGPL 3.0.
• Некоторые разработчики сомневаются в переходе на AGPL 3.0 из-за ограничений для других проектов.

✔️Аналоги Grafana
• Kibana и Graphite — важные инструменты визуализации данных.
• В 2021 году Kibana сменила лицензию на SSPL, что привело к созданию OpenSearch.
• OpenSearch стремится поддерживать паритет с Kibana, но отстает в некоторых областях.

​​🛞Читаем статьи за Вас №21:

Система визуализации и мониторинга. Grafana + Prometheus

✔️Установка Grafana на Windows
• Скачиваем и устанавливаем Grafana
• Устанавливаем Prometheus для сбора метрик
• Устанавливаем Windows_exporter для сбора статистики с системы
• Устанавливаем Blackbox_exporter для мониторинга доступности URL

✔️Настройка Grafana
• Изменяем значение в файле defaults.ini для включения SMTP
• Запускаем службу Grafana и проверяем интерфейс

✔️Настройка Prometheus
• Вносим изменения в файл prometheus.yml для подключения Windows_exporter и Blackbox_exporter
• Запускаем Prometheus и проверяем статус сервисов

✔️Настройка панелей мониторинга
• Подключаем источник данных Prometheus в Grafana
• Настраиваем панели мониторинга для метрик Windows_exporter
• Добавляем новые ПК для мониторинга, изменяя файл Prometheus.yml

✔️Настройка конкретных метрик
• Создаем панели для отображения конкретных служб и метрик
• Настраиваем Value mappings для удобства восприятия

✔️Завершение настройки
• Проверяем статус метрик и настраиваем нужные под свои задачи
• Базовая настройка завершена, можно приступать к использованию

#graphana #prometheus #analytics

​​🛞Читаем статьи за Вас №22:

Введение в мониторинг серверов с помощью Prometheus и Grafana

✔️Основы мониторинга с Prometheus, Node Exporter и Grafana
• Мониторинг необходим для контроля состояния серверов и своевременного реагирования на проблемы.
• Prometheus собирает метрики из разных сервисов, Node Exporter предоставляет метрики ОС, а Grafana визуализирует данные в виде графиков.
• В статье рассматривается настройка мониторинга на примере Ubuntu, но инструменты поддерживают и другие ОС.

✔️Установка и настройка компонентов
• Node Exporter устанавливается через GitHub и предоставляет метрики через HTTP.
• Prometheus требует файл конфигурации и папку для хранения данных, настраивается на сбор метрик от Node Exporter.
• Grafana подключается к Prometheus и отображает собранные метрики на графиках.

✔️Настройка Grafana
• Настройка источника данных (datasource) с использованием Prometheus.
• Создание дашборда с помощью импорта готовых панелей или создания собственных.
• Установка плагинов для расширения функциональности дашборда, например, для отображения круговых диаграмм.

Ссылка: https://habr.com/ru/articles/652185/
#graphana #prometheus #analytics

https://github.com/Helicone/helicone - open-source LLM developer platform

​​🛞Читаем статьи за Вас №23:

Clickhouse, Grafana и 3000 графиков. Как построить систему быстрых дашбордов

✔️Проблема производительности дашбордов
• Вопросы по типу "где данные" возникают часто и требуют быстрого ответа.
• Дашборды помогают получать ответы на разные вопросы в любой момент времени.
• Дашборды объединяют в системы для комплексного обзора данных.

✔️Инструменты и данные
• Clickhouse используется для хранения данных.
• Grafana используется для визуализации данных.
• Altinity Plugin соединяет Clickhouse с Grafana.

✔️Требования к дашбордам
• Графики должны быть читаемыми и интуитивно понятными.
• Дашборды должны загружаться стабильно и быстро.
• Данные должны быть согласованы между разными дашбордами.

✔️Методы оптимизации производительности
• Мониторинг за мониторингом для выявления проблем.
• Правильное проектирование дашбордов для избежания ошибок.
• Разделение ответственности и введение квот на запросы.

✔️Работа с Clickhouse
• Определение оптимальных запросов для ускорения графиков.
• Оптимальное хранение данных для быстрых запросов.
• Кэширование результатов запросов для экономии ресурсов.

✔️Мониторинг и алерты
• Работа с системными таблицами для анализа запросов.
• Настройка алертов на скорость выполнения запросов.
• Разметка запросов в Grafana для разделения по дашбордам.

✔️Инструменты внешнего мониторинга
• Использование sitespeed для регулярного открытия дашбордов.
• Логирование метрик с Grafana для анализа причин проблем.

✔️Правильное проектирование дашбордов
• Внимательное отношение к переменным в дашбордах.
• Избегание хранения всех графиков в одной строке для оптимизации запросов.

✔️Проблемы с нагрузкой на БД
• Раскрытие строк создаёт нагрузку на БД, что замедляет работу системы.
• Несколько быстрых запросов лучше, чем один медленный.

✔️Разделение ответственности
• Дашборды делятся на общие и внутренние.
• Общие дашборды должны быть стабильными, внутренние — быстрыми.
• Для подключения Clickhouse к Grafana нужен сервисный пользователь с квотами.

✔️Оптимизация запросов
• Чем меньше колонок в запросе, тем лучше.
• Используйте колонки из ключа сортировки.
• Динамическое семплирование для чтения меньшего объёма данных.
• Используйте макрос $unescape() для скрытия ненужных колонок.
• Выполняйте приближенные вычисления на больших данных.
• Агрегируйте данные заранее и используйте агрегаты в графиках.

✔️Показатели оптимальности запросов
• Время выполнения, количество прочитанных строк и байт.
• Фиксируйте эти показатели и сравнивайте с прошлыми замерами.

✔️Оптимальное хранение данных
• Используйте правильные типы данных.
• Подберите ключ сортировки и ключ партицирования.
• Экспериментируйте с гранулярностью и смешанной политикой хранения.

✔️Оптимизация медленных таблиц
• Перекопировать данные или сделать Materialized View.
• Кэшируйте результаты запросов с помощью use_query_cache = True.

✔️Проблема согласованности данных
• Данные должны быть одинаковыми на всех дашбордах
• Ежедневно добавляются/удаляются графики и создаются новые дашборды
• Ошибки возникают из-за множества условий и ограничений на данные

✔️Решение проблемы
• Проведена системная работа по определению набора условий и метрик
• Создана таблица с анонимными событиями без урлов и идентификаторов пользователя
• Таблица наполняется Materialized View, использующими все условия
• Основные таблицы названы «холодными», таблица с анонимными событиями — «горячей»

✔️Единая точка для фильтров
• Создан View для хранения набора условий
• Создана переменная в Grafana для обращения к View
• Мультивыбор включает All для скрытия SQL-кода в урлах
• Вызов переменной в запросах с использованием csv-форматирования

✔️Итоги
• Собраны советы по оптимизации графиков
• Следить за стабильностью и скоростью загрузки графиков
• Учитывать специфичную нагрузку при проектировании хранилища
• Кэшировать результаты запросов и ограничивать запросы квотами
• Минимизировать количество источников данных
• Делать дашборды не только красивыми, но и быстрыми

https://habr.com/ru/companies/ozontech/articles/774712/
#graphana #prometheus #analytics

Поставщики синтетических данных, может кому-то пригодится
- https://gretel.ai/
- https://synthesis.ai/
- https://www.aiforia.com/ (медицина, биомедицина)
- https://www.sogeti.com/ (инжиринг и облачные данные)
- https://epistemix.com/
- https://www.facteus.com/mimic (финансы);

тут еще целый список: https://www.questionpro.com/blog/synthetic-data-companies/

В этой новости прекрасно все ))) ахахах