Двухчасового интервью достаточно, чтобы создать ИИ-копию вашей личности 🤯

В исследовании Google и Стэнфордского университета представлены «симуляционные агенты» — модели ИИ, разработанные для имитации человеческого поведения с поразительной точностью.

С 1052 участниками проводились углублённые интервью, которые касались личных историй, ценностей и мнений и сформировали набор данных для обучения моделей.

Затем ИИ-реплики прошли те же тесты, отразив ответы своих человеческих аналогов с точностью в 85%.

«Если у вас будет несколько маленьких «вы», которые будут бегать вокруг и принимать решения, которые приняли бы вы, — я думаю, что это и есть будущее», — сказал руководитель данного исследования.

https://www.techspot.com/news/106201-two-hour-interview-enough-create-accurate-ai-replica.html

У ChatGPT серьёзные проблемы — террорист, который подорвал себя в Tesla Cybertruck возле отеля Трампа, собрал бомбу по инструкции от нейросети.

Шериф Лас-Вегаса утверждает, что у них есть диалоги мужчины с ChatGPT: нападавший узнал у ИИ о конструкции бомбы, необходимом количестве взрывчатки, где это все купить и как собрать вместе.

OpenAI ответили на обвинение тем, что эта информация лежит в открытом доступе в интернете, а нейросеть просто помогла её найти, трижды предупредив террориста, что взрывать себя вместе с машиной — не лучшая идея.

Ждём новую цензуру в нейросетях.

Никогда не было и вот опять...

Убийца ChatGPT от китайцев вышел в открытый доступ — создатели Qwen2.5 выкатили свой, полностью БЕСПЛАТНЫЙ чат-бот. И это ИМБА для всех задач.

Qwen2.5 во многом не уступает GPT-4o, при этом предлагая безграничные возможности за ноль рублей. В боте есть:

• Модель Qwen2.5-Plus — самая умная модель от китайцев
• Qwen2.5-Turbo — модель с контекстом в 1 млн токенов. Она осилит генерацию целых дипломов или даже книг
• Распознавание документов, генерация их саммари и перевод на любой язык
• Загрузка картинок и видосов — их описание, объяснение и расшифровка со всеми таймингами
• Бот умеет отправлять промпт сразу нескольким моделям — обеспечивая самый эффективный результат
• Мгновенная генерация кода и проверка его работы в СОСЕДНЕМ окне
• В математике у Qwen2.5 тоже почти нет равных.

Русский язык на месте, никаких донатных опций нет — пробуем тут.

Ну во-первых это красиво... )) То что мы живем в матрице, сомнений у меня не осталось, от слова совсем.

Факт...

Скоро действительно придётся звать Уилла Смита: китайский робот с самой человечной походкой вышел на прогулку

Его уже продают за 1,2 млн рублей.

Эх )))

​​🛞Читаем статьи за Вас №20:

Grafana — прошлое, настоящее, будущее и альтернативы

✔️История Grafana
• Grafana — популярное приложение для мониторинга и визуализации данных.
• Основано в 2013 году Торкелем Одегаардом.
• Первая версия упростила настройку дашбордов и построение запросов.

✔️Переход от open source к Open SaaS
• В 2014 году Торкель и Радж Датт основали компанию Grafana Labs.
• В 2016 году запущена платформа Grafana Enterprise.
• В 2019 году количество активных инстансов превысило 400 тыс.

✔️Развитие и вклад сообщества
• В 2015 году добавлена поддержка бэкенда на Go.
• В 2016 году выпущена третья версия с системой плагинов.
• Вклад сообщества в виде разработки плагинов и поддержки OpenTSDB.

✔️Настоящее и будущее
• С 2019 по 2022 год выпущены инструменты Loki, Tempo и Mimir.
• В 2021 году сменили лицензию с Apache 2.0 на AGPL 3.0.
• Некоторые разработчики сомневаются в переходе на AGPL 3.0 из-за ограничений для других проектов.

✔️Аналоги Grafana
• Kibana и Graphite — важные инструменты визуализации данных.
• В 2021 году Kibana сменила лицензию на SSPL, что привело к созданию OpenSearch.
• OpenSearch стремится поддерживать паритет с Kibana, но отстает в некоторых областях.

​​🛞Читаем статьи за Вас №21:

Система визуализации и мониторинга. Grafana + Prometheus

✔️Установка Grafana на Windows
• Скачиваем и устанавливаем Grafana
• Устанавливаем Prometheus для сбора метрик
• Устанавливаем Windows_exporter для сбора статистики с системы
• Устанавливаем Blackbox_exporter для мониторинга доступности URL

✔️Настройка Grafana
• Изменяем значение в файле defaults.ini для включения SMTP
• Запускаем службу Grafana и проверяем интерфейс

✔️Настройка Prometheus
• Вносим изменения в файл prometheus.yml для подключения Windows_exporter и Blackbox_exporter
• Запускаем Prometheus и проверяем статус сервисов

✔️Настройка панелей мониторинга
• Подключаем источник данных Prometheus в Grafana
• Настраиваем панели мониторинга для метрик Windows_exporter
• Добавляем новые ПК для мониторинга, изменяя файл Prometheus.yml

✔️Настройка конкретных метрик
• Создаем панели для отображения конкретных служб и метрик
• Настраиваем Value mappings для удобства восприятия

✔️Завершение настройки
• Проверяем статус метрик и настраиваем нужные под свои задачи
• Базовая настройка завершена, можно приступать к использованию

#graphana #prometheus #analytics

​​🛞Читаем статьи за Вас №22:

Введение в мониторинг серверов с помощью Prometheus и Grafana

✔️Основы мониторинга с Prometheus, Node Exporter и Grafana
• Мониторинг необходим для контроля состояния серверов и своевременного реагирования на проблемы.
• Prometheus собирает метрики из разных сервисов, Node Exporter предоставляет метрики ОС, а Grafana визуализирует данные в виде графиков.
• В статье рассматривается настройка мониторинга на примере Ubuntu, но инструменты поддерживают и другие ОС.

✔️Установка и настройка компонентов
• Node Exporter устанавливается через GitHub и предоставляет метрики через HTTP.
• Prometheus требует файл конфигурации и папку для хранения данных, настраивается на сбор метрик от Node Exporter.
• Grafana подключается к Prometheus и отображает собранные метрики на графиках.

✔️Настройка Grafana
• Настройка источника данных (datasource) с использованием Prometheus.
• Создание дашборда с помощью импорта готовых панелей или создания собственных.
• Установка плагинов для расширения функциональности дашборда, например, для отображения круговых диаграмм.

Ссылка: https://habr.com/ru/articles/652185/
#graphana #prometheus #analytics

https://github.com/Helicone/helicone - open-source LLM developer platform

​​🛞Читаем статьи за Вас №23:

Clickhouse, Grafana и 3000 графиков. Как построить систему быстрых дашбордов

✔️Проблема производительности дашбордов
• Вопросы по типу "где данные" возникают часто и требуют быстрого ответа.
• Дашборды помогают получать ответы на разные вопросы в любой момент времени.
• Дашборды объединяют в системы для комплексного обзора данных.

✔️Инструменты и данные
• Clickhouse используется для хранения данных.
• Grafana используется для визуализации данных.
• Altinity Plugin соединяет Clickhouse с Grafana.

✔️Требования к дашбордам
• Графики должны быть читаемыми и интуитивно понятными.
• Дашборды должны загружаться стабильно и быстро.
• Данные должны быть согласованы между разными дашбордами.

✔️Методы оптимизации производительности
• Мониторинг за мониторингом для выявления проблем.
• Правильное проектирование дашбордов для избежания ошибок.
• Разделение ответственности и введение квот на запросы.

✔️Работа с Clickhouse
• Определение оптимальных запросов для ускорения графиков.
• Оптимальное хранение данных для быстрых запросов.
• Кэширование результатов запросов для экономии ресурсов.

✔️Мониторинг и алерты
• Работа с системными таблицами для анализа запросов.
• Настройка алертов на скорость выполнения запросов.
• Разметка запросов в Grafana для разделения по дашбордам.

✔️Инструменты внешнего мониторинга
• Использование sitespeed для регулярного открытия дашбордов.
• Логирование метрик с Grafana для анализа причин проблем.

✔️Правильное проектирование дашбордов
• Внимательное отношение к переменным в дашбордах.
• Избегание хранения всех графиков в одной строке для оптимизации запросов.

✔️Проблемы с нагрузкой на БД
• Раскрытие строк создаёт нагрузку на БД, что замедляет работу системы.
• Несколько быстрых запросов лучше, чем один медленный.

✔️Разделение ответственности
• Дашборды делятся на общие и внутренние.
• Общие дашборды должны быть стабильными, внутренние — быстрыми.
• Для подключения Clickhouse к Grafana нужен сервисный пользователь с квотами.

✔️Оптимизация запросов
• Чем меньше колонок в запросе, тем лучше.
• Используйте колонки из ключа сортировки.
• Динамическое семплирование для чтения меньшего объёма данных.
• Используйте макрос $unescape() для скрытия ненужных колонок.
• Выполняйте приближенные вычисления на больших данных.
• Агрегируйте данные заранее и используйте агрегаты в графиках.

✔️Показатели оптимальности запросов
• Время выполнения, количество прочитанных строк и байт.
• Фиксируйте эти показатели и сравнивайте с прошлыми замерами.

✔️Оптимальное хранение данных
• Используйте правильные типы данных.
• Подберите ключ сортировки и ключ партицирования.
• Экспериментируйте с гранулярностью и смешанной политикой хранения.

✔️Оптимизация медленных таблиц
• Перекопировать данные или сделать Materialized View.
• Кэшируйте результаты запросов с помощью use_query_cache = True.

✔️Проблема согласованности данных
• Данные должны быть одинаковыми на всех дашбордах
• Ежедневно добавляются/удаляются графики и создаются новые дашборды
• Ошибки возникают из-за множества условий и ограничений на данные

✔️Решение проблемы
• Проведена системная работа по определению набора условий и метрик
• Создана таблица с анонимными событиями без урлов и идентификаторов пользователя
• Таблица наполняется Materialized View, использующими все условия
• Основные таблицы названы «холодными», таблица с анонимными событиями — «горячей»

✔️Единая точка для фильтров
• Создан View для хранения набора условий
• Создана переменная в Grafana для обращения к View
• Мультивыбор включает All для скрытия SQL-кода в урлах
• Вызов переменной в запросах с использованием csv-форматирования

✔️Итоги
• Собраны советы по оптимизации графиков
• Следить за стабильностью и скоростью загрузки графиков
• Учитывать специфичную нагрузку при проектировании хранилища
• Кэшировать результаты запросов и ограничивать запросы квотами
• Минимизировать количество источников данных
• Делать дашборды не только красивыми, но и быстрыми

https://habr.com/ru/companies/ozontech/articles/774712/
#graphana #prometheus #analytics

Поставщики синтетических данных, может кому-то пригодится
- https://gretel.ai/
- https://synthesis.ai/
- https://www.aiforia.com/ (медицина, биомедицина)
- https://www.sogeti.com/ (инжиринг и облачные данные)
- https://epistemix.com/
- https://www.facteus.com/mimic (финансы);

тут еще целый список: https://www.questionpro.com/blog/synthetic-data-companies/

В этой новости прекрасно все ))) ахахах

​​🛞Читаем статьи за Вас №24

Вас много, а я одна: обзорная система мониторинга на Prometheus и Grafana

Сбор метрик
• Prometheus собирает метрики с серверов через экспортеры
• Для Nginx используется prometheus-nginxlog-экспортер
• Для серверов используется prometheus/node_exporter

Визуализация данных
• Дашборды в Grafana отображают метрики в реальном времени
• Главный дашборд показывает состояние серверов и приложений
• Дашборды приложений показывают RPS, время ответа и другие метрики

Дашборды серверов
• Дашборд серверов показывает нагрузку на ЦПУ, память и диск
• Используются метрики node_cpu_seconds_total, node_memory_MemAvailable_bytes и node_filesystem_avail_bytes

Дашборды приложений
• Дашборды приложений показывают состояние, RPS, время ответа и другие метрики
• Используются метрики nginx_http_response_count_total и nginx_http_upstream_time_seconds_hist_bucket

Общие выводы
• Мониторинг серверных приложений важен для предотвращения поломок
• Prometheus и Grafana используются для сбора и визуализации метрик
• Дашборды помогают быстро оценить состояние проектов и приложений

Настройка панели дискового пространства
• График свободного дискового пространства: node_filesystem_avail_bytes
• График использованного дискового пространства: node_filesystem_size_bytes - node_filesystem_avail_bytes

Настройка панели памяти
• Аналогично панели дискового пространства

Настройка панели процессорных ядер
• 100 * (1 - (разгневанный(node_cpu_seconds_total{режим='idle',экземпляр=~'$instance.*'}[1m])))
• Использование PromQL для оптимизации данных

Использование нескольких процессорных ядер
• Визуализация данных как графическая

Хранение данных и дашборды
• Локальная база данных sqlite3 для хранения конфигурации
• Дашборды лучше всего разбираются в форматах JSON

Уведомления и Alertmanager
• Механизм алертов для обнаружения критических ситуаций
• Настройка уведомлений на основные критические ситуации
• Использование Alertmanager для отправки уведомлений в различные каналы связи

Использование Телеграм для оповещений
• Alertmanager отправляет пост-запросы в Телеграм
• Приложение-вебхук форматирует сообщения и отправляет их в Телеграм
• Создание отдельных телеграм-каналов для каждого проекта

Опрос пользователей
• Вопросы о мониторинге проектов
• Результаты опроса пользователей

https://habr.com/ru/companies/doubletapp/articles/736602/
#graphana #prometheus #analytics

Сегодня мне задарили футболку )))) самая топовая, какую я вообще получал )))

​​🛞Читаем статьи за Вас №25

Как мы выстроили систему визуализации ошибок с помощью Grafana и снизили время на их отработку с 2 часов до 15 секунд

✔️Проблемы с данными
• Данные берутся из 43 официальных источников, часто меняющих формат массивов.
• Один из источников изменил поле «name» на «firstname», что могло привести к ошибкам.
• Ошибки могут быть связаны с неполной выгрузкой данных, периодичностью обновления, разными форматами данных и их структурой.

✔️Система мониторинга
• Ранее использовался телеграм-бот для контроля работоспособности.
• Количество источников росло, что усложняло мониторинг.
• Внедрена система контроля обновления данных с использованием Grafana и Prometheus.

✔️Процесс обновления данных
• Данные проходят несколько этапов: скачивание, загрузка в БД, загрузка в Elastic Search.
• В Grafana отслеживаются 4 метрики: статус обновления, процент загруженных файлов, объем полученных данных, время обновления.
• Планируется добавить метрику «Количество ошибок» для парсинга записей.

✔️Технические детали
• Сбор, хранение и отображение метрик выполнены на основе Grafana и Prometheus.
• Prometheus опрашивает API Datanewton каждые 10 секунд и сохраняет значения метрик.
• Grafana отображает метрики на дашборде по запросу пользователя.

✔️Будущие планы
• Планируется внедрить метрику по тестам, запускаемым TeamCity.
• Тесты будут имитировать поведение реального пользователя и показывать ошибки в режиме реального времени.

✔️Заключение
• Стартап приглашает к обсуждению и улучшению системы мониторинга.
• Призывы делиться личным опытом использования Графаны и других инструментов.

https://habr.com/ru/articles/803527/
#graphana #prometheus #analytics

https://notebooklm.google.com/?pli=1 - новая тулза, очень затейная, всем кто не пробовал советую попробовать, весьма интересная вещь.

​​🚀Читаем статьи за Вас №23:

✅Обзор использования синтетических данных в машинном обучении
• Синтетические данные используются для обучения моделей, когда реальных данных недостаточно.
• Синтетические данные могут быть созданы с помощью генеративных моделей, таких как GAN.
• Примеры использования включают генерацию изображений, аудио и текстовых данных.

✅Применение синтетических данных в различных сферах
• В медицине синтетические данные используются для создания биофизических симуляций.
• В области безопасности и распознавания лиц синтетические данные помогают в обучении моделей.
• В сфере финансов и чат-ботов синтетические данные применяются для создания обучающих наборов.
• В страховании синтетические данные используются для моделирования оттока клиентов.
• В автомобильной промышленности синтетические данные применяются для обучения беспилотных автомобилей.

✅Преимущества и ограничения синтетических данных
• Синтетические данные позволяют быстро и эффективно обучать модели, но могут содержать ошибки.
• Реальные данные ценны, но их сбор может быть сложным и затратным, в то время как синтетические данные могут быть более доступными.

✅Примеры использования синтетических данных
• American Express использовала синтетические данные для борьбы с мошенничеством.
• Charité Lab использовала синтетические данные для прогнозирования результатов инсультов.
• Microsoft обучила модели компьютерного зрения на синтетических данных.
• Moveworks разработал чат-бота на основе синтетических данных.
• La Mobilière использовала синтетические данные для соблюдения требований по конфиденциальности.
• NVIDIA создала виртуальное пространство для тестирования роботов.
• Amazon применила синтетические данные для улучшения понимания естественного языка Alexa.
• Waymo использует синтетические данные для обучения беспилотных автомобилей.

👉Ссылка: https://habr.com/ru/articles/721170/

#syntetic #data #pipline #analysis