Forwarded from Алексей Чернобровов
🔥Новости и события за неделю
✅Samsung представила обновленную версию виртуального ассистента Bixby
Компания Samsung представила обновленную версию виртуального ассистента Bixby на базе крупной языковой модели (LLM). Новая версия Bixby, доступная на эксклюзивных для китайского рынка складных смартфонах Samsung W25 и W25 Flip, способна воспринимать сложные инструкции, извлекать информацию с экрана (например, с карт или фотографий) и запоминать контекст предыдущих диалогов. В ходе демонстрации Bixby порекомендовал одежду, учитывая текущую погоду, и объяснил, как добавить водяной знак на изображение, пошагово.
✅ Суд в Нью-Йорке отклонил иск СМИ к OpenAI по авторскому праву.
Федеральный суд Южного округа Нью-Йорка отклонил иск изданий Raw Story и AlterNet против компании OpenAI, обвинявших её в нарушении Закона об авторском праве в цифровую эпоху (DMCA). СМИ утверждали, что OpenAI намеренно удаляла сведения об авторских правах, такие как названия статей и имена авторов, из текстов, использованных для обучения ChatGPT.
✅ Google открыла доступ к Gemini через библиотеку OpenAI.
Разработчики теперь могут использовать модели Gemini от Google через библиотеку OpenAI и REST API. Поддерживаются API завершения чата и API эмбедингов. В ближайшие недели Google планирует расширить совместимость.
Google рекомендует разработчикам, не использующим библиотеки OpenAI, обращаться к Gemini API напрямую.
✅Samsung представила обновленную версию виртуального ассистента Bixby
Компания Samsung представила обновленную версию виртуального ассистента Bixby на базе крупной языковой модели (LLM). Новая версия Bixby, доступная на эксклюзивных для китайского рынка складных смартфонах Samsung W25 и W25 Flip, способна воспринимать сложные инструкции, извлекать информацию с экрана (например, с карт или фотографий) и запоминать контекст предыдущих диалогов. В ходе демонстрации Bixby порекомендовал одежду, учитывая текущую погоду, и объяснил, как добавить водяной знак на изображение, пошагово.
✅ Суд в Нью-Йорке отклонил иск СМИ к OpenAI по авторскому праву.
Федеральный суд Южного округа Нью-Йорка отклонил иск изданий Raw Story и AlterNet против компании OpenAI, обвинявших её в нарушении Закона об авторском праве в цифровую эпоху (DMCA). СМИ утверждали, что OpenAI намеренно удаляла сведения об авторских правах, такие как названия статей и имена авторов, из текстов, использованных для обучения ChatGPT.
✅ Google открыла доступ к Gemini через библиотеку OpenAI.
Разработчики теперь могут использовать модели Gemini от Google через библиотеку OpenAI и REST API. Поддерживаются API завершения чата и API эмбедингов. В ближайшие недели Google планирует расширить совместимость.
Google рекомендует разработчикам, не использующим библиотеки OpenAI, обращаться к Gemini API напрямую.
This media is not supported in your browser
VIEW IN TELEGRAM
🧐Интервью CEO Anthropic Дарио Амодеи с Лексом Фридманом
😎Основные моменты:
✅Дарио выразил оптимизм относительно скорого появления ИИ, способного достигнуть уровня человека. Он отметил, что в ближайшие годы затраты на разработку и обучение будут расти, и к 2027 году, вероятно, будут создаваться кластеры стоимостью около $100 млрд — значительно больше, чем нынешние крупнейшие суперкомпьютеры, которые стоят около $1 млрд.
✅Амодеи считает, что масштабирование моделей продолжится, несмотря на отсутствие теоретического объяснения этому процессу — в нём, по его словам, есть некая "магия".
✅Сейчас модели ИИ улучшаются с поразительной скоростью, особенно в таких областях, как программирование, физика и математика. На тесте SWE-bench их успех в начале года был лишь 2-3%, а теперь достигает около 50%. Основная причина для беспокойства в этих условиях — возможная монополия на ИИ, когда контроль над ним окажется у небольшого числа крупных компаний, что может угрозу
🖥Интервью можно посмотреть здесь
😎Основные моменты:
✅Дарио выразил оптимизм относительно скорого появления ИИ, способного достигнуть уровня человека. Он отметил, что в ближайшие годы затраты на разработку и обучение будут расти, и к 2027 году, вероятно, будут создаваться кластеры стоимостью около $100 млрд — значительно больше, чем нынешние крупнейшие суперкомпьютеры, которые стоят около $1 млрд.
✅Амодеи считает, что масштабирование моделей продолжится, несмотря на отсутствие теоретического объяснения этому процессу — в нём, по его словам, есть некая "магия".
✅Сейчас модели ИИ улучшаются с поразительной скоростью, особенно в таких областях, как программирование, физика и математика. На тесте SWE-bench их успех в начале года был лишь 2-3%, а теперь достигает около 50%. Основная причина для беспокойства в этих условиях — возможная монополия на ИИ, когда контроль над ним окажется у небольшого числа крупных компаний, что может угрозу
🖥Интервью можно посмотреть здесь
🤔1
Почему в методе "T-SNE" результат визуализации может отличаться при каждом запуске?
Anonymous Poll
82%
Используется стохастический подход при оптимизации
3%
Алгоритм чувствителен к размерам входных данных
7%
Алгоритм зависит от выборки тестовых данных
8%
Отображение результатов основано на линейных преобразованиях
🔎Оптимизация поиска в MongoDB
MongoDB — это нереляционная база данных, которая отличается от SQL-баз, таких как PostgreSQL или MySQL, своей структурой. Вместо таблиц с колонками и строками MongoDB использует коллекции.
Поиск текста в MongoDB предполагает использование специальных операторов запросов для работы с текстовыми данными. Он позволяет искать текстовые фразы в коллекциях и возвращать документы, содержащие указанные слова. Это часто применяется для сложных операций, где данные группируются по общим признакам, таким как цена, авторы или возраст.
В данной статье автор также делится опытом работы с MongoDB, включая сложности при создании оптимальных поисковых запросов, чтобы упростить их понимание для новичков.
В статье также упоминается про Mongoose — популярный инструмент ORM (объектно-реляционное отображение), который упрощает взаимодействие между MongoDB и языками программирования, такими как Node.js/JavaScript. Он предоставляет функции моделирования данных, разработки схем, аутентификации моделей и управления данными.
MongoDB — это нереляционная база данных, которая отличается от SQL-баз, таких как PostgreSQL или MySQL, своей структурой. Вместо таблиц с колонками и строками MongoDB использует коллекции.
Поиск текста в MongoDB предполагает использование специальных операторов запросов для работы с текстовыми данными. Он позволяет искать текстовые фразы в коллекциях и возвращать документы, содержащие указанные слова. Это часто применяется для сложных операций, где данные группируются по общим признакам, таким как цена, авторы или возраст.
В данной статье автор также делится опытом работы с MongoDB, включая сложности при создании оптимальных поисковых запросов, чтобы упростить их понимание для новичков.
В статье также упоминается про Mongoose — популярный инструмент ORM (объектно-реляционное отображение), который упрощает взаимодействие между MongoDB и языками программирования, такими как Node.js/JavaScript. Он предоставляет функции моделирования данных, разработки схем, аутентификации моделей и управления данными.
MongoDB
MongoDB: The World’s Leading Modern Data Platform
Get your ideas to market faster with a flexible, AI-ready database. MongoDB makes working with data easy.
😎💡AlphaQubit от Google: новый стандарт точности в квантовых вычислениях.
Google DeepMind и Google Quantum AI представили AlphaQubit, декодер, который значительно улучшает точность коррекции ошибок в квантовых вычислениях. Основанный на нейронной сети, обученной на синтетических и реальных данных с процессора Sycamore, AlphaQubit использует архитектуру Transformers для анализа ошибок.
Тесты показали, что AlphaQubit снижает ошибки на 6% по сравнению с тензорными сетями и на 30% — с корреляционным сопоставлением. Однако, несмотря на высокий уровень точности, проблемы с реальной скоростью работы и масштабируемостью остаются.
✅Ссылка на блог
Google DeepMind и Google Quantum AI представили AlphaQubit, декодер, который значительно улучшает точность коррекции ошибок в квантовых вычислениях. Основанный на нейронной сети, обученной на синтетических и реальных данных с процессора Sycamore, AlphaQubit использует архитектуру Transformers для анализа ошибок.
Тесты показали, что AlphaQubit снижает ошибки на 6% по сравнению с тензорными сетями и на 30% — с корреляционным сопоставлением. Однако, несмотря на высокий уровень точности, проблемы с реальной скоростью работы и масштабируемостью остаются.
✅Ссылка на блог
Google
AlphaQubit tackles one of quantum computing’s biggest challenges
AlphaQubit is an AI-based decoder that identifies quantum computing errors with state-of-the-art accuracy.
👍2
🤔CUPED: преимущества и недостатки
CUPED (Controlled Pre-Experiment Data) — это метод предобработки данных, используемый для повышения точности оценки A/B-тестов. CUPED снижает дисперсию метрик, используя данные, собранные до эксперимента, что позволяет быстрее выявлять статистически значимые различия.
Преимущества CUPED:
✅Снижение дисперсии метрик: Улучшает чувствительность теста за счет учета предварительных данных.
Экономия ресурсов: Сокращает объем выборки, необходимый для достижения статистической значимости.
✅Быстрая интерпретация результатов: Уменьшение шума позволяет быстрее находить реальные эффекты.
✅Учет сезонности: Использование данных до эксперимента помогает учитывать тренды и внешние факторы.
Недостатки CUPED:
✅Сложность в реализации: Требует знаний статистики и правильного выбора ковариатов.
✅Зависимость от качества данных: Предэкспериментальные данные должны быть надежными и репрезентативными.
✅Необходимость ковариатов: Требуется значимая корреляция между метрикой и предиктором, иначе эффект будет минимален.
✅Риск переоценки: При неправильной настройке может привести к завышенной оценке эффекта.
Таким образом, CUPED особенно полезен, когда важно максимизировать эффективность экспериментов, но требует тщательной подготовки данных и анализа.
CUPED (Controlled Pre-Experiment Data) — это метод предобработки данных, используемый для повышения точности оценки A/B-тестов. CUPED снижает дисперсию метрик, используя данные, собранные до эксперимента, что позволяет быстрее выявлять статистически значимые различия.
Преимущества CUPED:
✅Снижение дисперсии метрик: Улучшает чувствительность теста за счет учета предварительных данных.
Экономия ресурсов: Сокращает объем выборки, необходимый для достижения статистической значимости.
✅Быстрая интерпретация результатов: Уменьшение шума позволяет быстрее находить реальные эффекты.
✅Учет сезонности: Использование данных до эксперимента помогает учитывать тренды и внешние факторы.
Недостатки CUPED:
✅Сложность в реализации: Требует знаний статистики и правильного выбора ковариатов.
✅Зависимость от качества данных: Предэкспериментальные данные должны быть надежными и репрезентативными.
✅Необходимость ковариатов: Требуется значимая корреляция между метрикой и предиктором, иначе эффект будет минимален.
✅Риск переоценки: При неправильной настройке может привести к завышенной оценке эффекта.
Таким образом, CUPED особенно полезен, когда важно максимизировать эффективность экспериментов, но требует тщательной подготовки данных и анализа.
🤖Deus in Machina: в швейцарской церкви установили Jesus-AI
В часовне Святого Петра в Люцерне запустили проект AI Jesus, который общается на 100 языках. ИИ установлен в исповедальне, где посетители могут задавать вопросы и получать ответы в реальном времени.
Обученный на богословских текстах, Jesus-AI за два месяца привлек более 1000 человек, две трети из которых назвали опыт "духовным". Однако эксперимент вызвал критику за поверхностность ответов и невозможность полноценных бесед с машиной.
🖥Подробнее здесь
В часовне Святого Петра в Люцерне запустили проект AI Jesus, который общается на 100 языках. ИИ установлен в исповедальне, где посетители могут задавать вопросы и получать ответы в реальном времени.
Обученный на богословских текстах, Jesus-AI за два месяца привлек более 1000 человек, две трети из которых назвали опыт "духовным". Однако эксперимент вызвал критику за поверхностность ответов и невозможность полноценных бесед с машиной.
🖥Подробнее здесь
💡 SmolTalk: синтетический англоязычный датасет для обучения LLM
SmolTalk — это синтетический датасет от HuggingFace, созданный для обучения LLM с учителем. Состоит из 2 млн строк и использовался для разработки моделей SmolLM2-Instruct.
🔥Датасет включает как новые, так и существующие наборы данных
😎Новые наборы данных:
✅Smol-Magpie-Ultra (400 тыс. строк)
✅Smol-constraints (36 тыс. строк)
✅Smol-rewrite (50 тыс. строк)
✅Smol-summarize (101 тыс. строк)
⚡️Существующие наборы:
✅OpenHermes2.5 (100 тыс. строк)
✅MetaMathQA (50 тыс. строк)
✅NuminaMath-CoT (1120 тыс. строк)
✅Self-Oss-Starcoder2-Instruct (1120 тыс. строк)
✅SystemChats2.0 (30 тыс. строк)
✅LongAlign (менее 16 тыс. токенов)
✅Everyday-conversations (50 тыс. строк)
✅APIGen-Function-Calling (80 тыс. строк)
✅Explore-Instruct-Rewriting (30 тыс. строк)
📚Результаты обучения:
SmolTalk показал значительные улучшения в производительности модели, особенно в задачах математики, программирования и следования системным промптам. Обучение на SmolTalk дало лучшие результаты по меткам IFEval, BBH, GS8Mk и MATH, в том числе при обучении Mistral-7B.
SmolTalk — это синтетический датасет от HuggingFace, созданный для обучения LLM с учителем. Состоит из 2 млн строк и использовался для разработки моделей SmolLM2-Instruct.
🔥Датасет включает как новые, так и существующие наборы данных
😎Новые наборы данных:
✅Smol-Magpie-Ultra (400 тыс. строк)
✅Smol-constraints (36 тыс. строк)
✅Smol-rewrite (50 тыс. строк)
✅Smol-summarize (101 тыс. строк)
⚡️Существующие наборы:
✅OpenHermes2.5 (100 тыс. строк)
✅MetaMathQA (50 тыс. строк)
✅NuminaMath-CoT (1120 тыс. строк)
✅Self-Oss-Starcoder2-Instruct (1120 тыс. строк)
✅SystemChats2.0 (30 тыс. строк)
✅LongAlign (менее 16 тыс. токенов)
✅Everyday-conversations (50 тыс. строк)
✅APIGen-Function-Calling (80 тыс. строк)
✅Explore-Instruct-Rewriting (30 тыс. строк)
📚Результаты обучения:
SmolTalk показал значительные улучшения в производительности модели, особенно в задачах математики, программирования и следования системным промптам. Обучение на SmolTalk дало лучшие результаты по меткам IFEval, BBH, GS8Mk и MATH, в том числе при обучении Mistral-7B.
huggingface.co
HuggingFaceTB/smoltalk · Datasets at Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
👍1
🌎ТОП декабрьских ивентов в Data Science
2 декабря - Yandex Cup 2024: Финал - Ташкент, Узбекистан - https://yandex.ru/cup/
2-3 декабря - HighLoad++ 2024 - Москва, Россия - https://highload.ru/moscow/2024
4 декабря - BIG StartUp DAY - Москва, Россия - https://bigstartupday.ru/
3 декабря - Cloud Security Day - Москва, Россия - https://yandex.cloud/ru/events/977
5 Декабря - IT Talk by Sber 2.0 - Вологда, Россия - https://developers.sber.ru/kak-v-sbere/events/ittalk_vologda
5 декабря - AI-driver & RecSys Meetup - Владивосток, Новосибирск, Нижний Новгород, Санкт‑Петербург, Россия - https://developers.sber.ru/kak-v-sbere/events/ai_recsys
6 декабря - есom.teсh meetup — Generative AI - Москва, Россия - https://ecom-tech.timepad.ru/event/3136197/
6 декабря - Conversations 2024 - Москва, Россия - https://conversations-ai.com/
11-13 декабря - AIJ 2024 - Москва, Россия - https://aij.ru/
2 декабря - Yandex Cup 2024: Финал - Ташкент, Узбекистан - https://yandex.ru/cup/
2-3 декабря - HighLoad++ 2024 - Москва, Россия - https://highload.ru/moscow/2024
4 декабря - BIG StartUp DAY - Москва, Россия - https://bigstartupday.ru/
3 декабря - Cloud Security Day - Москва, Россия - https://yandex.cloud/ru/events/977
5 Декабря - IT Talk by Sber 2.0 - Вологда, Россия - https://developers.sber.ru/kak-v-sbere/events/ittalk_vologda
5 декабря - AI-driver & RecSys Meetup - Владивосток, Новосибирск, Нижний Новгород, Санкт‑Петербург, Россия - https://developers.sber.ru/kak-v-sbere/events/ai_recsys
6 декабря - есom.teсh meetup — Generative AI - Москва, Россия - https://ecom-tech.timepad.ru/event/3136197/
6 декабря - Conversations 2024 - Москва, Россия - https://conversations-ai.com/
11-13 декабря - AIJ 2024 - Москва, Россия - https://aij.ru/
Yandex Cup — чемпионат по программированию
Попробуйте свои силы в решении нестандартных задач
Ваш кластерный алгоритм находит слишком много кластеров, которые частично перекрываются. Что бы вы использовали для решения проблемы?
Anonymous Poll
14%
Применение модели GMM (Gaussian Mixture Model) с настройкой параметра ковариации
21%
Увеличение значения гиперпараметра минимального количества точек в кластере (MinPts) для DBSCAN
36%
Использование иерархической кластеризации с настройкой расстояния отсечения дендрограммы
30%
Применение алгоритма K-means++ для точного выбора начальных центроидов
😎🔥Подборка инструментов для обработки Big Data
Timeplus Proton — это SQL-движок, основанный на ClickHouse, предназначенный для обработки, маршрутизации и анализа потоковых данных из таких источников, как Apache Kafka и Redpanda, с возможностью передачи агрегированных данных в другие системы.
qsv — это утилита командной строки, предназначенная для быстрого индексирования, обработки, анализа, фильтрации, сортировки и объединения CSV-файлов. Она предлагает удобные и понятные команды для выполнения этих операций.
WrenAI — это open-source инструмент, который подготавливает существующую базу данных для работы с RAG (Retrieval-Augmented Generation). Он позволяет преобразовывать текстовые запросы в SQL, исследовать данные из БД без написания SQL-кода и выполнять другие задачи.
Groll — это open-source CLI-утилита для управления миграциями схем в PostgreSQL. Она обеспечивает безопасное и обратимое внесение изменений, поддерживая одновременную работу с несколькими версиями схем. Groll поддерживает выполнение сложных миграций, обеспечивая непрерывную работу клиентских приложений во время обновления схемы базы данных.
Valkey — это высокопроизводительное open-source хранилище данных, которое поддерживает кэширование, очереди сообщений и может использоваться как основная база данных. Оно функционирует как автономная фоновая служба или в составе кластера, обеспечивая репликацию и высокую доступность.
DataEase — это open-source BI-инструмент для создания интерактивных визуализаций и анализа бизнес-метрик. Он упрощает доступ к аналитике благодаря интуитивному интерфейсу с поддержкой перетаскивания элементов, что делает работу с данными удобной и понятной.
SurrealDB — это современная многомодельная база данных, объединяющая возможности SQL, NoSQL и графовых систем. Она поддерживает реляционные, документные, графовые, временные и ключ-значение модели данных, предоставляя универсальное решение для управления данными без необходимости использования разных платформ.
LibSQL — это форк SQLite, расширенный такими функциями, как обработка запросов через HTTP и gRPC, а также поддержка прозрачной репликации. Он позволяет создавать распределённые базы данных с записью на основном сервере и чтением с реплик. LibSQL обеспечивает безопасную передачу данных через TLS и предоставляет Docker-образ для удобного развертывания.
Redash — это open-source инструмент для анализа данных, предназначенный для упрощения подключения, запроса и визуализации данных из различных источников. Он позволяет создавать SQL- и NoSQL-запросы, визуализировать результаты в виде графиков и диаграмм, а также делиться дашбордами с командами.
Timeplus Proton — это SQL-движок, основанный на ClickHouse, предназначенный для обработки, маршрутизации и анализа потоковых данных из таких источников, как Apache Kafka и Redpanda, с возможностью передачи агрегированных данных в другие системы.
qsv — это утилита командной строки, предназначенная для быстрого индексирования, обработки, анализа, фильтрации, сортировки и объединения CSV-файлов. Она предлагает удобные и понятные команды для выполнения этих операций.
WrenAI — это open-source инструмент, который подготавливает существующую базу данных для работы с RAG (Retrieval-Augmented Generation). Он позволяет преобразовывать текстовые запросы в SQL, исследовать данные из БД без написания SQL-кода и выполнять другие задачи.
Groll — это open-source CLI-утилита для управления миграциями схем в PostgreSQL. Она обеспечивает безопасное и обратимое внесение изменений, поддерживая одновременную работу с несколькими версиями схем. Groll поддерживает выполнение сложных миграций, обеспечивая непрерывную работу клиентских приложений во время обновления схемы базы данных.
Valkey — это высокопроизводительное open-source хранилище данных, которое поддерживает кэширование, очереди сообщений и может использоваться как основная база данных. Оно функционирует как автономная фоновая служба или в составе кластера, обеспечивая репликацию и высокую доступность.
DataEase — это open-source BI-инструмент для создания интерактивных визуализаций и анализа бизнес-метрик. Он упрощает доступ к аналитике благодаря интуитивному интерфейсу с поддержкой перетаскивания элементов, что делает работу с данными удобной и понятной.
SurrealDB — это современная многомодельная база данных, объединяющая возможности SQL, NoSQL и графовых систем. Она поддерживает реляционные, документные, графовые, временные и ключ-значение модели данных, предоставляя универсальное решение для управления данными без необходимости использования разных платформ.
LibSQL — это форк SQLite, расширенный такими функциями, как обработка запросов через HTTP и gRPC, а также поддержка прозрачной репликации. Он позволяет создавать распределённые базы данных с записью на основном сервере и чтением с реплик. LibSQL обеспечивает безопасную передачу данных через TLS и предоставляет Docker-образ для удобного развертывания.
Redash — это open-source инструмент для анализа данных, предназначенный для упрощения подключения, запроса и визуализации данных из различных источников. Он позволяет создавать SQL- и NoSQL-запросы, визуализировать результаты в виде графиков и диаграмм, а также делиться дашбордами с командами.
GitHub
GitHub - timeplus-io/proton: The Fastest Unified Streaming SQL Engine in a Single C++ Binary. ⚡ Millisecond latency. 100+…
The Fastest Unified Streaming SQL Engine in a Single C++ Binary. ⚡ Millisecond latency. 100+ GB/s throughput. Continuously compute real-time context from streams, logs, metrics, events, and ...
🧐Данные и их разметка в 2024 году: новые тренды и будущие требования
Попалась интересная статья про разметку данных. Вот несколько ключевых моментов:
🤔Текущие тренды:
✅Увеличение сложности наборов данных
✅Переход к разметке в реальном времени
✅Масштабное развитие автоматизированных инструментов, дополняющих ручной труд
🤔Прогнозы рынка:
✅Ожидается рост до $8.22 млрд к 2028 году с CAGR 26.6%
✅Требования к качеству и скорости разметки растут и будут расти в геометрической прогрессии
🤔Технологические тренды:
✅Адаптивный ИИ
✅Метавселенная
✅Отраслевые облачные платформы
✅Улучшение беспроводных технологий
Таким образом, автор указывает на то, что индустрия разметки данных будет стремительно расти благодаря увеличению спроса на точные и надежные данные для ИИ и машинного обучения. Автоматизация, адаптивный ИИ и новые технологические решения позволят улучшить качество и скорость разметки данных.
Попалась интересная статья про разметку данных. Вот несколько ключевых моментов:
🤔Текущие тренды:
✅Увеличение сложности наборов данных
✅Переход к разметке в реальном времени
✅Масштабное развитие автоматизированных инструментов, дополняющих ручной труд
🤔Прогнозы рынка:
✅Ожидается рост до $8.22 млрд к 2028 году с CAGR 26.6%
✅Требования к качеству и скорости разметки растут и будут расти в геометрической прогрессии
🤔Технологические тренды:
✅Адаптивный ИИ
✅Метавселенная
✅Отраслевые облачные платформы
✅Улучшение беспроводных технологий
Таким образом, автор указывает на то, что индустрия разметки данных будет стремительно расти благодаря увеличению спроса на точные и надежные данные для ИИ и машинного обучения. Автоматизация, адаптивный ИИ и новые технологические решения позволят улучшить качество и скорость разметки данных.
Medium
Data Labeling in 2024: Emerging Trends and Future Demands for Impactful Results
Data labeling and annotation play a crucial role in various machine learning and AI initiatives, and the need for accurate and reliable…
👍2
Media is too big
VIEW IN TELEGRAM
😎Google представила Willow — квантовый чип с экспоненциальным масштабированием
Google выпустила Willow, первый в мире квантовый чип, способный к экспоненциальному уменьшению ошибок с увеличением числа кубитов. Это стало возможным благодаря эффективной реализации логических кубитов, которые работают ниже границы Quantum Error Correction — метода защиты данных через их распределение по кубитам.
Особенности Willow:
✅Рекордное количество кубитов: 105, что значительно превышает показатели предыдущих квантовых компьютеров.
✅Скорость вычислений: в септилион раз быстрее классических чипов. Willow решает задачи за 300 секунд, на которые обычный чип потратил бы 10 квинтиллионов лет.
✅Минимизация ошибок: при увеличении количества кубитов ошибки снижаются экспоненциально, что решает основную проблему квантовых вычислений последних 30 лет.
Хотя для таких задач, как взлом биткоина, потребуется 300–400 миллионов кубитов, Willow уже устанавливает новую планку в квантовых технологиях.
🔎Подробнее можно узнать тут
Google выпустила Willow, первый в мире квантовый чип, способный к экспоненциальному уменьшению ошибок с увеличением числа кубитов. Это стало возможным благодаря эффективной реализации логических кубитов, которые работают ниже границы Quantum Error Correction — метода защиты данных через их распределение по кубитам.
Особенности Willow:
✅Рекордное количество кубитов: 105, что значительно превышает показатели предыдущих квантовых компьютеров.
✅Скорость вычислений: в септилион раз быстрее классических чипов. Willow решает задачи за 300 секунд, на которые обычный чип потратил бы 10 квинтиллионов лет.
✅Минимизация ошибок: при увеличении количества кубитов ошибки снижаются экспоненциально, что решает основную проблему квантовых вычислений последних 30 лет.
Хотя для таких задач, как взлом биткоина, потребуется 300–400 миллионов кубитов, Willow уже устанавливает новую планку в квантовых технологиях.
🔎Подробнее можно узнать тут
🥲ТОП факапов с разными СУБД: боль, слёзы
✅PostgreSQL и вакуум в сюрпризе
Все любят PostgreSQL, пока не сталкиваются с автovacuum. Если забыть настроить его правильно, база начинает тормозить так, что проще мигрировать данные на Excel.
✅Cassandra: мастер шардирования и мастер хаоса
О, этот волшебный мир распределённых данных! Пока всё идёт гладко, Cassandra крута. Но стоит одному узлу выйти из строя, и кластеры превращаются в загадку с сюрпризом: какая часть данных уцелела? А кросс-DC репликация в больших сетях — это вообще лотерея.
✅Firebase Realtime Database
Звучит круто: данные синхронизируются в реальном времени! Но когда у вас десятки тысяч активных пользователей, всё превращается в ад, потому что каждый маленький запрос стоит тонну денег. А обновления без контроля затрагивают все клиенты разом.
✅Redis как основная БД
Легко, быстро, всё в памяти. Звучит круто, пока не осознаёшь, что забыли про механизм восстановления данных. Упс, сервер упал — данные улетели в никуда.
✅PostgreSQL и вакуум в сюрпризе
Все любят PostgreSQL, пока не сталкиваются с автovacuum. Если забыть настроить его правильно, база начинает тормозить так, что проще мигрировать данные на Excel.
✅Cassandra: мастер шардирования и мастер хаоса
О, этот волшебный мир распределённых данных! Пока всё идёт гладко, Cassandra крута. Но стоит одному узлу выйти из строя, и кластеры превращаются в загадку с сюрпризом: какая часть данных уцелела? А кросс-DC репликация в больших сетях — это вообще лотерея.
✅Firebase Realtime Database
Звучит круто: данные синхронизируются в реальном времени! Но когда у вас десятки тысяч активных пользователей, всё превращается в ад, потому что каждый маленький запрос стоит тонну денег. А обновления без контроля затрагивают все клиенты разом.
✅Redis как основная БД
Легко, быстро, всё в памяти. Звучит круто, пока не осознаёшь, что забыли про механизм восстановления данных. Упс, сервер упал — данные улетели в никуда.
❤2
😎🔥Небольшая подборка полезных датасетов
Synthia-v1.5-I - датасет, включающий более 20 тысяч технических вопросов и ответов. В наборе используются системные промпты в стиле Orca для генерации разнообразных ответов, что делает его ценным ресурсом для обучения и тестирования LLM на сложных технических данных.
HelpSteer2 - англоязычный набор данных, предназначенный для обучения reward-моделей, которые улучшают полезность, точность и связность ответов, генерируемых другими LLM.
LAION-DISCO-12M - включает 12 миллионов ссылок на общедоступные треки YouTube с метаданными. Набор данных создан для поддержки исследований в области машинного обучения, разработки базовых моделей обработки звука, анализа музыкальной информации, работы с аудио-данными, а также для обучения рекомендательных систем и приложений.
Universe — это крупномасштабная коллекция, содержащая астрономические данные различных типов: изображения, спектры и кривые блеска. Он предназначен для исследований в области астрономии и астрофизики.
Synthia-v1.5-I - датасет, включающий более 20 тысяч технических вопросов и ответов. В наборе используются системные промпты в стиле Orca для генерации разнообразных ответов, что делает его ценным ресурсом для обучения и тестирования LLM на сложных технических данных.
HelpSteer2 - англоязычный набор данных, предназначенный для обучения reward-моделей, которые улучшают полезность, точность и связность ответов, генерируемых другими LLM.
LAION-DISCO-12M - включает 12 миллионов ссылок на общедоступные треки YouTube с метаданными. Набор данных создан для поддержки исследований в области машинного обучения, разработки базовых моделей обработки звука, анализа музыкальной информации, работы с аудио-данными, а также для обучения рекомендательных систем и приложений.
Universe — это крупномасштабная коллекция, содержащая астрономические данные различных типов: изображения, спектры и кривые блеска. Он предназначен для исследований в области астрономии и астрофизики.
😎📊Тренды данных, которые преобразят бизнес в 2025 году
Автор статьи The Most Powerful Data Trends That Will Transform Business In 2025 выделяет ключевые тенденции, которые будут определять работу с данными в ближайшем будущем.
🤔Вот некоторые из них:
✅Конфиденциальные вычисления: использование блокчейна и гомоморфного шифрования позволит анализировать данные, не раскрывая их содержимое. Это ключевой шаг для совместной аналитики между компаниями с высокой защитой данных
✅Рост рынков данных: компании начнут продавать свои наборы данных, создавая новые потоки доходов. Возникнут специализированные платформы для торговли данными.
✅Расширение edge computing: обработка данных на периферии сети обеспечит минимальные задержки и повышение безопасности. Развитие технологий вроде tinyML изменит индустрии, где критична скорость обработки данных
✅Поведенческие данные как новый актив: анализ эмоциональных и поведенческих данных станет основой для персонализированных решений.
Автор статьи The Most Powerful Data Trends That Will Transform Business In 2025 выделяет ключевые тенденции, которые будут определять работу с данными в ближайшем будущем.
🤔Вот некоторые из них:
✅Конфиденциальные вычисления: использование блокчейна и гомоморфного шифрования позволит анализировать данные, не раскрывая их содержимое. Это ключевой шаг для совместной аналитики между компаниями с высокой защитой данных
✅Рост рынков данных: компании начнут продавать свои наборы данных, создавая новые потоки доходов. Возникнут специализированные платформы для торговли данными.
✅Расширение edge computing: обработка данных на периферии сети обеспечит минимальные задержки и повышение безопасности. Развитие технологий вроде tinyML изменит индустрии, где критична скорость обработки данных
✅Поведенческие данные как новый актив: анализ эмоциональных и поведенческих данных станет основой для персонализированных решений.
👏2❤1
В вашем проекте требуется обрабатывать потоковые данные с высокой пропускной способностью (более 100 000 событий в секунду) и гарантировать доставку данных без потерь. Какую архитектуру вы бы предпочли?
Anonymous Poll
67%
Apache Kafka с Exactly-Once семантикой и Spark Structured Streaming
13%
Использование Amazon S3 для хранения данных и последующего их анализа с помощью Athena
2%
Комбинация HDFS и Apache Storm с ручной обработкой ошибок
19%
NoSQL-базу данных (например, Cassandra) с периодической агрегацией данных
😎Небольшая подборка полезных Big Data репозиториев
Complete-Advanced-SQL-Series — репозиторий, который включает всё необходимое для улучшения навыков работы с SQL: более 100 упражнений и примеров.
ds-cheatsheet — репозиторий на GitHub, содержащий множество полезных шпаргалок по Data Science.
postgres_for_everything — репозиторий, который собирает примеры применения PostgreSQL для решения разнообразных задач: очереди сообщений, аналитика, контроль доступа, GIS, работа с временными рядами, поиск, кэширование и многое другое.
GenAI Showcase — репозиторий, демонстрирующий использование MongoDB в генеративном искусственном интеллекте. Включает примеры интеграции MongoDB с технологиями Retrieval-Augmented Generation (RAG) и различными ИИ-моделями.
Data-and-ML-Projects — репозиторий с более чем 50 проектами, охватывающими области Data Analytics, Data Science, Data Engineering, MLOps и Machine Learning.
Complete-Advanced-SQL-Series — репозиторий, который включает всё необходимое для улучшения навыков работы с SQL: более 100 упражнений и примеров.
ds-cheatsheet — репозиторий на GitHub, содержащий множество полезных шпаргалок по Data Science.
postgres_for_everything — репозиторий, который собирает примеры применения PostgreSQL для решения разнообразных задач: очереди сообщений, аналитика, контроль доступа, GIS, работа с временными рядами, поиск, кэширование и многое другое.
GenAI Showcase — репозиторий, демонстрирующий использование MongoDB в генеративном искусственном интеллекте. Включает примеры интеграции MongoDB с технологиями Retrieval-Augmented Generation (RAG) и различными ИИ-моделями.
Data-and-ML-Projects — репозиторий с более чем 50 проектами, охватывающими области Data Analytics, Data Science, Data Engineering, MLOps и Machine Learning.
GitHub
GitHub - Coder-World04/Complete-Advanced-SQL-Series: This repository contains everything you need to become proficient in Advanced…
This repository contains everything you need to become proficient in Advanced SQL - Coder-World04/Complete-Advanced-SQL-Series
🔥5🤩1
🧐Многопоточность PostgreSQL vs. MSSQL Server: преимущества и недостатки
Все мы знаем такие знаменитые СУБД, как PostgreSQL и MSSQL Server, которые часто используются при проектировании различной инфраструктуры веб-приложений. Давайте разберем, как насколько надежно работает многопоточность при выполнении запросов в каждой из этих СУБД.
👍Преимущества многопоточности PostgreSQL:
✅Модель процессов (process-based): каждый клиент работает в отдельном процессе, что минимизирует взаимное влияние соединений.
✅Стабильность и безопасность: независимость процессов уменьшает риск взаимоблокировок.
✅Гибкая настройка: процессная архитектура позволяет эффективно масштабировать ресурсы для отдельных задач.
❌Недостатки:
✅Высокое потребление памяти на каждый процесс
✅Ограниченная производительность при большом количестве соединений
✅Сложности с горизонтальным масштабированием
👍Преимущества многопоточности MSSQL Server:
✅Модель потоков (thread-based): обеспечивает эффективное использование CPU и памяти.
✅Высокая масштабируемость: подходит для большого количества параллельных соединений.
✅Интеграция с Windows: глубокая оптимизация для Windows-серверов
✅Быстрое переключение потоков: повышает производительность в системах с высокой конкуренцией за ресурсы.
❌Недостатки:
✅Сложность диагностики проблем из-за параллельного выполнения задач
✅Высокий риск взаимоблокировок
✅Высокие требования к администрированию для эффективного управления потоками
🤔Что выбрать?
PostgreSQL — для приложений с умеренным числом соединений, стабильной нагрузкой и акцентом на надежность
MSSQL Server — для высоконагруженных систем, требующих максимальной масштабируемости и производительности
Все мы знаем такие знаменитые СУБД, как PostgreSQL и MSSQL Server, которые часто используются при проектировании различной инфраструктуры веб-приложений. Давайте разберем, как насколько надежно работает многопоточность при выполнении запросов в каждой из этих СУБД.
👍Преимущества многопоточности PostgreSQL:
✅Модель процессов (process-based): каждый клиент работает в отдельном процессе, что минимизирует взаимное влияние соединений.
✅Стабильность и безопасность: независимость процессов уменьшает риск взаимоблокировок.
✅Гибкая настройка: процессная архитектура позволяет эффективно масштабировать ресурсы для отдельных задач.
❌Недостатки:
✅Высокое потребление памяти на каждый процесс
✅Ограниченная производительность при большом количестве соединений
✅Сложности с горизонтальным масштабированием
👍Преимущества многопоточности MSSQL Server:
✅Модель потоков (thread-based): обеспечивает эффективное использование CPU и памяти.
✅Высокая масштабируемость: подходит для большого количества параллельных соединений.
✅Интеграция с Windows: глубокая оптимизация для Windows-серверов
✅Быстрое переключение потоков: повышает производительность в системах с высокой конкуренцией за ресурсы.
❌Недостатки:
✅Сложность диагностики проблем из-за параллельного выполнения задач
✅Высокий риск взаимоблокировок
✅Высокие требования к администрированию для эффективного управления потоками
🤔Что выбрать?
PostgreSQL — для приложений с умеренным числом соединений, стабильной нагрузкой и акцентом на надежность
MSSQL Server — для высоконагруженных систем, требующих максимальной масштабируемости и производительности
Microsoft
SQL Server Downloads | Microsoft
Get started with Microsoft SQL Server downloads. Choose a SQL Server trial, edition, tool, or connector that best meets your data and workload needs.
👍1
😎💡FineMath: новый математический датасет от Hugging Face
Hugging Face выпустили крупный датасет FineMath, предназначенный для обучения моделей на математическом контенте. Датасет был сформирован с использованием CommonCrawl, классификатора, обученного на аннотациях LLama-3.1-70B-Instruct, и последующей фильтрации данных.
По сравнению с OpenWebMath и InfiMM, FineMath демонстрирует более стабильный рост точности моделей с увеличением объема данных. Этот эффект достигается благодаря качеству и разнообразию контента.
На базе FineMath уже создан проект по обучению LLM для математической помощи — репозиторий доступен на GitHub.
Hugging Face выпустили крупный датасет FineMath, предназначенный для обучения моделей на математическом контенте. Датасет был сформирован с использованием CommonCrawl, классификатора, обученного на аннотациях LLama-3.1-70B-Instruct, и последующей фильтрации данных.
По сравнению с OpenWebMath и InfiMM, FineMath демонстрирует более стабильный рост точности моделей с увеличением объема данных. Этот эффект достигается благодаря качеству и разнообразию контента.
На базе FineMath уже создан проект по обучению LLM для математической помощи — репозиторий доступен на GitHub.
🌎Небольшая обзор Data Science ивентов за 2025 год
18 января - Data Ёлка 2024 – Москва, Россия - https://ods.ai/events/data-elka-2024
22-23 января - Data Fusion Awards 2025 – Москва, Россия - https://awards.data-fusion.ru/
30 января - CX Focus 2025 – Москва, Россия - https://cxfocus.ru/
26 февраля - Качество данных 2025 – Москва, Россия - https://www.osp.ru/lp/dataquality2025
27 марта - DATA+AI 2025 – Москва, Россия - https://www.osp.ru/lp/data-ai2025
25 апреля - Merge 2025 – Казань, Россия - https://tatarstan2025.mergeconf.ru/
1 июня - Saint HighLoad++ 2025 - Санкт-Петербург, Россия - https://highload.ru/spb/2025
19 июня - IT IS conf 2025 – Екатеринбург, Россия - https://itisconf.ru/
23 сентября - Data Conf 2025 – Москва, Россия - https://datainternals.ru/2025
15-16 октября - Innovation Tech Days 2025 – Онлайн - https://smartgopro.com/innovation_tech_days/
18 января - Data Ёлка 2024 – Москва, Россия - https://ods.ai/events/data-elka-2024
22-23 января - Data Fusion Awards 2025 – Москва, Россия - https://awards.data-fusion.ru/
30 января - CX Focus 2025 – Москва, Россия - https://cxfocus.ru/
26 февраля - Качество данных 2025 – Москва, Россия - https://www.osp.ru/lp/dataquality2025
27 марта - DATA+AI 2025 – Москва, Россия - https://www.osp.ru/lp/data-ai2025
25 апреля - Merge 2025 – Казань, Россия - https://tatarstan2025.mergeconf.ru/
1 июня - Saint HighLoad++ 2025 - Санкт-Петербург, Россия - https://highload.ru/spb/2025
19 июня - IT IS conf 2025 – Екатеринбург, Россия - https://itisconf.ru/
23 сентября - Data Conf 2025 – Москва, Россия - https://datainternals.ru/2025
15-16 октября - Innovation Tech Days 2025 – Онлайн - https://smartgopro.com/innovation_tech_days/