Анализ данных (Data analysis)
46.3K subscribers
2.29K photos
264 videos
1 file
2.03K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
🎵 EZAudio - это новая модель преобразования текста в аудио (T2A).

Она устанавливает новый стандарт для моделей T2A с открытым исходным кодом b обеспечивает быструю, эффективную и реалистичную генерацию звуковых эффектов.

https://huggingface.co/spaces/OpenSound/EzAudio

@data_analysis_ml
👍10🔥52
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ KoolCogVideoX-5b

Инструмент генерации видео, который доработан на основе опенсорсного видеогенератора CogVideoX-5B специально для генерации дизайна интерьера.

Демо: https://huggingface.co/spaces/bertjiazheng/KoolCogVideoX
5b: https://huggingface.co/bertjiazheng/KoolCogVideoX-5b
2b: https://huggingface.co/bertjiazheng/KoolCogVideoX-2b

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥74👍3
🖥 pipe func - инструмент для создания простого функционального конвейера (DAG) на чистом Python для задач по анализу данных и научных вычислений 🕸️🧪

DAG — это ориентированный ациклический граф, концептуальное представление серии действий или, другими словами, математическая абстракция конвейера данных (data pipeline).

Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍126🎉1
🧑‍🍳 Свежий гайд по работе Groq API!

В этом руководстве подробно показано как создать приложение для модерации изображений на базе Grog для быстрого анализа изображений и проверки содержания контент на них .

Также в гайде показано как использовать Gradio для создания удобного интерфейса.

Groq известен своей невероятно высокой скоростью вывода, которая очень хорошо подходит для ИИ приложений, предоставляя множество больших языковых моделей (LLM) в различных модальностях через Groq API.

В этом руководстве используется LlaVA 1.5 7B для анализа изображений и Llama Guard 3 8B для оценки контент на изображеня.

Гайд: https://github.com/groq/groq-api-cookbook/blob/main/tutorials/image_moderation.ipynb
Демо: https://huggingface.co/spaces/Groq/image-moderation

@data_analysis_ml
10👍6🔥3
⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
АНАЛИЗ Данных: t.me/bigdatai
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Linux: t.me/linuxacademiya
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc


💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy
👍82🥱1
🖥 Daily Papers HN - это веб-приложение на базе Python, которое отображает академические статьи в интерфейсе, похожем на Hacker News.

Приложение использует Hugging Face Daily Papers API для получения и вывода статей в виде отсортированного списка.

Github
Demo

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍52😁2🔥1
Media is too big
VIEW IN TELEGRAM
🖥 Андрей Карпаты выложил ролик , где рассказывает о создании своего знаменитого проекта llm.c.

Его не удовлетворяли возможности PyTorch и метод compile, поэтому он принял решение переписать всё самостоятельно с нуля на языке C. Сейчас llm.c является крайне популярным проектом среди энтузиастов

Энтузиасты активно внедряют новые оптимизации, а в
ближайшем будущем планируют добавить поддержку llama-3.1.

Это отличный материал для прокачки мозгов 🧠

https://www.youtube.com/watch?v=BmdOt6A6tHM

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥32
Большинство моделей от Mistral теперь доступны бесплатно по API 😱

Что за аттракцион невиданной щедрости? Вероятно, ваши запросы будут использованы для обучения новых моделей (хотя это не точно).

VPN не требуется, карта не нужна. Пользуйтесь!

@data_analysis_ml
👍23🔥104🤯2🌭1
👀 Open AI только что выпустила многоязычный датасет Multilingual Massive Multitask Language Understanding (MMMLU) на huggingface

🌍 Набор тестов MMLU доступен на 14 языках, включая арабский, немецкий, испанский, французский,...........
🧠 Он охватывает широкий спектр тем из 57 различных категорий, от элементарных знаний до продвинутых профессиональных дисциплин, таких как юриспруденция, физика, история и информатика.
🎓 Переведено профессиональными переводчиками
🔬 Оценивает общие знания моделей искусственного интеллекта в различных культурах, используемые в openai/simple-evals
🤔 Лицензия не определена

https://huggingface.co/datasets/openai/MMMLU

@data_analysis_ml
👍143🔥3🌭1
⚡️ Вышел Face fusion 3.0

Мощное приложение для работы с лицами с открытым исходным кодом на базе Gradio, поддерживает множество новых функций, включая:

- Модификация возраста
- Редактор лиц (через LivePortrait)
- Система очередей заданий
- И многое другое

Github: https://github.com/facefusion/facefusion
Proj: join.facefusion.io
Установка: https://pinokio.computer/item?uri=https://github.com/facefusion/facefusion-pinokio

@data_analysis_ml
11👍6🔥3🌭1
⚡️ Настоящая кладезь руководств по генеративным агентам искусственного интеллекта!

В этом репозитории вы найдете все, что связано с агентами. От простых объяснений до самых сложных тем.

https://github.com/NirDiamant/GenAI_Agents

@data_analysis_ml
1👍136🔥2🌭1
Llama 3.2 : релиз VLM, SLM моделей и дистрибутива Llama Stack.

Только что были опубликованы набор моделей семейства Lllama 3.2.

Семейство Llama 3.2 разработано для решения мультимодальных задач: понимание документов с графиками и диаграммами, создание аннотаций к изображениям, локализация объектов на изображениях по текстовому описанию.

Список моделей релиза:

🟢Llama-3.2-90B-Vision и версия Instruct;

🟢Llama-3.2-11B-Vision и версии Instruct и Guard-3;

🟢Llama-3.2-3B и версия Instruct;

🟢Llama-3.2-1B и версии - Instruct, INT4 и Guard-3.

Малые модели (1B и 3B) созданы методом обрезки и дистилляции знаний на основе модели Llama-3.1-8B. Они оптимизированы для работы на мобильных устройствах и предназначены для обобщения текста, обработка инструкций и генерации текста.

Модели были дополнительно настроены для обработки контекста длиной до 128 тыс. токенов. Эти модели протестированы на оборудовании Qualcomm и MediaTek и оптимизированы для процессоров Arm.

Архитектура больших моделей (11B и 90B) основана на предобученных текстовых моделях Llama 3.1, дополненных адаптерами и энкодерами для обработки изображений.

Результаты тестирования показали, что vision-модели Llama 3.2 сопоставимы с Claude 3 Haiku и GPT4o-mini, в задачах распознавания изображений и визуального понимания.

Модель 3B превосходит модели Gemma 2 2.6B и Phi 3.5-mini в обработке инструкций, обобщения, генерации текста и использования инструментов.

▶️ Llama Stack - дистрибутив, который значительно упростит усилия разработчиков с моделями Llama в различных средах: одноузловые, локальные, облачные и на носимых устройствах, позволяя развертывать "под ключ" RAG и приложения с поддержкой инструментов с интегрированной системой безопасности.

Развертывание на устройствах осуществляется с помощью PyTorch ExecuTorch, а распространение на одном узле - с помощью Ollama. В родительском репозитории дополнительно опубликованы клиентские SDK на NodeJS, Python, Swift, Kotlin.

Все модели Llama 3.2 доступными для скачивания на llama.com и Hugging Face, а также на партнерских платформах : AMD, AWS, Databricks, Dell, Google Cloud, Groq, IBM, Intel, Microsoft Azure, NVIDIA, Oracle Cloud, Snowflake и др.


📌Лицензирование :

🟢Код Llama Stack: MIT License.

🟠Модели : Lama3.2


🟡Страница проекта
🟡Коллекция моделей на HF
🟡Demo Llama-1B
🟡Demo Llama-3B
🖥GitHub Llama-Stack



@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍103🔥2👏1🌭1
Media is too big
VIEW IN TELEGRAM
🌟 ChatGPT на калькуляторе TI-84

Автор ютуб-канала ChromaLock сделал модифицированный калькулятор TI-84, оснащённый возможностью выхода в интернет.

С помощью микроконтроллера ESP32C3 и специально разработанной печатной платы, калькулятор получил возможность подключения к интернету.

Связь между калькулятором и модулем осуществляется с помощью эмуляции протокола передачи данных TI-84. Специальные приложения на калькуляторе, написанные на TI Basic, взаимодействуют с микроконтроллером, отправляя и получая данные, эмулируя обмен между двумя калькуляторами, чтобы обходить ограничения отправки и получение данных.

В результате, TI-84 получил возможности:

🟠чат для связи с друзьями;
🟠браузер изображений;
🟠браузер приложений для загрузки дополнительных программ и заметок;
🟠возможность получать ответы на вопросы через ChatGPT.


@data_analysis_ml

#AI #ML #LLM #Tutorial
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10👍42🥴1🌭1
🌟 Реализация высоконагруженный процессингов и использование тяжелых моделей GPT

Как подходы к генерации развивались со временем, первый подход к оптимизации нагрузки и взаимодействие процессинга и сервиса ML‑вычислений. Команда Яндекса поделилась опытом эффективного распределения нагрузки для моделей на GPU и CPU.

🟡 Habr

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
7
⚡️Исследование неочевидных аспектов квантового программирования:

10 библиотек для тех, кто хочет погрузиться в квантовое программирование:

Qiskit — это библиотека для квантового программирования, которая позволяет пользователям писать программы для квантовых компьютеров IBM. Включает поддержку классических, квантовых алгоритмов и визуализацию квантовых схем.

Cirq — это библиотека от Google для создания, симуляции и выполнения квантовых алгоритмов. Она предназначена для использования с квантовыми компьютерами и обеспечивает возможность работы с сложными квантовыми системами.

PennyLane - объединяет машинное обучение и квантовое программирование. Она позволяет пользователям создавать самонастраиваемые квантовые алгоритмы и исследовать преимущества квантовых вычислений в задачах машинного обучения.

ProjectQ - это открытая платформа для квантовых вычислений, которая позволяет пользователям реализовывать и симулировать квантовые алгоритмы, и включает в себя интерфейсы для различных квантовых процессоров.

QuTiP - предоставляет инструменты для моделирования квантовых систем и является незаменимым инструментом для исследователей квантовой механики и квантовой оптики.

PyQuil - это библиотека для написания квантовых программ с помощью языка квантового программирования Quil, разработанного Rigetti Computing. Поддерживает симуляцию и выполнение программ на реальных квантовых процессорах.

Tequila - это инструмент для создания квантовых алгоритмов с интеграцией в PyTorch и TensorFlow, который позволяет больше акцентировать внимание на квантовых вычислениях в контексте глубокого обучения.

Strawberry Fields предлагает платформу для создания и симуляции квантовых алгоритмов с использованием квантовых битов и квантовой оптики. Подходит для работы с квантовыми сетями и визуализацией в квантовых схемах.

Q# - это язык программирования от Microsoft для квантовых вычислений, который также предоставляет библиотеки, намеренные упростить разработку и выполнение квантовых алгоритмов в Azure Quantum.

Quirk — это онлайн-интерфейс для визуального проектирования и анализа квантовых схем, который позволяет легко экспериментировать с различными квантовыми логическими элементами.

#quantum #python #ai

@data_analysis_ml
12🔥6👍4🐳1🌭1
🐐Oryx🐐 - унифицированная мультимодальная архитектура для генераций изображений, видео и 3D-сцен с разными ракурсами.

- Проект: https://oryx-mllm.github.io
- Github: https://github.com/Oryx-mllm/Oryx
- Демо: https://huggingface.co/spaces/THUdyh/Oryx

@data_analysis_ml
8👍5🔥2🌭1
📊 FinanceDatabase для Python — мощный инструмент для работы с финансовыми данными!

Этот репозиторий предоставляет удобный доступ к более чем 300 000 финансовых инструментов: акции, ETF, криптовалюты, облигации и многое другое. Можно легко находить информацию по каждому активу и использовать ее в своих проектах.

💡 Установка:

pip install financedatabase -U


💡 Использование:

import financedatabase as fd


🔐 Лицензия: MIT

▪️Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍29❤‍🔥5🔥4🌭1
⚡️ Screenpipe записывает ваш экран и обрабатывает эти записи с помощью Ollama.

Инструмент написан на Rust.

Он позволяет автоматически собирать данные с вашего пк во всех форматах (текст, аудио, видео) и обрабатывать с помощью LLM.

Особое внимание уделено безопасности данных, с фокусом на локальное хранение в базе данных SQLite. Исходный код доступен на GitHub : https://github.com/mediar-ai/screenpipe

Github

@data_analysis_ml
👍138🔥3🤔2🌭1