Анализ данных (Data analysis)
45.3K subscribers
2.12K photos
232 videos
1 file
1.91K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
🖥 Daily Papers HN - это веб-приложение на базе Python, которое отображает академические статьи в интерфейсе, похожем на Hacker News.

Приложение использует Hugging Face Daily Papers API для получения и вывода статей в виде отсортированного списка.

Github
Demo

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
🖥 Андрей Карпаты выложил ролик , где рассказывает о создании своего знаменитого проекта llm.c.

Его не удовлетворяли возможности PyTorch и метод compile, поэтому он принял решение переписать всё самостоятельно с нуля на языке C. Сейчас llm.c является крайне популярным проектом среди энтузиастов

Энтузиасты активно внедряют новые оптимизации, а в
ближайшем будущем планируют добавить поддержку llama-3.1.

Это отличный материал для прокачки мозгов 🧠

https://www.youtube.com/watch?v=BmdOt6A6tHM

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Большинство моделей от Mistral теперь доступны бесплатно по API 😱

Что за аттракцион невиданной щедрости? Вероятно, ваши запросы будут использованы для обучения новых моделей (хотя это не точно).

VPN не требуется, карта не нужна. Пользуйтесь!

@data_analysis_ml
👀 Open AI только что выпустила многоязычный датасет Multilingual Massive Multitask Language Understanding (MMMLU) на huggingface

🌍 Набор тестов MMLU доступен на 14 языках, включая арабский, немецкий, испанский, французский,...........
🧠 Он охватывает широкий спектр тем из 57 различных категорий, от элементарных знаний до продвинутых профессиональных дисциплин, таких как юриспруденция, физика, история и информатика.
🎓 Переведено профессиональными переводчиками
🔬 Оценивает общие знания моделей искусственного интеллекта в различных культурах, используемые в openai/simple-evals
🤔 Лицензия не определена

https://huggingface.co/datasets/openai/MMMLU

@data_analysis_ml
⚡️ Вышел Face fusion 3.0

Мощное приложение для работы с лицами с открытым исходным кодом на базе Gradio, поддерживает множество новых функций, включая:

- Модификация возраста
- Редактор лиц (через LivePortrait)
- Система очередей заданий
- И многое другое

Github: https://github.com/facefusion/facefusion
Proj: join.facefusion.io
Установка: https://pinokio.computer/item?uri=https://github.com/facefusion/facefusion-pinokio

@data_analysis_ml
⚡️ Настоящая кладезь руководств по генеративным агентам искусственного интеллекта!

В этом репозитории вы найдете все, что связано с агентами. От простых объяснений до самых сложных тем.

https://github.com/NirDiamant/GenAI_Agents

@data_analysis_ml
Llama 3.2 : релиз VLM, SLM моделей и дистрибутива Llama Stack.

Только что были опубликованы набор моделей семейства Lllama 3.2.

Семейство Llama 3.2 разработано для решения мультимодальных задач: понимание документов с графиками и диаграммами, создание аннотаций к изображениям, локализация объектов на изображениях по текстовому описанию.

Список моделей релиза:

🟢Llama-3.2-90B-Vision и версия Instruct;

🟢Llama-3.2-11B-Vision и версии Instruct и Guard-3;

🟢Llama-3.2-3B и версия Instruct;

🟢Llama-3.2-1B и версии - Instruct, INT4 и Guard-3.

Малые модели (1B и 3B) созданы методом обрезки и дистилляции знаний на основе модели Llama-3.1-8B. Они оптимизированы для работы на мобильных устройствах и предназначены для обобщения текста, обработка инструкций и генерации текста.

Модели были дополнительно настроены для обработки контекста длиной до 128 тыс. токенов. Эти модели протестированы на оборудовании Qualcomm и MediaTek и оптимизированы для процессоров Arm.

Архитектура больших моделей (11B и 90B) основана на предобученных текстовых моделях Llama 3.1, дополненных адаптерами и энкодерами для обработки изображений.

Результаты тестирования показали, что vision-модели Llama 3.2 сопоставимы с Claude 3 Haiku и GPT4o-mini, в задачах распознавания изображений и визуального понимания.

Модель 3B превосходит модели Gemma 2 2.6B и Phi 3.5-mini в обработке инструкций, обобщения, генерации текста и использования инструментов.

▶️ Llama Stack - дистрибутив, который значительно упростит усилия разработчиков с моделями Llama в различных средах: одноузловые, локальные, облачные и на носимых устройствах, позволяя развертывать "под ключ" RAG и приложения с поддержкой инструментов с интегрированной системой безопасности.

Развертывание на устройствах осуществляется с помощью PyTorch ExecuTorch, а распространение на одном узле - с помощью Ollama. В родительском репозитории дополнительно опубликованы клиентские SDK на NodeJS, Python, Swift, Kotlin.

Все модели Llama 3.2 доступными для скачивания на llama.com и Hugging Face, а также на партнерских платформах : AMD, AWS, Databricks, Dell, Google Cloud, Groq, IBM, Intel, Microsoft Azure, NVIDIA, Oracle Cloud, Snowflake и др.


📌Лицензирование :

🟢Код Llama Stack: MIT License.

🟠Модели : Lama3.2


🟡Страница проекта
🟡Коллекция моделей на HF
🟡Demo Llama-1B
🟡Demo Llama-3B
🖥GitHub Llama-Stack



@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
🌟 ChatGPT на калькуляторе TI-84

Автор ютуб-канала ChromaLock сделал модифицированный калькулятор TI-84, оснащённый возможностью выхода в интернет.

С помощью микроконтроллера ESP32C3 и специально разработанной печатной платы, калькулятор получил возможность подключения к интернету.

Связь между калькулятором и модулем осуществляется с помощью эмуляции протокола передачи данных TI-84. Специальные приложения на калькуляторе, написанные на TI Basic, взаимодействуют с микроконтроллером, отправляя и получая данные, эмулируя обмен между двумя калькуляторами, чтобы обходить ограничения отправки и получение данных.

В результате, TI-84 получил возможности:

🟠чат для связи с друзьями;
🟠браузер изображений;
🟠браузер приложений для загрузки дополнительных программ и заметок;
🟠возможность получать ответы на вопросы через ChatGPT.


@data_analysis_ml

#AI #ML #LLM #Tutorial
Please open Telegram to view this post
VIEW IN TELEGRAM
🌟 Реализация высоконагруженный процессингов и использование тяжелых моделей GPT

Как подходы к генерации развивались со временем, первый подход к оптимизации нагрузки и взаимодействие процессинга и сервиса ML‑вычислений. Команда Яндекса поделилась опытом эффективного распределения нагрузки для моделей на GPU и CPU.

🟡 Habr

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡️Исследование неочевидных аспектов квантового программирования:

10 библиотек для тех, кто хочет погрузиться в квантовое программирование:

Qiskit — это библиотека для квантового программирования, которая позволяет пользователям писать программы для квантовых компьютеров IBM. Включает поддержку классических, квантовых алгоритмов и визуализацию квантовых схем.

Cirq — это библиотека от Google для создания, симуляции и выполнения квантовых алгоритмов. Она предназначена для использования с квантовыми компьютерами и обеспечивает возможность работы с сложными квантовыми системами.

PennyLane - объединяет машинное обучение и квантовое программирование. Она позволяет пользователям создавать самонастраиваемые квантовые алгоритмы и исследовать преимущества квантовых вычислений в задачах машинного обучения.

ProjectQ - это открытая платформа для квантовых вычислений, которая позволяет пользователям реализовывать и симулировать квантовые алгоритмы, и включает в себя интерфейсы для различных квантовых процессоров.

QuTiP - предоставляет инструменты для моделирования квантовых систем и является незаменимым инструментом для исследователей квантовой механики и квантовой оптики.

PyQuil - это библиотека для написания квантовых программ с помощью языка квантового программирования Quil, разработанного Rigetti Computing. Поддерживает симуляцию и выполнение программ на реальных квантовых процессорах.

Tequila - это инструмент для создания квантовых алгоритмов с интеграцией в PyTorch и TensorFlow, который позволяет больше акцентировать внимание на квантовых вычислениях в контексте глубокого обучения.

Strawberry Fields предлагает платформу для создания и симуляции квантовых алгоритмов с использованием квантовых битов и квантовой оптики. Подходит для работы с квантовыми сетями и визуализацией в квантовых схемах.

Q# - это язык программирования от Microsoft для квантовых вычислений, который также предоставляет библиотеки, намеренные упростить разработку и выполнение квантовых алгоритмов в Azure Quantum.

Quirk — это онлайн-интерфейс для визуального проектирования и анализа квантовых схем, который позволяет легко экспериментировать с различными квантовыми логическими элементами.

#quantum #python #ai

@data_analysis_ml
🐐Oryx🐐 - унифицированная мультимодальная архитектура для генераций изображений, видео и 3D-сцен с разными ракурсами.

- Проект: https://oryx-mllm.github.io
- Github: https://github.com/Oryx-mllm/Oryx
- Демо: https://huggingface.co/spaces/THUdyh/Oryx

@data_analysis_ml
📊 FinanceDatabase для Python — мощный инструмент для работы с финансовыми данными!

Этот репозиторий предоставляет удобный доступ к более чем 300 000 финансовых инструментов: акции, ETF, криптовалюты, облигации и многое другое. Можно легко находить информацию по каждому активу и использовать ее в своих проектах.

💡 Установка:

pip install financedatabase -U


💡 Использование:

import financedatabase as fd


🔐 Лицензия: MIT

▪️Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡️ Screenpipe записывает ваш экран и обрабатывает эти записи с помощью Ollama.

Инструмент написан на Rust.

Он позволяет автоматически собирать данные с вашего пк во всех форматах (текст, аудио, видео) и обрабатывать с помощью LLM.

Особое внимание уделено безопасности данных, с фокусом на локальное хранение в базе данных SQLite. Исходный код доступен на GitHub : https://github.com/mediar-ai/screenpipe

Github

@data_analysis_ml
🌟 LLaMa 3.2 Multimodal Web UI — это удобный интерфейс для работы с LLaMa 3.2 на базе Ollama.

Он поддерживает различные типы данных, включая текстовые и графические и позволяет пользователям задавать вопросы и получать ответы в различных форматах: текстовом, кодовом и визуальном.

Этот интерфейс адаптирован под использование на настольных компьютерах и мобильных устройствах и был тщательно протестирован на Ubuntu.

git clone https://github.com/iamgmujtaba/llama3.2-webUI

Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
📚 ebook2audiobook

Инструмент, который позволяет конвертировать электронные книги в аудиокниги с главами и метаданными с помощью Calibre и Coqui XTTS.

📖 Преобразует электронные книги в текстовый формат с помощью Calibre.
📚 Разбивает электронную книгу на главы для упорядоченного воспроизведения.
🎙️ Высококачественное преобразование текста в речь с помощью Coqui XTTS.
🗣️ Клонирование голоса с помощью вашего образца голоса .
Поддерживает несколько языков (по умолчанию английский, русский поддерживается).

pip install tts==0.21.3 pydub nltk beautifulsoup4 ebooklib tqdm

Github

@data_analysis_ml
👩‍💻 Ускорь Pandas в 20 раз, изменив всего одну строчку кода! 🔥

💡 Pandas часто бывает медленным. Но есть простое решение: FireDucks — библиотека с таким же API, как у Pandas, которая решает значительно ускоряет обработку данных.

Как ускорить Pandas?

🌟 Просто замените импорт библиотеки:

Было:


import pandas as pd


Стало:


import fireducks.pandas as pd


🌟Теперь ваш код работает быстрее без изменений логики! Попробуйте сами и убедитесь, как легко ускорить работу с большими данными! 🚀


@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM