Иногда просто нужно узнать, как работает код и как его интегрировать, не тратя часы на изучение самого кода. Repo2vec - это как GitHub Copilot, но с самой актуальной информацией о целевом репозитории.
Возможности:
--index-issues. И наоборот, вы можете отключить индексирование кода (и индексировать только issues), ключом --no-index-repo.Помимо self-hosted варианта для приватных репозиториев, repo2vec существует в виде бесплатного онлайн-сервиса индексации публичных репозиториев Github - Code Sage.
# Install the library
pip install repo2vec
# Install Marqo instance using Docker:
docker rm -f marqo
docker pull marqoai/marqo:latest
docker run --name marqo -it -p 8882:8882 marqoai/marqo:latest
# Run index your codebase:
index github-repo-name
--embedder-type=marqo
--vector-store-type=marqo
--index-name=your-index-name
# Сhat with a local LLM via Ollama
# Start Gradio:
chat github-repo-name
--llm-provider=ollama
--llm-model=llama3.1
--vector-store-type=marqo
--index-name=your-index-name
@ai_machinelearning_big_data
#AI #ML #LLM #RAG #repo2vec
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Давайте проверим ваши знания работы бинарного дерева поиска. Посмотрите на изображение и ответьте на вопрос ниже.
#викторина #bst
#викторина #bst
Что произойдет при добавлении узла со значением 25 в бинарное дерево поиска (BST) на изображении выше?
Anonymous Quiz
13%
Узел 25 добавится справа от узла 20
4%
Узел 25 добавится слева от узла 20
64%
Узел 25 не будет добавлен, так как уже существует
7%
Узел 25 добавится справа от узла 10
11%
Узел 25 не будет добавлен, так как справа от числа 20 уже есть число 40
This media is not supported in your browser
VIEW IN TELEGRAM
🌲 Supertree — инструмент для создания интерактивных визуализаций деревьев решений:
- Работает с Jupyter Notebooks, Jupyter Lab, Google Colab и другими средами, поддерживающими рендеринг HTML.
- Поддерживает возможность масштабирования дерева (зум).
- Позволяет разворачивать и сворачивать выбранные узлы для более удобного анализа.
https://github.com/mljar/supertree
@machinelearning_interview
- Работает с Jupyter Notebooks, Jupyter Lab, Google Colab и другими средами, поддерживающими рендеринг HTML.
- Поддерживает возможность масштабирования дерева (зум).
- Позволяет разворачивать и сворачивать выбранные узлы для более удобного анализа.
https://github.com/mljar/supertree
@machinelearning_interview
📚 Справочник-шпаргалка по методологиям и паттернам на Python
Это обширный гайд на «Хабре», который расскажет о:
▪паттернах (порождающих, структурных, поведенческих);
▪разработке через тестирование (TDD);
▪разработке, основанной на описании поведения (BDD);
▪предметно-ориентированном проектировании (DDD).
🔗 Ссылка
@machinelearning_interview
Это обширный гайд на «Хабре», который расскажет о:
▪паттернах (порождающих, структурных, поведенческих);
▪разработке через тестирование (TDD);
▪разработке, основанной на описании поведения (BDD);
▪предметно-ориентированном проектировании (DDD).
🔗 Ссылка
@machinelearning_interview
Forwarded from Machinelearning
Книга “Understanding Deep Learning” посвящена идеям и принципам, лежащим в основе глубокого обучения. Подача материала построена таким образом, чтобы читатель мог понять материал настолько эффективно, насколько это возможно. Для читателей, желающих углубиться в изучение, в каждой главе приведены соответствующие задачи, записные книжки по Python и подробные справочные материалы.
В первой части книги представлены модели глубокого обучения и обсуждается, как их обучать, измерять их производительность и улучшать эту производительность.
В следующей части рассматриваются архитектуры, которые специализируются на изображениях, тексте и графических данных. Для свободного понимания этих двух глав требуется понимать принципы линейной алгебры, матанализа и теории вероятностей.
Последующие части книги посвящены генеративным моделям и методике обучения с подкреплением. Эти главы требуют больших знаний в области теории вероятностей и математического анализа.
В последней главе обсуждается этика искусственного интеллекта и призыв к практикующим инженерам задуматься о моральных последствиях своей работы.
Автор книги: Simon J. D. Prince - почетный профессор информатики в Университете Bath (Великобритания) , со-автор более 80 опубликованных исследований в области ML.
Научный сотрудник, специализирующийся на искусственном интеллекте и глубоком обучении, он руководил группами ресерча в Anthropics Technologies Ltd, Borealis AI и других компаниях.
Дополнительно, на отдельном сайте книги, читателям доступны:
@ai_machinelearning_big_data
#AI #ML #Book
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🌟 Google представила инструмент для преобразования любой научной статьи в подкаст.
Illuminate – это сервис text-to-audio, который позволяет быстро ознакомиться с содержанием научных статей.
Сейчас инструмент доступен только по запросу – необходимо встать в очередь ожидания. Однако на сайте Illuminate уже есть подкасты по известным научным статьям в области искусственного интеллекта:
🎧 Attention is All You Need
🎧 Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
🎧 On Limitations of the Transformer Architecture
🎧 MLP-Mixer: An all-MLP Architecture for Vision
https://illuminate.google.com/home
@machinelearning_interview
Illuminate – это сервис text-to-audio, который позволяет быстро ознакомиться с содержанием научных статей.
Сейчас инструмент доступен только по запросу – необходимо встать в очередь ожидания. Однако на сайте Illuminate уже есть подкасты по известным научным статьям в области искусственного интеллекта:
🎧 Attention is All You Need
🎧 Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
🎧 On Limitations of the Transformer Architecture
🎧 MLP-Mixer: An all-MLP Architecture for Vision
https://illuminate.google.com/home
@machinelearning_interview
🛠 Какова роль у небольших моделей в эпоху LLM: Интересный Обзор
В этой работе рассматриваются взаимоотношения между LLM и малыми моделями, анализируется их потенциал в использовании вместе с большими моделями и иъ конкурентные преимущества.
📝https://arxiv.org/abs/2409.06857
👨🏽💻https://github.com/tigerchen52/role_of_small_models
@machinelearning_interview
В этой работе рассматриваются взаимоотношения между LLM и малыми моделями, анализируется их потенциал в использовании вместе с большими моделями и иъ конкурентные преимущества.
📝https://arxiv.org/abs/2409.06857
👨🏽💻https://github.com/tigerchen52/role_of_small_models
@machinelearning_interview
Forwarded from Machinelearning
⚡️ OpenAI релизнули новую модель OpenAI o1, которая в разы мощнее GPT-4o.
Тот самый секретны проект, над которым так долго работала компания.
Доступ обещают дать уже сегодня.
@ai_machinelearning_big_data
#openai #chatgpt
Тот самый секретны проект, над которым так долго работала компания.
Доступ обещают дать уже сегодня.
@ai_machinelearning_big_data
#openai #chatgpt
Подборка важных SQL вопросов для разных уровней👇
🔹 Начинающие (0-2 года):
▪️ В чем разница между WHERE и HAVING?
▪️ Какие виды JOIN существуют в SQL?
🔹 Опытные (2-5 лет):
▪️ Запрос для поиска второй по величине зарплаты.
▪️ Оконные функции в SQL, пример с ROW_NUMBER().
🔹 Эксперты (5+ лет):
▪️ Как оптимизировать медленный запрос?
▪️ Когда использовать кластеризованные и некластеризованные индексы?
@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
В этой статье представлена реализация архитектуры UNet 3+ с помощью TensorFlow.
UNet 3+ расширяет классическую архитектуру UNet и UNet++.
В статье рассмотрен каждый блок архитектуры UNet 3+ и объяснено, как они работают и что способствует повышению производительности модели.
Понимание этих блоков позволит понять механизмы, лежащие в основе UNet 3+, и то, как она эффективно справляется с такими задачами, как сегментация изображений или другими задачами попиксельного предсказания.
https://idiotdeveloper.com/unet-3-plus-implementation-in-tensorflow/
@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
ИТМО представил анализ Open Source проектов в области машинного обучения и работы с данными в России. Вот ключевые моменты:
— Лидеры: Яндекс, Сбер, Т-банк.
— Решения российских разработчиков ориентируются на локальный и международный рынок.
— Исследователи насчитали 120 открытых решений от Яндекса.
— В топ-3 проектов компании попали CatBoost, YTsaurus, YDB.
— Среди свежих релизов: YaFSDP, Gravity UI, Diplodoc, DataLens.
— В список также попал ex-проект Яндекса — ClickHouse.
Исследование показало смену парадигмы: участники больше не считают, что опенсорс играет на руку конкурентам. Фокус смещается на коллективное развитие сферы через открытые проекты.
@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
Nemotron-Mini-4B-Instruct - небольшая модель, полученная в результате файнтюна, обрезки (pruning), дистилляции и квантования модели Minitron-4B-Base.
Эта модель оптимизирована для roleplay-сценариев, RAG QA и вызова функций на английском языке.
Практическое применение модели ориентировано на интеграции в гейм-разработке, преимущественно - в экосистеме NVIDIA.
Модель обучалась в период февраль-август 2024 года.
При создании Nemotron-Mini-4B-Instruct использованы техники Grouped-Query Attention (GQA) и Rotary Position Embeddings (RoPE).
Пример инференса в Transformers, шаблоны простого промпта и instruct- шаблон в карточке модели на Huggingface.
Есть неофициальные квантованные (imatrix) GGUF - версии модели в 8 разрядностях, от 3-bit (2.18 Gb) до 16-bit (8.39 Gb) для запуска в llama.cpp и LM Studio.
@ai_machinelearning_big_data
#AI #NVIDIA #LLM #ML #Nemotron
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🛠 Интересный проект: разработчик создал простую систему, которая помогает пройти собеседование, фактически отвечая за вас!
Алгоритм работает так: Whisper преобразует речь интервьюера в текст, передаёт его ChatGPT, который генерирует ответ. Затем вы просто читаете его с экрана.
Всё, что вам нужно — открывать рот и произносить готовые фразы🤣
▪ GitHub
@machinelearning_interview
Алгоритм работает так: Whisper преобразует речь интервьюера в текст, передаёт его ChatGPT, который генерирует ответ. Затем вы просто читаете его с экрана.
Всё, что вам нужно — открывать рот и произносить готовые фразы🤣
▪ GitHub
@machinelearning_interview
Полезный курс сосредоточен на введении в вычисления и визуализацию данных в Python. Подходит для тех, кто не имеет опыта программирования.
Вот темы, которые охватывает курс:
▪️основы Python (в Jupyter);
▪️базовые вычисления и работа с данными (NumPy, Pandas);
▪️работа с API;
▪️визуализация данных (Matplotlib, Seaborn);
▪️лучшие практики Python.
🔗 Ссылка на курс
#курс #python
@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡️ Задача: Предсказание дохода человека.
Вам известны все необходимые признаки, а данных достаточно.
После построения модели как вы определите, что она получилась хорошей?
Чтобы оценить, построенная модель для предсказания доходов человека получилась хорошей, нужно сделать следующее:
1. Выберите метрику качества модели: Для оценки точности модели используйте одну из следующих метрик: Mean Absolute Error (MAE), Mean Squared Error (MSE) или Root Mean Squared Error (RMSE). Эти метрики помогут понять, насколько точно модель предсказывает целевую переменную.
2. Разделите данные на обучающую и тестовую выборки: Используйте обучающую выборку для построения модели, а тестовую — для оценки её качества. Это поможет избежать переобучения, при котором модель хорошо работает на обучающих данных, но плохо на новых примерах.
3. Оцените модель на тестовых данных: Проверьте качество модели на тестовой выборке. Если значения метрик на обучающей и тестовой выборках не сильно различаются, это указывает на отсутствие переобучения и способность модели давать хорошие предсказания.
4. Примените кросс-валидацию: Дополнительно можно использовать кросс-валидацию для оценки стабильности модели. Это позволит убедиться, что модель демонстрирует хорошие результаты на различных подвыборках данных.
👇 Пишите свой вариант ответа в комментариях.
@machinelearning_interview
Вам известны все необходимые признаки, а данных достаточно.
После построения модели как вы определите, что она получилась хорошей?
Чтобы оценить, построенная модель для предсказания доходов человека получилась хорошей, нужно сделать следующее:
2. Разделите данные на обучающую и тестовую выборки: Используйте обучающую выборку для построения модели, а тестовую — для оценки её качества. Это поможет избежать переобучения, при котором модель хорошо работает на обучающих данных, но плохо на новых примерах.
3. Оцените модель на тестовых данных: Проверьте качество модели на тестовой выборке. Если значения метрик на обучающей и тестовой выборках не сильно различаются, это указывает на отсутствие переобучения и способность модели давать хорошие предсказания.
4. Примените кросс-валидацию: Дополнительно можно использовать кросс-валидацию для оценки стабильности модели. Это позволит убедиться, что модель демонстрирует хорошие результаты на различных подвыборках данных.
👇 Пишите свой вариант ответа в комментариях.
@machinelearning_interview
🛠 Эксперименты с обучением моделей для нейроредактора в Яндекс Браузере
Команда разработки доработала предыдущее решение, что в итоге привело к созданию отдельного инструмента на основе языковой модели YandexGPT. Он помогает пользователям создавать тексты с нуля и улучшать готовые прямо в браузере — например, исправлять ошибки и переписывать в определенном стиле и формате.
Для офлайн-метрик использовалась диффалка, написанная на Go. Диффалка работает на основе алгоритма поиска наибольшей общей подпоследовательности (LCS): ищутся наидлиннейшие общие подпоследовательности между версиями текста. Это позволило подсчитывать количество ошибок, которые модель не исправляет, сравнивая вывод модели с текстом, отредактированным человеком, и проверять гипотезы о качестве, экономя время.
Эксперименты (переход к Encoder-Decoder, curriculum learning, предобучение) дали ускорение в 2 раза и +10% качества на открытых датасетах.
Раньше при нейроредактировании модель могла легко удалить или добавить лишние спецсимволы, что приводило к непредсказуемым результатам. Теперь, с внедрением полноценной поддержки Маркдауна, эта проблема устранена. Для обеспечения корректной обработки разметки применялся подход восстановления: прогон текста через модель, ручное восстановление пропавшей разметки и переобучение модели. В итоге достигнуто сохранение разметки 1:1 в модели исправления ошибок.
📝 Хабр
@machinelearning_interview
Команда разработки доработала предыдущее решение, что в итоге привело к созданию отдельного инструмента на основе языковой модели YandexGPT. Он помогает пользователям создавать тексты с нуля и улучшать готовые прямо в браузере — например, исправлять ошибки и переписывать в определенном стиле и формате.
Для офлайн-метрик использовалась диффалка, написанная на Go. Диффалка работает на основе алгоритма поиска наибольшей общей подпоследовательности (LCS): ищутся наидлиннейшие общие подпоследовательности между версиями текста. Это позволило подсчитывать количество ошибок, которые модель не исправляет, сравнивая вывод модели с текстом, отредактированным человеком, и проверять гипотезы о качестве, экономя время.
Эксперименты (переход к Encoder-Decoder, curriculum learning, предобучение) дали ускорение в 2 раза и +10% качества на открытых датасетах.
Раньше при нейроредактировании модель могла легко удалить или добавить лишние спецсимволы, что приводило к непредсказуемым результатам. Теперь, с внедрением полноценной поддержки Маркдауна, эта проблема устранена. Для обеспечения корректной обработки разметки применялся подход восстановления: прогон текста через модель, ручное восстановление пропавшей разметки и переобучение модели. В итоге достигнуто сохранение разметки 1:1 в модели исправления ошибок.
📝 Хабр
@machinelearning_interview