А что делать, если я математик-теоретик, захотел делать ML своими руками, но не знаю как?
Во-первых, вы редкий зверь, во-вторых, теоретики тоже нужны, ведь кто будет двигать математику вперед? Но можете не волноваться, ведь мы существуем именно для того, чтобы показать, в какие именно видосики вам стоит залипать целый день, чтобы стать ML-разработчиками. Но и руками тоже надо что-то поделать.
Большинство текущих компаний используют Python для разработки своих ML-продуктов, просто потому что он удобный, а ещё под него есть куча полезных библиотек. Вот их вам и нужно будет знать. Первое видео — основные библиотеки для работы с данными и всяких красивостей, как например построение графиков. Второе — библиотека Pytorch, с помощью которой можно непосредственно создавать модели (и в основном используется для разработки).
Data Analysis with Python - Full Course for Beginners (Numpy, Pandas, Matplotlib, Seaborn):
https://www.youtube.com/watch?v=r-uOLxNrNk8
PyTorch for Deep Learning - Full Course / Tutorial:
https://www.youtube.com/watch?v=GIsg-ZUy0MY
#это_база #python
Во-первых, вы редкий зверь, во-вторых, теоретики тоже нужны, ведь кто будет двигать математику вперед? Но можете не волноваться, ведь мы существуем именно для того, чтобы показать, в какие именно видосики вам стоит залипать целый день, чтобы стать ML-разработчиками. Но и руками тоже надо что-то поделать.
Большинство текущих компаний используют Python для разработки своих ML-продуктов, просто потому что он удобный, а ещё под него есть куча полезных библиотек. Вот их вам и нужно будет знать. Первое видео — основные библиотеки для работы с данными и всяких красивостей, как например построение графиков. Второе — библиотека Pytorch, с помощью которой можно непосредственно создавать модели (и в основном используется для разработки).
Data Analysis with Python - Full Course for Beginners (Numpy, Pandas, Matplotlib, Seaborn):
https://www.youtube.com/watch?v=r-uOLxNrNk8
PyTorch for Deep Learning - Full Course / Tutorial:
https://www.youtube.com/watch?v=GIsg-ZUy0MY
#это_база #python
YouTube
Data Analysis with Python - Full Course for Beginners (Numpy, Pandas, Matplotlib, Seaborn)
Learn Data Analysis with Python in this comprehensive tutorial for beginners, with exercises included!
NOTE: Check description for updated Notebook links.
Data Analysis has been around for a long time, but up until a few years ago, it was practiced using…
NOTE: Check description for updated Notebook links.
Data Analysis has been around for a long time, but up until a few years ago, it was practiced using…
Для тех кто регулярно сталкивается с переобучением
L1 и L2 регуляризация призваны бороться как раз с этим. За всё правда надо платить, поэтому взамен на лучшую способность модели к генерализации, мы теряем немного информации из самих данных, но лучше показать хоть что-то, чем понять, что обучение опять надо повторять.
Посмотреть:
https://www.youtube.com/watch?v=VqKq78PVO9g
Посмотреть:
https://www.youtube.com/watch?v=iuJgyiS7BKM
#это_база #программирование
L1 и L2 регуляризация призваны бороться как раз с этим. За всё правда надо платить, поэтому взамен на лучшую способность модели к генерализации, мы теряем немного информации из самих данных, но лучше показать хоть что-то, чем понять, что обучение опять надо повторять.
Посмотреть:
https://www.youtube.com/watch?v=VqKq78PVO9g
Посмотреть:
https://www.youtube.com/watch?v=iuJgyiS7BKM
#это_база #программирование
YouTube
Machine Learning Tutorial Python - 17: L1 and L2 Regularization | Lasso, Ridge Regression
In this Python machine learning tutorial for beginners, we will look into,
1) What is overfitting, underfitting
2) How to address overfitting using L1 and L2 regularization
3) Write code in Python and sklearn for housing price prediction where we will see…
1) What is overfitting, underfitting
2) How to address overfitting using L1 and L2 regularization
3) Write code in Python and sklearn for housing price prediction where we will see…
Все python-фреймворки для ML за 200 секунд
Никогда не покупайте курсы, у которых в рекламе нечто подобное, иногда только на установку нужно потратить больше времени. А вот если вы только в начале своего ML пути и хотите выбрать, что изучать, можете быстренько посмотреть пару обзорных видео по самым популярным фреймворкам для ML — PyTorch и TensorFlow
Посмотреть (PyTorch за 100 секунд):
https://www.youtube.com/watch?v=ORMx45xqWkA
Посмотреть (TensorFlow за 100 секунд):
https://www.youtube.com/watch?v=i8NETqtGHms
#позалипать
Никогда не покупайте курсы, у которых в рекламе нечто подобное, иногда только на установку нужно потратить больше времени. А вот если вы только в начале своего ML пути и хотите выбрать, что изучать, можете быстренько посмотреть пару обзорных видео по самым популярным фреймворкам для ML — PyTorch и TensorFlow
Посмотреть (PyTorch за 100 секунд):
https://www.youtube.com/watch?v=ORMx45xqWkA
Посмотреть (TensorFlow за 100 секунд):
https://www.youtube.com/watch?v=i8NETqtGHms
#позалипать
YouTube
PyTorch in 100 Seconds
PyTorch is a deep learning framework for used to build artificial intelligence software with Python. Learn how to build a basic neural network from scratch with PyTorch 2.
#ai #python #100SecondsOfCode
💬 Chat with Me on Discord
https://discord.gg/fireship…
#ai #python #100SecondsOfCode
💬 Chat with Me on Discord
https://discord.gg/fireship…
Как сэкономить на использовании языковых моделей? На примере LLM-помощника
В этой статье рассказывается, как работает RAG и как с его помощью можно сэкономить на использовании дорогих языковых моделей.
Языковые модели вроде GPT-4 требуют больших вычислительных мощностей и денег на обучение. Но есть способ снизить расходы при их использовании — кэширование ответов с помощью техники Retrieval-Augmented Generation (RAG).
При поступлении нового вопроса система сначала ищет похожий в индексе. Если находит, отдает готовый ответ. Если нет — генерирует ответ моделью, добавляет пару вопрос/ответ в индекс. Таким образом, чем больше вопросов задается системе, тем чаще она отвечает из кэша, не нагружая дорогую модель. Экономия растет со временем!
Репозиторий с кодом на GitHub: https://github.com/akocherovskiy/LLM_chat-bot_RAG_approach
#llm #python
В этой статье рассказывается, как работает RAG и как с его помощью можно сэкономить на использовании дорогих языковых моделей.
Языковые модели вроде GPT-4 требуют больших вычислительных мощностей и денег на обучение. Но есть способ снизить расходы при их использовании — кэширование ответов с помощью техники Retrieval-Augmented Generation (RAG).
При поступлении нового вопроса система сначала ищет похожий в индексе. Если находит, отдает готовый ответ. Если нет — генерирует ответ моделью, добавляет пару вопрос/ответ в индекс. Таким образом, чем больше вопросов задается системе, тем чаще она отвечает из кэша, не нагружая дорогую модель. Экономия растет со временем!
Репозиторий с кодом на GitHub: https://github.com/akocherovskiy/LLM_chat-bot_RAG_approach
#llm #python
Forwarded from Типичный программист
Автор курсов по Python и Pandas получил вечный бан за рекламу торговли экзотическими животными — решение вынес бот
Ревен М. Лернер создает курсы по Python, выпускает книги с задачами по Python и Pandas. Python и Pandas действительно легко спутать в английском языке с видами редких животных. Хотя названия технологий основаны не на схожести с животными: Python — отсылка к британской комик-группе «Монти Пайтон», а Pandas — сокращение от «Python data analysis».
Лернер попытался разместить рекламу курсов Python и Pandas. Но система сочла её рекламой продажи экзотических животных и заблокировала аккаунт рекламодателя.
Аккаунт не помогло вернуть даже вмешательство человека. Решение о бане вынес бот, но обжаловать его можно было в течение 180 дней. Лернер не знал о бане и просто не успел обжаловать решение. Он экспериментировал с рекламой пару лет назад и просто забыл про свой кабинет.
Если тоже рекламируете курсы про IT на английском, держите несколько идей для рекламных объявлений: «LaTeX для новичков», «убить Python», «получить доступ к Cocaine».
#кек #ии #python
Ревен М. Лернер создает курсы по Python, выпускает книги с задачами по Python и Pandas. Python и Pandas действительно легко спутать в английском языке с видами редких животных. Хотя названия технологий основаны не на схожести с животными: Python — отсылка к британской комик-группе «Монти Пайтон», а Pandas — сокращение от «Python data analysis».
Лернер попытался разместить рекламу курсов Python и Pandas. Но система сочла её рекламой продажи экзотических животных и заблокировала аккаунт рекламодателя.
Аккаунт не помогло вернуть даже вмешательство человека. Решение о бане вынес бот, но обжаловать его можно было в течение 180 дней. Лернер не знал о бане и просто не успел обжаловать решение. Он экспериментировал с рекламой пару лет назад и просто забыл про свой кабинет.
Если тоже рекламируете курсы про IT на английском, держите несколько идей для рекламных объявлений: «LaTeX для новичков», «убить Python», «получить доступ к Cocaine».
#кек #ии #python
This media is not supported in your browser
VIEW IN TELEGRAM
Студент из Джорджии при помощи компьютерного зрения сделал бота, который наказывает его, если обнаружит отвлечение от заданий.
Когда бот видит, что пользователь отвлёкся на телефон, то включает устройства, ослепляющие ярким светом и воспроизводящие неприятные звуки.
А если ты тот самый заядлый прокрастинатор, то держи доступ к репозиторию.
#cv #python
Когда бот видит, что пользователь отвлёкся на телефон, то включает устройства, ослепляющие ярким светом и воспроизводящие неприятные звуки.
А если ты тот самый заядлый прокрастинатор, то держи доступ к репозиторию.
#cv #python
«Обработка естественного языка в действии»
Аврам Линкольн говорил: «Мой лучший друг — это человек, который даст мне книгу, что я не читал». А если вы, как и Линкольн, цените литературу и ищете полезный источник знаний по NLP, то вы нашли, что искали.
Книга содержит полный набор инструментов и методов для создания приложений в этой области: виртуальных помощников (чат-ботов), спам-фильтров, анализаторов тональности и многого другого.
Материал рассчитан на Python-разработчиков среднего и высокого уровня. Но даже экспертам в проектировании сложных систем она будет полезна.
#почитать #nlp #python
Аврам Линкольн говорил: «Мой лучший друг — это человек, который даст мне книгу, что я не читал». А если вы, как и Линкольн, цените литературу и ищете полезный источник знаний по NLP, то вы нашли, что искали.
Книга содержит полный набор инструментов и методов для создания приложений в этой области: виртуальных помощников (чат-ботов), спам-фильтров, анализаторов тональности и многого другого.
Материал рассчитан на Python-разработчиков среднего и высокого уровня. Но даже экспертам в проектировании сложных систем она будет полезна.
#почитать #nlp #python
Все перечисленные библиотеки имеют открытый исходный код и предназначены в основном для питонистов.
Анализ, очистка и подготовка данных:
Pandas — быстрая и гибкая очистка и подготовка данных.
Numpy — предварительная обработка данных, применяется для математических вычислений.
Statsmodels — статистический анализ временных рядов, выживаемости и многого другого.
YData Profiling — упрощает этап EDA, тщательно анализируя ваши данные в одной строке кода.
Машинное и глубокое обучение:
Scikit-learn — ключевая библиотека машинного обучения, содержит реализацию популярных алгоритмов (регрессия, кластеризация).
Keras — создание, настройка моделей, работает поверх таких фреймворков, как TensorFlow.
TensorFlow — создание, моделирование и тренировка нейросетей.
XGBoost — предоставляет эффективные алгоритмы для задач регрессии, классификации и ранжирования.
CatBoost — градиентный бустинг.
#библиотеки #ml #deeplearning #python
Анализ, очистка и подготовка данных:
Pandas — быстрая и гибкая очистка и подготовка данных.
Numpy — предварительная обработка данных, применяется для математических вычислений.
Statsmodels — статистический анализ временных рядов, выживаемости и многого другого.
YData Profiling — упрощает этап EDA, тщательно анализируя ваши данные в одной строке кода.
Машинное и глубокое обучение:
Scikit-learn — ключевая библиотека машинного обучения, содержит реализацию популярных алгоритмов (регрессия, кластеризация).
Keras — создание, настройка моделей, работает поверх таких фреймворков, как TensorFlow.
TensorFlow — создание, моделирование и тренировка нейросетей.
XGBoost — предоставляет эффективные алгоритмы для задач регрессии, классификации и ранжирования.
CatBoost — градиентный бустинг.
#библиотеки #ml #deeplearning #python
Forwarded from Инструменты программиста
Zeta — ускорьте создание ИИ-Моделей с модульными блоками аля LEGO
Zeta предоставляет различные компоненты и функции, такие как Flash Attention, SwiGLU, RelativePositionBias, FeedForward и другие, которые помогают улучшить эффективность и точность создаваемых ИИ-моделей
Сам проект написан на Python и предлагает широкий спектр возможностей для работы с глубоким обучением и трансформерами
Стоимость: #бесплатно
#ИИ #Python
Zeta предоставляет различные компоненты и функции, такие как Flash Attention, SwiGLU, RelativePositionBias, FeedForward и другие, которые помогают улучшить эффективность и точность создаваемых ИИ-моделей
Сам проект написан на Python и предлагает широкий спектр возможностей для работы с глубоким обучением и трансформерами
Стоимость: #бесплатно
#ИИ #Python
25 упражнений по работе с массивами в NumPy
Этот материал представляет собой набор из 25 иллюстрированных заданий, созданных для того, чтобы помочь вам глубже освоить возможности библиотеки NumPy в языке программирования Python.
Упражнения расположены в порядке нарастающей сложности и охватывают различные аспекты работы с массивами, а каждое задание включает в себя пояснения и примеры кода.
#numpy #python
Этот материал представляет собой набор из 25 иллюстрированных заданий, созданных для того, чтобы помочь вам глубже освоить возможности библиотеки NumPy в языке программирования Python.
Упражнения расположены в порядке нарастающей сложности и охватывают различные аспекты работы с массивами, а каждое задание включает в себя пояснения и примеры кода.
#numpy #python
Как реализовать распознавание лиц с нуля на Python
Если вы хотите погрузиться в мир компьютерного зрения и уже ищете идеи для написания своего первого проекта, то распознавание лиц — отличный вариант для старта.
В представленном видео демонстрируется пошаговый туториал по созданию простого скрипта для распознавания лиц на Python с использованием хорошо известной библиотеки OpenCV.
#cv #python #opencv
Если вы хотите погрузиться в мир компьютерного зрения и уже ищете идеи для написания своего первого проекта, то распознавание лиц — отличный вариант для старта.
В представленном видео демонстрируется пошаговый туториал по созданию простого скрипта для распознавания лиц на Python с использованием хорошо известной библиотеки OpenCV.
#cv #python #opencv
YouTube
Python Face Recognition (Beginner Tutorial)
Let's walk through building facial recognition from completely scratch! We will learn about Python facial recognition libraries, embeddings and vectors, and more! All the code is in Google Colab so it'll be easy for you to recreate.
Aiven is the trusted…
Aiven is the trusted…
This media is not supported in your browser
VIEW IN TELEGRAM
Text-to-image — было, Text-to-video тоже. А как насчёт Speech-to-Speech
Энтузиаст с ютуба сделал Speech-to-Speech систему, с которой можно лампово поболтать холодным зимним вечером под чашечку чая, ну или не совсем лампово. Потому как всё зависит от промпта, который вы дадите своему виртуальному собеседнику. В случае автора — это Джули (девушка хакер из даркнета) и Джони — (сумасшедший исследователь искусственного интеллекта).
Всё это дело работает локально и на удивление имеет довольно низкую задержку. Для распознавания речи применяется Whisper от OpenAI. Затем текст обрабатывается моделью Mistral 7B в LM Studio для генерации ответа, который в итоге озвучивается с помощью библиотеки Open Voice.
#позалипать #project #python
Энтузиаст с ютуба сделал Speech-to-Speech систему, с которой можно лампово поболтать холодным зимним вечером под чашечку чая, ну или не совсем лампово. Потому как всё зависит от промпта, который вы дадите своему виртуальному собеседнику. В случае автора — это Джули (девушка хакер из даркнета) и Джони — (сумасшедший исследователь искусственного интеллекта).
Всё это дело работает локально и на удивление имеет довольно низкую задержку. Для распознавания речи применяется Whisper от OpenAI. Затем текст обрабатывается моделью Mistral 7B в LM Studio для генерации ответа, который в итоге озвучивается с помощью библиотеки Open Voice.
#позалипать #project #python