Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
18.9K subscribers
2.08K photos
109 videos
64 files
4.5K links
Все самое полезное для дата сайентиста в одном канале.

По рекламе: @proglib_adv

Учиться у нас: https://proglib.io/w/f83f07f1

Для обратной связи: @proglibrary_feeedback_bot

РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
Download Telegram
«Библиотека программиста» запустила два новых канала для Python-разработчиков и тех, кто хочет ими стать👨‍🏫

В них мы:
🔸тренируемся на практических задачах
🔸отвечаем на популярные вопросы с собеседований
🔸проверяем свои знания

Подписывайтесь:
👉Библиотека собеса по Python — тут мы готовимся к интервью
👉Библиотека задач по Python — тут решаем задачи, проходим тесты и изучаем код
Обход GIL для параллельной обработки в Python

В статье описаны несколько традиционных и новых способов обхода глобальной блокировки интерпретатора (GIL) для достижения параллелизма с общей памятью при выполнении задач, связанных с ЦП.

Читать статью
Очередной #дайджест по Python:

🐍 Создание рекомендательных систем с использованием библиотеки Surprise
Рекомендательные не только помогают нам экономить время, предоставляя персонализированные рекомендации, но и оказывают влияние на наш выбор и потребительское поведение.

🐍 Объединение открытых данных Open Street Map и Landsat для уточнения площадей зеленых зон
О том какие преимущества привносит в нашу жизнь объединение пространственных данных из различных открытых источников.

🐍 Создание консольной игры Супер Ним на Python
В этом уроке автор пишет несложную консольную игру.

🐍 Решаем числовые ребусы с помощью Python
Или просто задачки.

🐍 Вы кто такие, я вас не знаю, или Как мы делаем JWT-аутентификацию
Обширный гайд для новичков и не только.
Есть ли отличная книга по шаблонам проектирования в области обработки данных? [Реддит]

Существует множество книг по шаблонам проектирования программного обеспечения в целом. Насколько мне известно, не для обработки данных. Я ищу отличную книгу, в которой подробно рассматриваются популярные шаблоны архитектуры данных. С примерами кода. Погуглил, но ничего особенно интересного не нашел. Всего несколько сообщений в блоге. Какие книги вы рекомендуете прочитать инженеру по обработке данных?

Читать обсуждение
Что нам делать с категориальными переменными?

Категориальные переменные должны быть закодированы, прежде чем их можно будет использовать в качестве функций для обучения модели машинного обучения. Существуют различные методы кодирования, в том числе:
✍️ One-hot encoding
✍️ Label encoding
✍️ Ordinal encoding
✍️ Target encoding
#вопросы_с_собеседований
Представляем стабильную версию LM 3B: внедрение устойчивых и высокопроизводительных языковых моделей на интеллектуальные устройства

Stability AI с гордостью представила экспериментальную версию Stable LM 3B, новейшего продукта в наборе высокопроизводительных генеративных решений искусственного интеллекта.

Читать статью
Как обучают нейросети для планирования движения беспилотных автомобилей?

Нейронные сети помогают не только в системе распознавания, они применяются и для предсказания движения других участников движения, и для планирования собственного движения беспилотного транспорта. Специалист из Яндекса в своей статье показал, как строится логика таких моделей, какие главные вопросы стоят в этой области и в чём преимущества машинного обучения перед эвристиками.

Читать статью
«Библиотека программиста» продолжает поиски контент-менеджера для ведения телеграм-каналов

Ищем человека, который грамотно пишет и разбирается в одной из этих тем:
👉С++
👉Frontend
👉мобильная разработка
👉Data Science

Мы предлагаем частичную занятость и полностью удаленный формат работы — можно совмещать с основной и находиться в любом месте🌴

Подробнее о вакансии и форма для отклика — по ссылке.

Ждем вас в команде!
DABL

Data Analysis Baseline Library (DABL) — это библиотека, разработанная для упрощения анализа данных и построения моделей машинного обучения.

Она предоставляет инструменты для автоматической предобработки данных, визуализации и выбора моделей. DABL основана на библиотеках, таких как pandas, scikit-learn и matplotlib.

В этом примере мы использовали DABL для анализа данных, визуализации и построения модели машинного обучения.
#код
🤖 Создание собственного ИИ-бота на Python за 33 строчки кода

Расскажем, как создать собственный чат-бот на Python с помощью следующей инструкциям языковой модели falcon-7b-instruct.

Читать статью
Руководство для начинающих по анализу последовательностей в SQL

Многие из реальных, меняющих курс компании идей, о которых мечтают команды данных, скрыты глубоко внутри неуловимых потоков событий. Этот пост призван помочь вам найти их, используя ваш любимый язык запросов.

Читать статью
Какие архитектуры CNN для классификации вы знаете?

✍️ Inception v3
✍️ Xception
✍️ DenseNet
✍️ AlexNet
✍️ VGG16
✍️ ResNet
✍️SqueezeNet
✍️ EfficientNet
✍️ MobileNet
#вопросы_с_собеседований
Python-dateutil

Библиотека python-dateutil предоставляет расширенные возможности для работы с датами и временем.

Она может использоваться для:
— Парсинга и форматирования дат;
— Выполнения арифметических операций с датами;
— Работы с часовыми поясами;
— Вычисления разницы между датами.

В примере мы используем библиотеку для получения начала и конца недели по заданной дате.

relativedelta используется для смещения даты на нужные дни недели.
MO(-1) — для получения предыдущего понедельника.
SU — для получения следующего воскресенья.
#код
SAGE: коррекция орфографии с помощью языковых моделей

Коррекция правописания является одной из основополагающих задач в области Natural Language Processing (NLP). Достаточно прозаичная формулировка и кажущаяся жёсткой структура орфографической системы скрывают под собой нетривиальные внутриязыковые взаимодействия, являющиеся традиционно сложными для языковых моделей.

Читать статью