Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
18.9K subscribers
2.08K photos
109 videos
64 files
4.5K links
Все самое полезное для дата сайентиста в одном канале.

По рекламе: @proglib_adv

Учиться у нас: https://proglib.io/w/f83f07f1

Для обратной связи: @proglibrary_feeedback_bot

РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
Download Telegram
Есть ли отличная книга по шаблонам проектирования в области обработки данных? [Реддит]

Существует множество книг по шаблонам проектирования программного обеспечения в целом. Насколько мне известно, не для обработки данных. Я ищу отличную книгу, в которой подробно рассматриваются популярные шаблоны архитектуры данных. С примерами кода. Погуглил, но ничего особенно интересного не нашел. Всего несколько сообщений в блоге. Какие книги вы рекомендуете прочитать инженеру по обработке данных?

Читать обсуждение
Что нам делать с категориальными переменными?

Категориальные переменные должны быть закодированы, прежде чем их можно будет использовать в качестве функций для обучения модели машинного обучения. Существуют различные методы кодирования, в том числе:
✍️ One-hot encoding
✍️ Label encoding
✍️ Ordinal encoding
✍️ Target encoding
#вопросы_с_собеседований
Представляем стабильную версию LM 3B: внедрение устойчивых и высокопроизводительных языковых моделей на интеллектуальные устройства

Stability AI с гордостью представила экспериментальную версию Stable LM 3B, новейшего продукта в наборе высокопроизводительных генеративных решений искусственного интеллекта.

Читать статью
Как обучают нейросети для планирования движения беспилотных автомобилей?

Нейронные сети помогают не только в системе распознавания, они применяются и для предсказания движения других участников движения, и для планирования собственного движения беспилотного транспорта. Специалист из Яндекса в своей статье показал, как строится логика таких моделей, какие главные вопросы стоят в этой области и в чём преимущества машинного обучения перед эвристиками.

Читать статью
«Библиотека программиста» продолжает поиски контент-менеджера для ведения телеграм-каналов

Ищем человека, который грамотно пишет и разбирается в одной из этих тем:
👉С++
👉Frontend
👉мобильная разработка
👉Data Science

Мы предлагаем частичную занятость и полностью удаленный формат работы — можно совмещать с основной и находиться в любом месте🌴

Подробнее о вакансии и форма для отклика — по ссылке.

Ждем вас в команде!
DABL

Data Analysis Baseline Library (DABL) — это библиотека, разработанная для упрощения анализа данных и построения моделей машинного обучения.

Она предоставляет инструменты для автоматической предобработки данных, визуализации и выбора моделей. DABL основана на библиотеках, таких как pandas, scikit-learn и matplotlib.

В этом примере мы использовали DABL для анализа данных, визуализации и построения модели машинного обучения.
#код
🤖 Создание собственного ИИ-бота на Python за 33 строчки кода

Расскажем, как создать собственный чат-бот на Python с помощью следующей инструкциям языковой модели falcon-7b-instruct.

Читать статью
Руководство для начинающих по анализу последовательностей в SQL

Многие из реальных, меняющих курс компании идей, о которых мечтают команды данных, скрыты глубоко внутри неуловимых потоков событий. Этот пост призван помочь вам найти их, используя ваш любимый язык запросов.

Читать статью
Какие архитектуры CNN для классификации вы знаете?

✍️ Inception v3
✍️ Xception
✍️ DenseNet
✍️ AlexNet
✍️ VGG16
✍️ ResNet
✍️SqueezeNet
✍️ EfficientNet
✍️ MobileNet
#вопросы_с_собеседований
Python-dateutil

Библиотека python-dateutil предоставляет расширенные возможности для работы с датами и временем.

Она может использоваться для:
— Парсинга и форматирования дат;
— Выполнения арифметических операций с датами;
— Работы с часовыми поясами;
— Вычисления разницы между датами.

В примере мы используем библиотеку для получения начала и конца недели по заданной дате.

relativedelta используется для смещения даты на нужные дни недели.
MO(-1) — для получения предыдущего понедельника.
SU — для получения следующего воскресенья.
#код
SAGE: коррекция орфографии с помощью языковых моделей

Коррекция правописания является одной из основополагающих задач в области Natural Language Processing (NLP). Достаточно прозаичная формулировка и кажущаяся жёсткой структура орфографической системы скрывают под собой нетривиальные внутриязыковые взаимодействия, являющиеся традиционно сложными для языковых моделей.

Читать статью
Самые полезные каналы для программистов в одной подборке!

Сохраняйте себе, чтобы не потерять 💾

🔥Для всех

Библиотека программиста — новости, статьи, досуг, фундаментальные темы
Книги для программистов
IT-мемы
Proglib Academy — тут мы рассказываем про обучение и курсы

🐘PHP

Библиотека пхпшника
Вакансии по PHP, Symfony, Laravel
Библиотека PHP для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по PHP — код, квизы и тесты

🐍Python

Библиотека питониста
Вакансии по питону, Django, Flask
Библиотека Python для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Python — код, квизы и тесты

Java

Библиотека джависта — полезные статьи по Java, новости и обучающие материалы
Библиотека Java для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Java — код, квизы и тесты
Вакансии для java-разработчиков

👾Data Science

Библиотека Data Science — полезные статьи, новости и обучающие материалы
Библиотека Data Science для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Data Science — код, квизы и тесты
Вакансии по Data Science, анализу данных, аналитике, искусственному интеллекту

🦫Go

Библиотека Go разработчика — полезные статьи, новости и обучающие материалы по Go
Библиотека Go для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Go — код, квизы и тесты
Вакансии по Go

🧠C++

Библиотека C/C++ разработчика — полезные статьи, новости и обучающие материалы по C++
Библиотека C++ для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по C++ — код, квизы и тесты
Вакансии по C++

💻Другие профильные каналы

Библиотека фронтендера
Библиотека шарписта
Библиотека мобильного разработчика
Библиотека хакера
Библиотека devops’a
Библиотека тестировщика

💼Каналы с вакансиями

Вакансии по фронтенду, джаваскрипт, React, Angular, Vue
Вакансии по C#, .NET, Unity Вакансии по PHP, Symfony, Laravel
Вакансии по DevOps & SRE
Вакансии для мобильных разработчиков
Вакансии по QA тестированию
InfoSec Jobs — вакансии по информационной безопасности

📁Чтобы добавить папку с нашими каналами, нажмите 👉сюда👈

🤖Также у нас есть боты:
Бот с IT-вакансиями
Бот с мероприятиями в сфере IT

Мы в других соцсетях:
🔸VK
🔸YouTube
🔸Дзен
🔸Facebook
🔸Instagram
🗺️ Дорожная карта: что это, как ее составить и почему она обязательно нужна разработчику

Откройте для себя секретное оружие успешного программиста — дорожную карту, которая поможет составить пошаговый план действий на ближайшие несколько лет. В данной статье разберемся, зачем она нужна, как правильно ее составить и где «подглядеть» роадмап для айтишников всех направлений 🤫

📌 Примеры дорожных карт и полезные материалы по теме:

🤩 Подборка дорожных карт для разработчиков
👉 Дорожная карта Frontend-разработчика в 2022 году
🏃 8 шагов от новичка до профессионала: дорожная карта разработчика на C#
👨‍💻 Как стать фрилансером и где найти первый заказ: дорожная карта
🍏 Карьерный гид от новичка до профи: дорожная карта iOS-разработчика
Дорожная карта Java-разработчика в 2023 году
🧔 Повышение до тимлида: дорожная карта
🐍 Дорожная карта Python-разработчика
🤝 5 soft skills, которые помогут тебе дорасти до Senior-разработчика
Очередной #дайджест по Data Science:

✍️ 10 забавных сервисов в области ИИ
Нейросети, генерирующие эмодзи, анимации 3D моделей и многое другое.

✍️ Многоклассовая и многозадачная классификация
Многоклассовая и многозадачная классификация обладают огромным потенциалом для решения разнообразных задач. Для того чтобы правильно понять их значимость, надо разобраться, в чем заключается необходимость в этих двух подходах.

✍️ Моделирование нелинейных функций и ограничений в задачах линейного программирования
Используя достаточно ограниченный спектр математических преобразований (введение и замена переменных, добавление вспомогательных ограничений), автор разбирает процедуры линеаризации некоторых нелинейных задач.

✍️ Дообучение ruGPT-3.5 13B с LoRA
Подробное руководство по обучению модели ruGPT-3.5 13B с использованием датасетов модели Saiga-2/GigaSaiga, технологии Peft/LoRA и технологии GGML.