Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
18.7K subscribers
2.25K photos
113 videos
64 files
4.66K links
Все самое полезное для дата сайентиста в одном канале.

По рекламе: @proglib_adv

Курс по ML: https://clc.to/4hNluQ

Для обратной связи: @proglibrary_feeedback_bot

РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
Download Telegram
Виджеты Jupyter стали проще с anywidget

anywidget — это библиотека Python, которая упрощает создание пользовательских виджетов Jupyter. Это позволяет быстро создавать прототипы, а поскольку это Python, её можно использовать в разных средах.

Читать статью
👍2
Утечка данных в машинном обучении: виды, последствия, варианты предотвращения на примерах реальных датасетов.

https://habr.com/ru/companies/vk/articles/746360/
🔥2
В работе используете linux, macOS или Windows? Расскажите в комментариях ⬇️
#интерактив
Отношение разработчиков к AI/ML

Stack Overflow дополнительно исследует мнение технологов об использовании инструментов ИИ.

Читать статью
Подборка бесплатных курсов по Python и машинному обучению. Сохраняй, чтобы не потерять и когда-нибудь пройти!

1. Ускоренный курс по машинному обучению — основы машинного обучения, включает видеолекции от исследователей из Google.

2. Основы Python для анализа данных — программирование на Python.

3. Введение в Data Science и аналитику — все основы Data Science и Data Science Life Cycle.

4. Линейная регрессия — как использовать R для реализации линейной регрессии, одного из наиболее распространенных подходов к статистическому моделированию

5. Основы R — как обрабатывать, анализировать и визуализировать данные.

6. Визуализация — основные принципы визуализации данных и способы их применения с помощью ggplot2.

7. Введение CS50 в программирование на Python, май 2023 г.
13👍3
🚩 5 красных флагов: как из текста вакансии понять, что компания — не очень

Как определить работодателя-абьюзера в АйТи? Объясняем на реальных примерах.

Читать статью
👍11
🔍 ТОП-12 джоб-сайтов: где программисту разместить резюме и найти работу

Рассказываем про мир job-сайтов: где программисту опубликовать резюме, чтобы быстрее найти работу в IT.

Читать статью
👍1
Темный лес исследований и разработок и капиталовложений в ИИ

В то время как на первый взгляд мы в основном просто видим большие раунды инвестиций, в действительности компании ИИ, возможно, являются одними из самых сложных бизнесов, которые мы когда-либо создавали в сфере технологий. Выполнение основных исследований и разработок модели ИИ требует игры в 4D-шахматы с исследовательскими сообществами, накопления и использования капитала, привлечения талантов, понимания конкуренции и коммерциализации….

Читать статью
👍21
Что такое нормализация данных и зачем она нам нужна?

Нормализация данных — очень важный этап предварительной обработки, используемый для изменения масштаба значений, чтобы они соответствовали определенному диапазону, чтобы обеспечить лучшую сходимость во время обратного распространения ошибки. В общем случае она сводится к вычитанию среднего значения и делению на стандартное отклонение.

Если этого не сделать, некоторые признаки будут иметь более высокий вес в функции стоимости. Нормализация позволяет сделать все признаки одинаково взвешенными.
#вопросы_с_собеседований
👏102👍2
Учебник по амортизированной оптимизации

В этом руководстве представлено введение в основы амортизированной оптимизации, лежащие в основе ее достижения, и приведен обзор их применения в вариационном выводе, разреженном кодировании, градиентном метаобучении, управлении, обучении с подкреплением, выпуклой оптимизации, оптимальном транспорте и сетях глубокого равновесия.

Читать статью
👍2
Перспективы диффузионных моделей

Перспективы диффузии, или как модели диффузии являются автокодировщиками, моделями с глубокими неявными переменными, предикторами функции оценки, обратными решателями SDE, моделями на основе потоков, RNN и авторегрессионными моделями, все сразу!

Читать статью
🥰3
Data Engineering: концепции, процессы и инструменты

Data science, машинное обучение и искусственный интеллект — не просто громкие слова: многие организации стремятся их освоить. Но прежде чем создавать интеллектуальные продукты, необходимо собрать и подготовить данные, которые станут топливом для ИИ. Фундамент для аналитических проектов закладывает специальная дисциплина — data engineering. Связанные с ней задачи занимают первые три слоя иерархии потребностей data science, предложенной Моникой Рогати.

Читать статью
👍3
Очередной #дайджест статей по Python:

🐍 Как создать голосового ассистента
В данной статье автор рассказал, как можно сделать простого голосового ассистента. Все это в Python при помощи некоторых библиотек.

🐍 Ray Casting 3D игра на Python + PyGame

🐍 Использование python-docx-template для динамического создания закладок и ссылок на них в документах Word
Модуль содержит функционал для вставки в документ внешних ссылок, но когда автору понадобилось создавать по шаблону внутренние ссылки (на конкретное место в документе), такого функционала не нашлось, поиск в сети тоже ничего не дал. В статье он предложил свой способ вставки закладок и ссылок на них при помощи python-docx-template.

🐍 Измерение покрытия python сервисов для end-to-end тестов
Как измерить покрытие автотестами? Данный вопрос всегда вызывает жаркие дискуссии в рядах тестировщиков.

🐍 Под капотом Python. Тонкости популярных конструкций with и contextmanager
В этой статье описано, как написать менеджер контекста, как создать функцию-генератор для декоратора contextmanager. Опытные разработчики могут узнать что-то новенькое или дополнить статью ценными комментариями.

🐍 Как правильно написать калькулятор на питоне с помощью eval()
О том, почему eval стоит использовать с осторожностью.

🐍 Пишем микро-shellcode в формате ELF вручную
Уже не раз публиковались статьи про устройство формата ELF и написание файлов в таком формате вручную, но здесь представлено другое решение. В результате получился файл, вызывающий /bin/sh и занимающий всего 76 байт (что на 8 байт меньше, чем сумма длин заголовков ELF, необходимых для запуска).
👍2🔥1
Какой ноутбук считаете наиболее подходящим для программирования и почему?
#интерактив
Наверное, многие уже видели новость о том, что ChatGPT якобы стала глупее. Давайте соберем статистику — заметили ли вы это явление?
👍2👾1