Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
18.7K subscribers
2.27K photos
115 videos
64 files
4.69K links
Все самое полезное для дата сайентиста в одном канале.

По рекламе: @proglib_adv

Курс по ML: https://clc.to/4hNluQ

Для обратной связи: @proglibrary_feeedback_bot

РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
Download Telegram
🐍 Самоучитель по Python для начинающих. Часть 22: Основы работы с SQLite

Разберем основные запросы к базе данных SQLite и обсудим альтернативу реляционным СУБД – модули dbm, pickle и shelves. В конце статьи – решения 10 практических задач, связанных с выборкой данных по различным критериям, редактированием записей и удалением дубликатов.

🔗 Основной сайт
🔗 Зеркало
👍8
Строим многорядные столбчатые диаграммы с помощью Python

Как и в случае с линейными графиками, matplotlib предоставляет возможность представлять объекты Dataframe с результатами анализа данных в форме столбчатых диаграмм.
👍6
Почему не нужно советовать «просто» использовать pyenv, poetry или anaconda

В этой статье рассказывается о проблемах, которые часто возникают у начинающих программистов на Python при адаптации к сложным механизмам управления пакетами, и о том, почему использование pip часто является лучшим выбором.

Читать статью
Что такое рекуррентные нейронные сети (RNN)?

Рекуррентные нейронные сети — это вид нейросетей, в которых связи между элементами образуют направленную последовательность. Это позволяет обрабатывать серии событий во времени или последовательные пространственные цепочки.

Они используются преимущественно для задач, где нечто цельное состоит из ряда объектов, например при распознавании рукописного текста или речи.
#вопросы_с_собеседований
4👍1🤔1
Представляем безопасный AI Framework от Google

Потенциал ИИ, особенно генеративного ИИ, огромен. Однако в погоне за прогрессом в рамках этих новых границ инноваций необходимы четкие отраслевые стандарты безопасности для ответственного создания и развертывания этой технологии. Вот почему сегодня мы рады представить Secure AI Framework (SAIF), концептуальную основу для безопасных систем искусственного интеллекта.

Читать статью
Comet сотрудничает со Snowflake для повышения воспроизводимости наборов данных машинного обучения

Платформа MLOps Comet объявила о стратегическом партнерстве со Snowflake, целью которого является расширение возможностей специалистов по данным для создания превосходных моделей машинного обучения (ML) в ускоренном темпе.

Читать статью
👍1
🎲 Теория вероятностей: где она используется и нужна ли она рядовому разработчику

Расскажем, где может пригодиться теория вероятностей, и как базовое понимание теорвера могло бы в свое время спасти разработчиков iPod от серьезного конфуза.

🔗 Основной сайт
🔗 Зеркало
7👍1
👨‍💻🗺️ Кому в IT жить хорошо: Indeed опубликовал список из 19 наиболее востребованных спецов за рубежом в 2023 году

Рассказываем, кем нужно быть и какой стек начать изучать, чтобы жить в Кремниевой долине и зарабатывать от $150 000.

🔗 Основной сайт
🔗 Зеркало
4👍1
Почему профессора так плохо дают советы

Недавно я был на докладе с несколькими другими профессорами, и нас попросили дать несколько советов аспирантам по машинному обучению. Это заставило меня задуматься о том, почему профессора так плохо дают советы. Итак, вот несколько причин, по которым вам не следует слушать советы профессоров…

Читать тред
👍4🤔1
#вопросы_с_собеседований
Что такое Random Forest?

Random Forest, или случайный лес, — это один из немногих универсальных алгоритмов обучения, который способен выполнять задачи классификации, регрессии и кластеризации.

Случайный лес состоит из большого количества отдельных деревьев решений, которые по сути являются ансамблем методов. Каждое дерево в случайном лесу возвращает прогноз класса, и класс с наибольшим количеством голосов становится прогнозом леса.
👍10🔥21
Трансформеры ручной работы

Трансформер — это своего рода виртуальная машина, у которой выбирают веса, чтобы заставить ее выполнять сложение форм так, как это делают люди.

Открыть ноутбук
👍3
Иммерсивный 3D-рендеринг из обычных видео

В статье представлен алгоритм восстановления поля яркости крупномасштабной сцены из одного случайно снятого видео.

Читать статью
Scikit-learn

Scikit-learn — это библиотека для машинного обучения. Scikit-learn может быть использована для решения различных задач машинного обучения, включая классификацию, регрессию, кластеризацию, а также для обработки данных и выбора наилучших признаков. Она также может использоваться для предобработки данных, визуализации и выбора модели.

В этом примере мы загружаем данные Iris и разделяем их на обучающую и тестовую выборки. Набор данных Iris - это классический набор данных в машинном обучении и статистике. Объект Iris, возвращаемый load_iris, является объектом Bunch, который очень похож на словарь (подробнее о данных здесь). Затем мы создаем классификатор K ближайших соседей и обучаем его на обучающей выборке. Наконец, мы оцениваем точность модели на тестовой выборке.
#код
3
Какие подкасты вы слушаете?
Расскажите в комментариях ⬇️
#интерактив
✍️ «Библиотека программиста» находится в поиске переводчика технических статей

Обязанности
• Перевод технических статей, документации и руководств с английского на русский язык.
• Редактирование и корректура переведенных текстов для обеспечения высокого качества и своевременной доставки переводов.

Что значит редактирование? Просто так взять DeepL и слово в слово перевести статью не получится?
• Не получится. Как правило, 10–40% текста — «вода». Переводчик должен убрать все лишнее и оставить главное, чтобы читатель не тратил время на чтение «забавной истории из жизни моего питомца, который внес неоценимый вклад в написание данного материала».

Мы предлагаем
• Удаленку.
• Официальное трудоустройство.
• Своевременную оплату за выполненную работу.

➡️ Заполнить анкету ⬅️

Я хорошо программирую, но пишу «так себе». Что делать?
Если вы хорошо программируете, но навыки письма немного отстают, пройдите наш бесплатный курс на Степике «Статьи для IT: как объяснять и распространять значимые идеи».
👍6
Seaborn

Seaborn — это библиотека визуализации данных для языка программирования Python, основанная на библиотеке Matplotlib. Она предоставляет высокоуровневые интерфейсы для создания красивых и информативных статистических графиков.

С помощью функции barplot создается столбчатая диаграмма, которая показывает связь между оценками и количеством часов учебы, основанная на данных из словаря data. Порядок отображения оценок задается с помощью параметра order, а отображение графика осуществляется благодаря plt.show().

Результат работы программы представлен на втором изображении.
#код
👍4🔥1👏1
Что произойдет, если learning rate установлен неточно (слишком низкий или слишком высокий)?

Когда LR слишком маленький, обучение модели будет продвигаться очень медленно, поскольку на каждом шаге мы минимально обновляем веса. До достижения точки минимума потребуется много обновлений.

Если LR установлен слишком большим, это вызывает нежелательное отклоняющееся поведение по отношению к функции потерь из-за резких обновлений весов. Алгоритм может не найти точку минимума.
#вопросы_с_собеседований
👍6