Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
18.7K subscribers
2.25K photos
113 videos
64 files
4.67K links
Все самое полезное для дата сайентиста в одном канале.

По рекламе: @proglib_adv

Курс по ML: https://clc.to/4hNluQ

Для обратной связи: @proglibrary_feeedback_bot

РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
Download Telegram
Представьте, что вы за час можете научиться чему угодно — что бы это было?
#интерактив
Откажитесь от хардкодинга в новом проекте по науке о данных  — вместо этого используйте файлы конфигурации

Как эффективно взаимодействовать с файлами конфигурации в Python.

Читать статью
👍51
Forwarded from Библиотека программиста | программирование, кодинг, разработка
💬🦙 LlamaIndex: создаем чат-бота без боли и страданий

В этой статье рассмотрим мощный фреймворк для работы с большими языковыми моделями LlamaIndex: узнаем, как настроить и использовать LlamaIndex, и увидим его в действии на примере поиска ответа в заданном тексте

🔗 Читать статью
🔗 Зеркало
👍41
OnnxStream: минимизация потребления памяти при генерации изображений

Задача — запустить Stable Diffusion, включающую большую трансформирующую модель c почти 1 миллиардом параметров, на Raspberry Pi Zero 2 с 512 МБ RAM, не добавляя дополнительного пространства подкачки и не выгружая промежуточные результаты на диск. Рекомендуемый минимальный объём RAM/VRAM для Stable Diffusion составляет 8 ГБ.

Читать статью
«Библиотека программиста» в поиске контент-менеджера для ведения телеграм-каналов

Ищем человека, который грамотно пишет, разбирается в контенте и в одной из этих трех тем:
👉Data Science
👉Frontend
👉мобильная разработка

Мы предлагаем частичную занятость и полностью удаленный формат работы — можно совмещать с основной и находиться в любом месте🌴

Подробнее о вакансии и форма для отклика — по ссылке.

Ждем вас в команде!
👍3
ИИ и мощность: этические проблемы автоматизации, централизации и масштабирования

За последнее десятилетие такие темы, как объяснимость (компьютеры генерируют объяснение того, почему они вычисляют результаты, которые они делают) и справедливость/предвзятость (решение проблемы, когда алгоритмы имеют худшую точность для одних групп людей, чем для других) привлекли больше внимания в этой области.

Читать статью
👍3
В чём разница между машинным обучением и глубоким обучением?

Машинное обучение позволяет обучать компьютерную систему без её фактического программирования. А глубокое обучение — это подвид машинного обучения, который основан на аналогии нейронных сетей человеческого мозга. Это похоже на то, как наш мозг работает для решения проблем: чтобы найти ответ, он пропускает запросы через различные иерархии концепций и связанных вопросов.
#вопросы_с_собеседований
👍2🤔1🤯1
Функции — это векторы

Концептуализация функций как бесконечномерных векторов позволяет нам применять инструменты линейной алгебры к огромному спектру новых задач, от обработки изображений и геометрии до подгонки кривых, переноса света и машинного обучения.

Читать статью
🤯Что такое ансамбль методов? А аугментация данных?

Готовимся к собеседованиям по Data Science и проверяем себя на практических задачках: «Библиотека программиста» запустила два канала специально для специалистов по Data Science и тех, кто хочет ими стать👨‍🏫

Подписывайтесь:
👉Библиотека собеса по Data Science — тут мы готовимся к интервью
👉Библиотека задач по Data Science — тут решаем задачи, проходим тесты и изучаем код
👍2
От распределённого бэкенда — к сильному ИИ. Чем сейчас занимается легендарный Джефф Дин?

На Хабре иногда рассказывают про выдающихся программистов современности, таких как Линус Торвальдс, Фабрис Беллар и Джефф Дин. Про этих людей ходят легенды. Особенно выделяется последний, которого в шутку сравнивают с Чаком Норрисом.

Читать статью
7👾2🔥1
Очередной #дайджест по Python:

✍️ Как сделать контекстное окно на 100K в большой языковой модели: обо всех фокусах в одном посте
В статье рассмотрены приёмы, позволяющие ускорить обучение больших языковых моделей (LLM) и нарастить в них логический вывод.

✍️ Как получить доступ к данным Ethereum смарт-контракта в real-time из Python
Автор рассказывает про инструменты для доступа к данным на блокчейне, которые "больше похожи на хирургический скальпель (сабграфы The Graph), чем на швейцарский нож (доступ к RPC ноде) или, скажем, молоток (готовые API от компаний-разработчиков)".

✍️ Асинхронные микросервисы на Python
Микросервисы — это парадигма, где приложение разбивается на небольшие независимые компоненты, каждый из которых отвечает за конкретную функцию. Это как отделы в офисе, каждый офис — это отдельный сервис, который может быть разработан, масштабирован и развернут независимо.

✍️ Как Python упрощает жизнь тестировщикам КОМПАС-3D
Александр Логунов, инженер по тестированию КОМПАС-3D, рассказывает, как при минимальных усилиях облегчить тестирование с помощью инструментов Python, а также приводит примеры уже реализованных задач.

✍️ Быстрые дашборды на Python с помощью DashExpress
Эта статья для тех, кто ищет простой и быстрый способ делать полноценные дашборды на python и ad-hoc дашборды прямо в jupiter notebook. А так же для всех, кто интерсуется Plotly Dash.
👍4🔥31
Обучение ИИ стало в 20 раз быстрее

Ученые из Tinkoff Research открыли новый алгоритм для обучения ИИ. Метод, названный SAC-RND, обучает роботов в 20 раз быстрее и на 10% качественнее всех существующих аналогов — такие результаты показало тестирование метода на робототехнических симуляторах.

Читать статью
🔥4👍1
Forwarded from Библиотека программиста | программирование, кодинг, разработка
🐍🎸 Курс Django: Веб-приложение на основе XLSX вместо базы данных

Покажем, как Django работает с файлами JSON, CSV, YAML, XLSX, разберемся с настройками media, и напишем приложение, которое использует XLSX (или Google Sheets) для загрузки данных.

🔗 Читать статью
🔗 Зеркало
👍5
В чем разница между методами экземпляра, класса и статическими методами в Python?

Методы экземпляра: принимают параметр self и относятся к определенному экземпляру класса.

Статические методы: используют декоратор @staticmethod, не связаны с конкретным экземпляром и являются автономными (атрибуты класса или экземпляра не изменяются).

Методы класса: принимают параметр cls, можно изменить сам класс.
#вопросы_с_собеседований
👍6
Forwarded from Библиотека программиста | программирование, кодинг, разработка
🐼 ТОП-5 функций Pandas 2.0: Data Science специалисты отправятся «в утиль»?

Все новые функции в Pandas 2.0 для анализа данных. Опробуем на популярных пакетах: ydata-profiling, matplotlib, seaborn и scikit-learn.

🔗 Читать статью
🔗 Зеркало
👍8
Seldon в MLops-инфраструктуре beeline business

В этой статье затронута тема организации процессов Machine Learning Operations (MLops) в beeline business, особое внимание уделено тестированию моделей машинного обучения.

Читать статью
Очередной #дайджест по Python:

🐍 Менеджеры контекста в Python
Самый простой и красивый способ написать менеджер контекста – это воспользоваться декоратором функции @contextmanager, написав функцию как генератор.

🐍 Что происходит, когда запускаешь «Hello World» в Linux

🐍 Как Python использует сборку мусора для эффективного управления памятью
В Python мы часто думаем о переменной как о метке для значения. Однако, если говорить точнее, то переменная на самом деле указывает на объект, который хранит значение.

🐍 Как правильно дифференцировать дискретные функции
Под термином численное дифференцирование часто понимают три разные вещи (цитата по numdifftools) — символьное (символическое) дифференцирование, вычисление производной от функции, заданной аналитически, и вычисление производной от функции, заданной набором данных.

🐍 Я люблю питон, и вот почему он меня бесит
👍3
30802543.pdf
337.8 KB
Шпаргалка по pandas, библиотеке на языке Python для обработки и анализа данных
👍14🔥5