Как оптимизировать размер памяти при обработке крупных файлов

Нередко я сталкиваюсь с большими объемами данных, которые требуют дополнительной обработки с помощью известной всем библиотеки Pandas. Однако, загружая или сохраняя огромные датасеты, неприятно столкнуться с ошибкой Memory error. В таких ситуациях применение таких методов, как .drop_duplicates() (удаление дубликатов) или .dropna() (удаление пустых строк) слабо влияет на сокращение занимаемого объема памяти.

Существует несколько способов эффективного решения проблем с памятью.

@BookPython

Упаковка приложений PyQt6 для Windows с помощью PyInstaller и InstallForge

Создание собственных настольных приложений не приносит особой радости, если вы не можете поделиться ими с другими людьми - будь то коммерческая публикация, распространение в Интернете или просто передача знакомым. Обмен приложениями позволяет другим людям воспользоваться плодами вашего труда!

https://www.pythonguis.com/tutorials/packaging-pyqt6-applications-windows-pyinstaller/

@BookPython

Unseen Object Amodal Instance Segmentation (UOAIS)

Github: https://github.com/gist-ailab/uoais

Paper: https://arxiv.org/abs/2109.11103

Dataset: https://paperswithcode.com/dataset/ocid

Project: https://sites.google.com/view/uoais

👉 @bigdata_1

Хотите начать карьеру в сфере IT?
Python - один из самых популярных и простых языков для старта.

Вас ждут онлайн-лекции, более 100 практических работ, настоящая стажировка в команде под руководством тимлида. По итогам обучения вы добавите сразу 4 внушительных проекта в своё портфолио:
- создадите telegram-бот для турагентства;
- создадите социальную сеть, аналог Twitter;
- разработаете маркетплейс наподобие Яндекс.Маркета;
- напишите приложение для предпринимателей.

Курс построен так, чтобы максимально приблизить вас к опыту реальной разработки продукта в IT-компании. В конце курса — помощь от Центра карьеры и гарантированное трудоустройство. Если вы не выйдете на работу, мы вернём вам деньги за курс.

Сейчас на курс действует скидка до 55% и год английского в подарок! К тому же можно оформить рассрочку и начать платить через 3 месяца после начала обучения. Подробности и полная программа по ссылке: https://clc.to/Ng2yJQ

Решение крупномасштабных задач машинного обучения на Python

Это руководство демонстрирует библиотеку xLearn, которая используется для применения задач машинного обучения на крупномасштабных данных (Данные с огромным количеством строк и столбцов).

https://medium.com/@fareedkhandev/solve-large-scale-machine-learning-problem-in-python-58416f67c0ef

@BookPython

Ищем учеников на бесплатное обучение по созданию искусственного интеллекта с нуля. Опыт программирования не важен!🤖

Всего за 3 вечера под руководством Дмитрия Романова - основателя Университета Искусственного Интеллекта, лидера обучения AI-разработке в РФ, вы с легкостью напишете свой первый искусственный интеллект👨‍💻

Какие нейронные сети вы создадите?

▫️Классификация людей на входящих и выходящих из автобуса
▫️Обнаружение возгораний
▫️Оценка стоимости квартир
▫️Оценка резюме соискателей
▫️Прогнозирование стоимости полиметаллов
▫️Сегментация изображений самолетов
▫️Распознавание команд умного дома⠀

Лучше освоить навыки создания нейронных сетей вам помогут домашние задания с проверкой от кураторов.⠀

Приходите на бесплатное обучение и напишите искусственный интеллект за 3 вечера💪

Регистрация по ссылке

Stanford CS224W: Machine Learning with Graphs

Бесплатный курс от Стенфорда, с которым вы изучите структуру графов и их особенности и применения, научитесь строить графовые нейронные сети.

📌CS224W: Machine Learning with Graphs
📌Introduction to Graph Machine Learning
📌Video Lectures Stanford CS224W

@BookPython

Перевод с английского на немецкий с использованием моделей Seq2Seq в PyTorch

Модели «последовательность к последовательности», также называемые моделями «кодер-декодер», представляют собой семейство моделей, в которых обычно обучаются две рекуррентные нейронные сети. Первая RNN, кодер, обучается получать входной текст и последовательно кодировать его. Вторая RNN, декодер, получает закодированную последовательность и выполняет преобразование текста. Этот уникальный метод совместного обучения двух RNN был представлен Чо и др. в https://arxiv.org/pdf/1406.1078v3.pdfand и мгновенно завоевал популярность в задачах NLP, где вход и выход — это пары явных текстов, таких как перевод и резюмирование.

https://bookflow.ru/perevod-s-anglijskogo-na-nemetskij-s-ispolzovaniem-modelej-seq2seq-v-pytorch/

@BookPython

Библиотеки Python, чтобы сделать ваш код читабельным, надежным и удобным для обслуживания

Testing Frameworks
Test Runners
E2E Testing
Fake Data
Mocking
Code coverage
Object Factories
Code Style
Typing

https://isaak.dev/2020/08/python-libraries-to-make-your-code-readable-and-maintainable

@BookPython

Компиляция Python

Предположим, вы разработали приложение или библиотеку на Python и уже готовитесь передать его / её заказчику. И в этот момент возникают вопросы, о которых многие даже не задумываются.

Во-первых, так может оказаться, что вы разработали супер крутой алгоритм, которого ни у кого нет, и показывать его хочется только избранным.

Во-вторых, возникает вопрос окружения - хочется быть уверенным, что заказчик справится с установкой правильной версии Python и всех вспомогательных библиотек, но это не всегда простая задача. Было бы удобно упаковать приложение в автономный исполняемый файл.

И, наконец, хочется, чтобы конечное приложение работало быстрее, чем в среде разработки.

И вот тут настало время скомпилировать Python-код. Меня зовут Руслан, я старший разработчик компании «Цифровое проектирование». Сегодня я расскажу, как выбрать тот самый компилятор из множества доступных.

https://habr.com/ru/company/numdes/blog/581374/

@BookPython