🐼 ТОП-5 функций Pandas 2.0: Data Science специалисты отправятся «в утиль»?

Все новые функции в Pandas 2.0 для анализа данных. Опробуем на популярных пакетах: ydata-profiling, matplotlib, seaborn и scikit-learn.

Новые ТОП-5 функций для эффективной обработки данных освободят часть работы разработчиков P.S. Дочитай до конца! Ты получишь бонус по работе с pandas 2.0 — шаблоны по визуализации табличных данных.

🧠 Читать статью

Просто Python

6 развлекательных проектов на Python: от шаверма-бота до игры в слова

Все, кто кодят на Python, знают, что это далеко не скучный и серьезный язык. При определенной доле фантазии на нем можно написать логику работы любого приложения, даже совершенно гиковского. И есть немало примеров, когда такие пет-проекты становились не только полем развития навыков разработчика, но и коммерческой идеей. Под катом собрали шесть подобных задач от Selectel — для вдохновения и прокачки навыков.

Сохраняйте статью в избранное: пригодится всем, кто разрабатывает на Python.

🧠 Ссылка на статью

Просто Python

⚡️ Microsoft представила дополнение Python Editor от команды Excel Labs

Microsoft представила дополнение Python Editor от команды Excel Labs для расширенной и экспериментальной работы с языком программирования Python в Excel. Дополнение Python Editor позволяет вводить более длинный и сложный код в электронные таблицы и ячейки Excel.

Python Editor показывает ячейки с кодом Python в порядке выполнения в дополнение к выходным данным кода каждой ячейки, что может помочь в отладке и доработке листинга код. Это полезно, поскольку ячейки с кодом Python в сетке Excel выполняются в порядке следования строк.

🧠 Читать статью

Просто Python

🌐 Дорожная карта Data Science 2023: пошаговый гайд

Дорожная карта Data Science 2023, созданная практикующим специалистом. На диаграмме Исикавы 7 ветвей с инструментами учёного по данным.

Если вы только подступились к Data Science, дорожная карта – это способ сэкономить время. Так что представляю карту навыков Data Science глазами практикующего специалиста. На диаграмме Исикавы вы найдёте самые распространённые понятия и инструменты.

Вы наверняка слышали про разновидности дата-сайентистов:
• дата-инженеры (Data Engineer – DE);
• дата-аналитики (Data Analyst – DA);
• дата-сайентисты (Data Scientist – DS)

🧠 Читать статью

Просто Python

🤖 Архитектура высоконагруженных телеграм-ботов на Python

Телеграм-боты стали незаменимым инструментом для автоматизации коммуникации, обработки данных и предоставления пользовательских услуг. Они не только сокращают нагрузку на живых операторов и повышают эффективность бизнес-процессов, но и дарят удивительные возможности для создания уникальных интерактивных продуктов.

Мессенджеры стали нашими неотъемлемыми спутниками, а их потенциал не ограничивается простым обменом сообщениями. Боты обеспечивают автоматические решения задач, которые ранее требовали участия человека. Они работают как виртуальные ассистенты, способные отвечать на вопросы, предоставлять информацию, обрабатывать заказы, делать рекомендации и многое другое.

🧠 Читать статью

Просто Python

🧑‍💻 Решаем задачу по взаимодействию микросервисов на Python тремя способами

Когда речь заходит про взаимодействие микросервисов, все сразу вспоминают о сложных архитектурных паттернах, вроде Event Bus и CQRS. В этой статье я расскажу, как выполнить простенькую задачку для двух микросервисов без навороченной архитектуры. В моем случае это создание сервиса, который агрегирует события компании в единую ленту событий.

Задача
Дано два сервиса:

1️⃣ Регистратор сотрудников,
2️⃣ Лента событий компании.

Цель:
Сделать так, чтобы в ленте создавалось событие при регистрации нового сотрудника.

🧠 Читать статью

Просто Python

📣 Написание компилятора C в 500 строк Python

Несколько месяцев назад мне захотелось написать компилятор C на 500 строк Python. Сложно ли это? О да, даже если отказаться от многих функций. Но, в то же время, это ужасно интересно, а результат оказался на удивление функциональным и несложным для понимания!

Кода получилось слишком много, чтобы разобрать его полностью в одной статье, поэтому тут будет просто обзор решений, принятых в ходе работы, фрагментов, которые пришлось вырезать, и общей архитектуры компилятора. Это должно сделать код более доступным.

🧠 Читать статью

Просто Python

🤖 Пишем Телеграм бота на Python c использованием API ChatGPT

Тема как написать телеграм бота уже довольно тривиальная, статей в интернете полно, поэтому тут я затронул это дело не так глубоко, ниже выложу ссылки на исходный код, разобраться будет не сложно.

Основным мотивом написания статьи послужил тот факт, что ChatGPT не доступен в ряде стран, в том числе в России, и хотелось сделать его по настоящему общедоступным.
Готовый/работающий телеграм бот ChatGPT доступен тут.

На вопрос "Кто ты?" сама нейросеть отвечает примерно следующее "Я - ChatGPT, крупнейшая языковая модель, созданная OpenAI. Я разработана для обработки естественного языка и могу помочь вам ответить на вопросы, обсудить темы или предоставить информацию на различные темы".

🧠 Читать статью

Просто Python

🐍 Перелом в судьбе змеи: как Python менял версию с 2 на 3

Мы можем только догадываться, что происходило в рождественские выходные 1989 года, когда Гвидо ван Россум приступил к своему хобби-проекту. Что можно сказать о Python, чего ещё не было сказано? Это один из самых популярных языков в мире, первый язык, на котором я учился программировать по-настоящему, и одно из самых громких имён в сфере машинного обучения. Судя по всему, он ни за что не должен был получить всю ту популярность, которой добился. Его на несколько лет опережал Perl: релиз 1.0 вышел в 1987 году и пустил глубокие корни в мире Unix, компьютерной графики и биоинформатики.

🧠 Читать статью

Просто Python

☄️ Переменные в Python

Переменные являются неотъемлемой частью языка Python. Они позволяют нам легко сохранять данные, работать с ними и ссылаться на них в наших проектах. Эта статья даст вам полное представление о переменных Python, необходимое для их эффективного использования в ваших проектах.

Переменные необходимы для хранения значений и ссылок на них в нашем приложении. Сохраняя значение в переменной, вы можете использовать его сколько угодно раз и каким угодно образом в вашем проекте.
Переменные являются неотъемлемой частью языка Python. Они позволяют нам легко сохранять данные, работать с ними и ссылаться на них в наших проектах. Эта статья даст вам полное представление о переменных Python, необходимое для их эффективного использования в ваших проектах.

🧠 Читать статью

Просто Python

🤖 9 архитектурных антипаттернов при разработке телеграм-ботов на Python

Если вас заинтересовал заголовок этой статьи, значит, вас интересует создание телеграм-ботов, и вы стремитесь к совершенству в этом. Разработка телеграм-ботов требует не только креативности, но и правильной архитектуры. В этой статье мы рассмотрим 9 архитектурных антипаттернов, которые могут стать серьезными преградами на вашем пути к созданию бота.

Для многих начинающих разработчиков создание Телеграм бота может показаться достаточно простой задачей. Однако опытные знают, что успех в этой области зависит от многих факторов, включая архитектуру вашего приложения. Архитектурные решения могут определить, насколько ваш бот будет масштабируемым, надежным и легко поддерживаемым в будущем.

🧠 Читать статью

Просто Python

Пишем GPT в 60 строк NumPy (часть 1 из 2)

GPT расшифровывается как Generative Pre-trained Transformer. Этот тип архитектуры нейросети основан на трансформере. Статья How GPT3 Works Джея Аламмара — прекрасное высокоуровневое введение в GPT, которое вкратце можно изложить так:

⏺Generative: GPT генерирует текст.
⏺Pre-trained: GPT обучается на множестве текстов из книг, Интернета и так далее
⏺Transformer: GPT — это нейронная сеть, содержащая в себе только декодирующий трансформер.

Большие языковые модели (Large Language Model, LLM) наподобие GPT-3 компании OpenAI, LaMDA компании Google и Command XLarge компании Cohere по своему строению являются всего лишь GPT. Особенными их делает то, что они:
1) очень большие (миллиарды параметров)
2) обучены на множестве данных (сотни гигабайтов текста).

В этом посте мы начнём реализацию с нуля GPT всего в 60 строках numpy. Во второй части статьи мы загрузим в нашу реализацию опубликованные OpenAI веса обученной модели GPT-2 и сгенерируем текст.

🧠 Читать статью

Просто Python

Пишем GPT в 60 строк NumPy (окончание, 2/2)

В первой части поста мы начали реализацию с нуля GPT всего в 60 строках numpy.

Во завершающей части мы загрузим в нашу реализацию опубликованные OpenAI веса обученной модели GPT-2 и сгенерируем текст.

Если не вдаваться в подробности, архитектура GPT состоит из трёх частей:

⏺Текстовые + позиционные эмбеддинги
⏺Стек декодера трансформера
⏺Этап проецирования на вокабулярий

🧠 Читать статью

Просто Python

✈️ Пишем чат-бот для Telegram на Python, используя webhook и минимум внешних библиотек

Чат‑бот в Telegram может работать в одном из двух режимов.

Один из них называется polling — это когда код, непосредственно реализующий механику бота, опрашивает сервера Telegram с определенной периодичностью («не появилось ли чего новенького»). А если обнаружена активность в чате — реализуется определенная механика взаимодействия (общения).

Второй режим работы ботов, webhook, подразумевает, что Telegram сам вызывает обработчик события/сообщения, когда в боте происходит какая‑то активность. Другими словами, код, реализующий механику бота, срабатывает по инициативе человека, который «общается» с ботом. Самый главный плюс от такого режима работы — ответ бота на действие человека происходит мгновенно: человек написал что‑то боту, Telegram тут же вызвал webhook, написанный код сразу «ответил» человеку.

🧠 Читать статью

Просто Python

⚡️ Построение пайплайна обработки данных в реальном времени с использованием Python

Обработка данных в реальном времени стала важной составной частью современного мира. Бизнес, исследователи, разработчики и многие другие специалисты сталкиваются с необходимостью обрабатывать потоки данных в реальном времени, чтобы принимать решения быстрее и более точно.

Обработка данных в реальном времени позволяет:

➖ Мониторить и реагировать на события в режиме реального времени, что особенно важно в сферах безопасности, финансов и здравоохранения.

➖ Улучшать качество обслуживания клиентов, предоставляя персонализированные рекомендации и ответы на запросы моментально.

➖ Оптимизировать производственные процессы и управлять ресурсами на основе актуальных данных.

➖ Предсказывать будущие события и тренды, что помогает в принятии стратегических решений.

🧠 Читать статью

Просто Python

Тест-драйв PyTorch 2.0 и заглядываем под капот «двушки»

Новейший метод для ускорения кода в PyTorch 2.0 — torch.compile(), который позволяет JIT‑компилировать код PyTorch в оптимизированные ядра, требуя минимальных изменений кода.

JIT‑компиляция (Just‑In‑Time compilation) — это процесс, при котором код на высокоуровневом языке преобразуется в код на низкоуровневом языке, который может быть быстрее и эффективнее исполнен процессором или графическим ускорителем. torch.compile() использует TorchDynamo и заданный бэкенд для JIT‑компиляции кода PyTorch.

В посте мы рассмотрим, насколько эффективен torch.compile() на практике, заглянем под капот «двушки» PyTorch 2.0, чтобы узнать, как работает этот метод и какие преимущества он дает. Разработчики PyTorch заявляют, что torch.compile() может дать прирост производительности до 50% по сравнению с обычным кодом PyTorch. Для проверки этого заявления мы проведем ряд экспериментов на разных моделях и данных, выясним, есть ли реальная выгода от использования torch.compile().

💬 Читать подробнее

Просто Python

Многопоточность в Python: очевидное и невероятное

Уровень сложности
Средний

В данной статье я покажу на практическом примере как устроена многопоточность в Python, расскажу про потоки, примитивы синхронизации и о том зачем они нужны.

Изначально я планировал что это будет простая и короткая заметка, но пока готовил и тестировал код нашел интересный неочевидный момент связанный с внутренностями CPython, так что не спешите закрывать вкладку, даже если уверены что знаете о потоках в Python всё:)

🧠 Читать статью

Просто Python

🔺 Проектирование веб-приложений с помощью Python и Flask

Для каких проектов лучше всего подходит Flask, а для каких — Django? Какие особенности Flask можно использовать при разработке веб-приложений наиболее эффективно? Я Алексей Некрасов, лидер направления Python в МТС, автор форка библиотеки flask-combo-jsonapi, программный директор курсов по Python в Skillbox, СЕО Forkway и автор канала Python — учим и работаем.

Сегодня, пожалуй, уже никто не пишет веб-приложения на Python. Я имею в виду «чистый» Python: в арсенале разработчиков имеются удобные веб-фреймворки, значительно ускоряющие и упрощающие этот процесс. Один из них — Flask.

🧠 Читать статью

Просто Python

💻 Я пользуюсь ChatGPT для создания скриптов на Python

Я не программист и Python не знаю. Сегодня ChatGPT написал мне скрипт, который выбирает из кучи папок картинки, собирает их в одну, при этом масштабирует по нужному алгоритму, добавляет тень, потом кладёт их на фон, сверху водяной знак и потом ещё сортирует по нужным папкам.

С некоторых пор стал активно использовать ChatGPT для написания простых скриптов для автоматизации действий. Это не руководство к действию и не «волшебные промпты», лишь описываю свой опыт.

🧠 Читать статью

Просто Python