SQL, Pandas, BI, Аналитика данных
7 subscribers
9 photos
2 videos
18 files
41 links
Download Telegram
📒 Jupyter Notebook и Google Colab – когда и зачем их использовать?

Ты, наверное, видел, как дата-аналитики и исследователи работают в Jupyter Notebook – интерактивных тетрадях, где код и результаты отображаются прямо в браузере. Но есть ещё Google Colab – его облачный аналог.

Давай разберёмся, что это за инструменты и когда они тебе пригодятся! 🚀

---

### 🖥 Jupyter Notebook – твоя персональная лаборатория Python
Jupyter Notebook – это интерактивная среда, где можно писать код, запускать его по частям и сразу видеть результат.

📌 Почему это удобно?
Можно запускать код построчно, а не весь скрипт сразу
Удобно тестировать гипотезы и работать с данными
Поддержка Markdown – можно писать заметки и пояснения прямо в коде
Отлично подходит для анализа данных, построения графиков и машинного обучения

📌 Как установить Jupyter Notebook?
Если у тебя обычный Python:
pip install jupyter

Если у тебя Anaconda:
conda install jupyter

Запуск:
jupyter notebook

Откроется вкладка в браузере – и ты уже можешь писать код!

---

### ☁️ Google Colab – работа с Jupyter в облаке
Google Colab – это Jupyter Notebook, но онлайн. Отлично подходит, если у тебя медленный компьютер или ты хочешь запускать код прямо в браузере.

📌 Чем хорош Google Colab?
Не требует установки – просто заходишь на 👉 [https://colab.research.google.com](https://colab.research.google.com)
Есть доступ к бесплатным GPU и TPU – полезно для нейросетей и ML
Можно работать в команде, как в Google Docs
Всё хранится в облаке – не потеряется, даже если ноутбук выключится

📌 Когда выбрать Colab, а когда Jupyter?
🔹 Jupyter Notebook – если работаешь локально, с файлами, базами и данными на своём ПК.
🔹 Google Colab – если нужен мощный сервер, хочешь работать из браузера или делиться кодом с коллегами.

---

🔥 Теперь ты знаешь, как ускорить свою работу с Python!

👉 В следующем посте разберём, как проверить, что Python установлен правильно и всё работает!

А пока полный гайд по установке и настройке здесь 👉 [ссылка на статью]
🌐 Простейший скрипт на Python: запрашиваем данные из интернета

Ты настроил Python, создал проект и виртуальное окружение. Теперь пора написать простой, но полезный скрипт, который получает данные из интернета. 📡

Сегодня будем запрашивать случайную мудрость от GitHub – это займет буквально пару строк кода! 🚀

---

### 📌 1️⃣ Устанавливаем библиотеку requests
Для работы с HTTP-запросами нам нужна библиотека requests. Установим её:
pip install requests

🔹 Если библиотека уже есть – ничего страшного, pip просто проверит это.

---

### 📌 2️⃣ Пишем код запроса в Python
Создаём файл request_script.py в нашем проекте и добавляем код:

import requests

response = requests.get("https://api.github.com/zen")

if response.status_code == 200:
print("💡 Сегодняшняя мудрость от GitHub:")
print(response.text)
else:
print("Ошибка при получении данных:", response.status_code)


📌 Как это работает?
1️⃣ Мы используем requests.get(), чтобы отправить GET-запрос на API GitHub.
2️⃣ Если сервер ответил кодом 200 (успех), то выводим полученный текст.
3️⃣ Если сервер вернул ошибку – выводим код ошибки.

---

### 📌 3️⃣ Запускаем скрипт
Теперь попробуем запустить наш код:
python request_script.py

Если всё работает, ты увидишь философскую цитату от GitHub. Например:
💡 Сегодняшняя мудрость от GitHub:
Mind your words, they are important.

Каждый раз будет разная фраза! 🎉

---

### 📌 4️⃣ А что, если запрашивать что-то полезное?
Попробуем запросить текущий курс валют с бесплатного API:

import requests

response = requests.get("https://api.exchangerate-api.com/v4/latest/USD")

if response.status_code == 200:
data = response.json() # Преобразуем ответ в JSON
print(f"📈 Курс USD к рублю: {data['rates']['RUB']}")
else:
print("Ошибка при получении данных.")

Запусти этот код, и он покажет актуальный курс доллара к рублю! 💰

---

🔥 Поздравляю! Ты только что написал свой первый скрипт, работающий с реальными данными из интернета.

👉 В следующем посте разберёмся, как сохранять данные в файлы и передавать проект другим людям!

А пока полный гайд по настройке здесь 👉 [ссылка на статью]
🛠 Дополнительные инструменты для Python-разработки (Git, Docker и др.)

Python – это круто, но одним только интерпретатором не обойтись. Чтобы писать код удобно, безопасно и профессионально, нужны дополнительные инструменты. Давай разберём что использовать, зачем и когда. 🚀

---

### 📌 1️⃣ Git – контроль версий и командная работа
Git – это must-have для любого разработчика.

💡 Зачем он нужен?
Хранит историю изменений (можно вернуться на любой этап разработки)
Позволяет работать в команде без "финальный_финал_v3.py"
Удобная работа с GitHub/GitLab

🔹 Как установить? 👉 [https://git-scm.com/downloads](https://git-scm.com/downloads)
🔹 Как проверить установку?
git --version

🔹 Базовые команды:
git init  # Инициализация репозитория
git add . # Добавить файлы в коммит
git commit -m "Первый коммит" # Создать коммит
git push origin main # Отправить на GitHub

💡 Храни код в GitHub – это удобно!

---

### 📌 2️⃣ Docker – "виртуальный контейнер" для проектов
Иногда твой код работает у тебя, но не запускается у других из-за различий в версиях Python, библиотек и ОС.

💡 Docker решает эту проблему!

Позволяет упаковать проект в контейнер (включая Python, библиотеки, зависимости)
Позволяет развернуть проект на любом сервере или ПК без проблем
Используется для деплоя веб-приложений, API и автоматизации

🔹 Как установить? 👉 [https://www.docker.com/get-started](https://www.docker.com/get-started)
🔹 Пример Dockerfile для Python-проекта:
FROM python:3.10
WORKDIR /app
COPY . .
RUN pip install -r requirements.txt
CMD ["python", "main.py"]

Запустить проект в Docker:
docker build -t my_project .
docker run -it my_project

Теперь твой проект будет работать одинаково на любом компьютере! 🔥

---

### 📌 3️⃣ Virtualenv & Conda – управление окружениями
💡 Ты уже знаешь, зачем нужны виртуальные окружения, но напомним:
venv – стандартный инструмент в Python
conda – мощный инструмент для Data Science

🔹 Создать окружение (venv):
python -m venv venv
source venv/bin/activate # macOS/Linux
venv\Scripts\activate # Windows

🔹 Создать окружение (Conda):
conda create --name my_env python=3.10
conda activate my_env

📌 Если работаешь в Data Science, выбирай Conda!

---

### 📌 4️⃣ Makefile – автоматизация команд
Если ты устал вручную вводить длинные команды, используй Makefile.

📌 Создаём `Makefile`:
install:
pip install -r requirements.txt

run:
python main.py

Теперь для установки библиотек можно просто написать:
make install

а для запуска проекта:
make run

🔹 Работает в macOS/Linux. В Windows – через WSL или `make.exe`.

---

### 📌 5️⃣ Linters & Formatters – чистый код без боли
Чтобы код был читабельным и красивым, используют линтеры и форматтеры.

Black – автоматически форматирует код:
pip install black
black .

Flake8 – находит ошибки в коде:
pip install flake8
flake8 .

isort – сортирует импорты:
pip install isort
isort .

💡 Если хочешь писать как профессионал – используй их!

---

### 📌 6️⃣ Task Runners – управление задачами
Иногда нужно автоматизировать тесты, деплой, парсинг данных и другие задачи.

Celery – для фоновый задач
Prefect – для потоков данных
Taskipy – удобный аналог Makefile

📌 Пример Taskipy:
pip install taskipy

Добавляем в pyproject.toml:
[tool.taskipy.tasks]
start = "python main.py"

Теперь можно запустить проект просто так:
task start


---

🔥 Теперь ты знаешь, какие инструменты делают разработку удобнее и быстрее!

👉 В следующем посте разберём, как загружать проекты в GitHub и работать в команде!

А пока полный гайд по настройке здесь 👉 [ссылка на статью]
🚀 Как загружать Python-проекты в GitHub и работать в команде

Ты написал код, всё протестировал, но как его правильно сохранить и поделиться с командой? Решение – GitHub! Это платформа для хранения кода, где можно работать в команде, управлять версиями и никогда не терять проект. Давай разберёмся, как правильно загружать Python-проекты в GitHub.

---

### 📌 1️⃣ Устанавливаем Git
Если у тебя ещё нет Git, установи его:
🔹 Windows – скачиваем 👉 [git-scm.com](https://git-scm.com/downloads)
🔹 macOS – вводим в терминале:
brew install git

🔹 Linux (Debian/Ubuntu):
sudo apt install git


Проверяем установку:
git --version

Если видим версию – значит, всё работает!

---

### 📌 2️⃣ Создаём репозиторий на GitHub
1️⃣ Заходим на [GitHub](https://github.com) и создаём аккаунт (если его нет).
2️⃣ Нажимаем «New Repository».
3️⃣ Даём название, ставим «Public» (или «Private», если проект закрытый).
4️⃣ Жмём «Create Repository».

GitHub покажет команды, которые нужно выполнить в терминале – давай разберём их!

---

### 📌 3️⃣ Инициализируем Git в проекте
Переходим в папку проекта и выполняем:
git init  # Создаём локальный Git-репозиторий
git add . # Добавляем все файлы в коммит
git commit -m "Первый коммит" # Фиксируем изменения

Теперь у нас есть локальный репозиторий с историей изменений.

---

### 📌 4️⃣ Связываем проект с GitHub и отправляем код
Теперь привяжем наш проект к удалённому репозиторию:
git remote add origin https://github.com/ТВОЙ_ЛОГИН/ИМЯ_РЕПОЗИТОРИЯ.git
git branch -M main # Создаём основную ветку (если её нет)
git push -u origin main # Отправляем код на GitHub

Теперь твой код в GitHub – его можно скачивать, делиться и работать в команде! 🎉

---

### 📌 5️⃣ Как работать в команде с GitHub
Когда несколько человек работают над проектом, важно избежать конфликтов в коде.

🔹 Как скачать чужой проект с GitHub?
git clone https://github.com/ТВОЙ_ЛОГИН/ИМЯ_РЕПОЗИТОРИЯ.git

🔹 Как получить свежие изменения от команды?
git pull origin main

🔹 Как отправить новые изменения?
git add .  
git commit -m "Обновил код"
git push origin main

🔹 Как работать в отдельной ветке, чтобы не сломать основной код?
git checkout -b feature/new-feature  # Создаём новую ветку
git push origin feature/new-feature # Отправляем её на GitHub

После этого можно сделать Pull Request, и команда проверит код перед слиянием.

---

### 📌 6️⃣ Добавляем .gitignore, чтобы не загружать лишние файлы
Некоторые файлы (виртуальное окружение, кеши, настройки IDE) не нужно загружать в репозиторий.

📌 Создай в папке проекта файл .gitignore и добавь в него:
venv/
__pycache__/
*.pyc
.DS_Store
.env

Теперь при git add . эти файлы будут игнорироваться.

---

🔥 Поздравляю! Теперь ты умеешь загружать Python-проекты в GitHub и работать в команде.


А пока полный гайд по настройке здесь 👉 [ссылка на статью]
Работаем с моим учеником над магистерской диссертацией. Делаем крутой продукт - дашборд оценки состояния туристической отрасли в России.
1️⃣Для его создания сделали скрейпер - собрали данные по всем инфраструктурным локациям, проанализировали отзывы посетителей.
2️⃣Кроме того, собрали данные о климате, ценах на услуги, турпотоке.
3️⃣Затем исследовали лучшие практики, проанализировали опыт туристов: что для них важно.
4️⃣И сформировали рейтинги регионов и городов России в плане развития туризма.
5️⃣И вот, вышли на финишный этап - визуализация итогов и создание дашбордов. Сегодня появились первые результаты.
Стек: Python (Flask+Dash+Pandas+Plotly+SQLAlchemy+BeautifilSoup+Selenium), PostgreSQL, JS
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM