🟢 Кто такой Python Big Data Инженер?


Python Big Data Инженер - это специалист, который обладает навыками работы с большими объемами данных. Для занятия этой должности часто необходимо обладать следующими навыками:

➡️ 1. Знание Python

Python - это язык программирования, который широко используется в области обработки данных. Python Big Data Инженер должен обладать хорошими знаниями языка Python, чтобы управлять и обрабатывать большие объемы данных.

➡️ 2. Базы данных

Python Big Data Инженер должен иметь хорошие знания в области баз данных. Он должен уметь разрабатывать и управлять базами данных, а также анализировать их.

➡️ 3. Инструменты Big Data

Python Big Data Инженер должен знать инструменты для работы с большими объемами данных, такие как Hadoop, Spark, Kafka и другие. Он должен уметь использовать эти инструменты для обработки и анализа данных.

➡️➡️ Роль в организации

Python Big Data Инженеры играют важную роль в организации. Они отвечают за обработку и анализ больших объемов данных, которые используются для принятия важных решений. Они работают в области машинного обучения, аналитики данных, бизнес-анализа и других областях.


p.s. Мб тут есть те, кто уже стал/планирует работать в области Big Data?

🟢 Кто такой Python Data Science инженер?


➡️ Анализ данных

Python Data Science инженер отвечает за анализ больших объемов данных и извлечение из них полезной информации. Он использует различные инструменты и техники, такие как машинное обучение, статистический анализ, визуализацию данных и другие, чтобы извлечь ценные знания из данных. Python Data Science инженеры работают с данными различной сложности, от простых таблиц и графиков до сложных баз данных и больших наборов данных.

➡️ Машинное обучение

Python Data Science инженеры также работают с машинным обучением. Они создают модели машинного обучения, которые используются для прогнозирования результатов и принятия решений на основе данных. Python Data Science инженеры используют различные алгоритмы машинного обучения, чтобы создавать модели, которые могут использоваться для решения различных задач.

➡️ Визуализация данных

Python Data Science инженеры также отвечают за визуализацию данных. Они создают графики, диаграммы и другие типы визуализации данных, которые помогают представлять данные в более понятном и доступном виде. Это позволяет принимать более информированные решения на основе данных и обеспечивает лучшее понимание данных для всех участников проекта.

🔔Телеграм бот, который переводит сообщение в голосовуху 💬

📹 Написал бота на Python, используя Aiogram и gTTS 📹
🔥 Смотрите, оценивайте, используйте 🔥

https://www.youtube.com/watch?v=hWm9GcCFD3E

Разбор 👨‍💻

Создаем список из чисел от 0 до 9. Через двоеточие мы объявляем тип переменной - list.

Далее мы генерируем список в наш numbers. Делаем срез исходного списка с первого элемента, шагая до конца, с шагом 2.

Начало:Конец:Шаг —> 1:(пропущено == конец):2
В ответе получили нечетные значения.

🟢 Что такое Pydantic?


Pydantic - это библиотека Python, которая предоставляет инструменты для проверки данных и сериализации (преобразования объектов Python в JSON-подобную структуру данных). Pydantic также предоставляет возможность создавать собственные классы с валидацией и автоматической сериализацией данных.

➡️ Валидация данных с Pydantic

Одной из основных функций Pydantic является проверка данных. Pydantic позволяет определить структуру данных в Python-классе и автоматически проверять, соответствует ли входной объект этой структуре. Например, мы можем создать класс "Person" со свойствами "name" и "age", а затем использовать этот класс для проверки данных о человеке, которые мы получаем из внешнего источника.

python
from pydantic import BaseModel

class Person(BaseModel):
    name: str
    age: int

person_data = {"name": "Alice", "age": 25}
person = Person(**person_data)

В этом примере мы создали экземпляр класса "Person" из словаря "person_data". Pydantic автоматически проверяет, что ключи "name" и "age" существуют в словаре и что "name" имеет тип "str", а "age" - тип "int".

➡️ Сериализация данных с Pydantic

Еще одна полезная функция Pydantic - это сериализация данных. При сериализации объект Python преобразуется в JSON-подобную структуру данных, которая может быть передана по сети или сохранена в файл. Pydantic позволяет автоматически сериализовать объекты Python, определенные в классах Pydantic.

python
class Person(BaseModel):
    name: str
    age: int

person = Person(name="Alice", age=25)
person_json = person.json()

В этом примере мы создали экземпляр класса "Person", а затем сериализовали его в формат JSON с помощью метода "json()". Результатом будет строка JSON с полями "name" и "age", соответствующими свойствам объекта "person".

➡️ Создание своих классов Pydantic

Pydantic также позволяет создавать собственные классы с валидацией и автоматической сериализацией данных. Для создания такого класса необходимо унаследоваться от базового класса Pydantic "BaseModel" и определить свойства класса с аннотациями типов данных.

python
class User(BaseModel):
    username: str
    password: str
    email: str
    age: Optional[int] = None

В этом примере мы создали класс "User" со свойствами "username", "password", "email" и "age". Свойство "age" определено как необязательное с помощью "Optional[int]". Если значение "age" не указано при создании экземпляра класса, то оно будет равно "None".

Разбор 👨‍💻

Затянулся этот разбор, но ничего! Лето все же!
У нас есть два описания функции sum. Одна принимает в себя 3 параметра, другая 2. В пайтоне сработает переопределение функции —> та функция, что стоит ближе к вызову, сработает. В данном случае будет попытка вызвать функцию с 2-мя параметрами, а передать в нее 3 аргумента.
Получим ошибку, как итог.

🔥 Что такое Flask? (кратко)


Flask - это микрофреймворк веб-приложений для языка программирования Python.

➕ Преимущества Flask

Одним из основных преимуществ Flask является его простота. Flask не накладывает на разработчика многих ограничений, позволяя создавать веб-приложения в соответствии с потребностями проекта. Кроме того, Flask очень легковесный, что обеспечивает быстрое и эффективное выполнение кода. Flask также очень расширяемый и имеет большое сообщество разработчиков, которое создает различные расширения и плагины для улучшения функциональности фреймворка.

💼 Использование Flask

Для использования Flask необходимо установить его с помощью менеджера пакетов Python, такого как pip. После установки можно начать создавать веб-приложения с помощью Flask. Пример простого приложения Flask:

from flask import Flask

app = Flask(__name__)

@app.route('/')
def hello():
    return 'Hello, World!'

if __name__ == '__main__':
    app.run()

Этот код создает веб-приложение, которое отображает сообщение "Hello, World!" при обращении к корневому URL-адресу.

Разбор 👨‍💻

У нас есть список, в котором лежат функции. Ссылки, так скажем, на них.
Когда мы в цикле вызываем функции, пока бежим по списку, вызовы происходят внутри принта. Сами функции выдадут нам буквы a и b, однако т.к. вызовы в принте —> получим еще то, что функции возвращают. Явных return'ов у них нет. Т.об. они возвращают None.

🔔Любителям парсинга приготовиться!

📹 Пишем парсер статистики любого ютуб канала 📹
🔥 Смотрите, оценивайте, используйте 🔥

❗️Можете кидать предложения по идеям, что можно спарсить в комменты тут или под видео!

https://www.youtube.com/watch?v=GZuBhCLZLWY

Разбор 👨‍💻

Генератором создаем список, начиная с 0, заканчивая 10, пробегаясь с шагом 2 —> [0, 2, 4 .... 8]
Далее циклом проделываем то же самое, только немного по другой логике. Перебираем все числа, проверяем их на четность - нужные заносим.

В if сравниваем элементы по индексу двух одинаковых списков —> сработает , вывод: One
elif и else можно НЕ смотреть, т.к. уже сработал if.

🧐❓ Что такое encoding в Python?


Python поддерживает множество кодировок, которые могут использоваться для представления текста. Некоторые из наиболее распространенных кодировок, поддерживаемых Python, включают UTF-8, ASCII и Latin-1. UTF-8 является наиболее распространенной кодировкой и используется в большинстве веб-приложений.

➡️ Как работает encoding в Python

Python использует объекты типа str для хранения строковых значений. Когда вы создаете строку в Python, она сохраняется в памяти в виде последовательности символов Unicode. Однако, когда необходимо сохранить строку в файл или передать ее по сети, она должна быть преобразована в байты, и для этого используется определенная кодировка. Это происходит с помощью метода encode.

Пример:🙃

text = 'Пример текста'
encoded_text = text.encode('utf-8')

В этом примере мы создаем строку text, содержащую русские символы, и затем преобразуем ее в байты, используя кодировку UTF-8. Результатом будет объект типа bytes, содержащий закодированные данные.

Обратное преобразование из байтов в строку осуществляется с помощью метода decode:

decoded_text = encoded_text.decode('utf-8')