Какой язык программирования выбрать? Обзор Python
Шестая статья нашего цикла про языки программирования посвящена Python. Её подготовила группа серверной разработки компании «Криптонит». В обзоре вы найдёте особенности, плюсы и минусы Python, сферы его применения и полезные ссылки для обучения.
Ранее наши разработчики делали обзоры Rust, Scala, JavaScript, Spark и Golang.
Читать далее
#python #django #flask #fastapi #numpy #pandas #scipy #tensorflow #pytorch #keras | @habr_ai
Шестая статья нашего цикла про языки программирования посвящена Python. Её подготовила группа серверной разработки компании «Криптонит». В обзоре вы найдёте особенности, плюсы и минусы Python, сферы его применения и полезные ссылки для обучения.
Ранее наши разработчики делали обзоры Rust, Scala, JavaScript, Spark и Golang.
Читать далее
#python #django #flask #fastapi #numpy #pandas #scipy #tensorflow #pytorch #keras | @habr_ai
Хабр
Какой язык программирования выбрать? Обзор Python
Шестая статья нашего цикла про языки программирования посвящена Python. Её подготовила группа серверной разработки компании «Криптонит». В обзоре вы найдёте особенности, плюсы и минусы Python, сферы...
Анализ повторяемости инцидентов
Привет, Хабр!
Здесь начинаем разбирать анализ текстовых данных. По-разному «от руки» написанных отчетов о причинах возникновения инцидентов. Сегодня о том, как я пытаюсь выявлять паттерны возникновения Инцидентов, другими словами, искать мелкие Проблемы.
Эта статья не будет полезна матерым дата-сатанистам, но может быть полезна менеджерам, которые хотят отследить повторяемость похожих задач, или как я – похожих технических неполадок. Читать далее
#автомакон #анализ_данных_python #анализ_данных #python #powerbi #дашборды #автоматизация #pandas #natasha | @habr_ai
Привет, Хабр!
Здесь начинаем разбирать анализ текстовых данных. По-разному «от руки» написанных отчетов о причинах возникновения инцидентов. Сегодня о том, как я пытаюсь выявлять паттерны возникновения Инцидентов, другими словами, искать мелкие Проблемы.
Эта статья не будет полезна матерым дата-сатанистам, но может быть полезна менеджерам, которые хотят отследить повторяемость похожих задач, или как я – похожих технических неполадок. Читать далее
#автомакон #анализ_данных_python #анализ_данных #python #powerbi #дашборды #автоматизация #pandas #natasha | @habr_ai
Хабр
Анализ повторяемости инцидентов
Привет, Хабр! Эта статья не будет полезна матерым дата-сатанистам, но может быть полезна менеджерам, которые хотят отследить повторяемость похожих задач, или как я – похожих технических неполадок....
Мощь машинного обучения
Продолжим тему использования искусственного интеллекта в кибербезопасности. Сегодня мы не будем много говорить о проблемах инфобеза. Нашей задачей будет разобраться с машинным обучением и тем, как его можно использовать.
Этапы машинного обучения
Общий подход к решению задач машинного обучения состоит из четырех основных этапов: анализа, обучения, тестирования и применения.
Читать далее
#python #ml #машинное_обучение #кибербезопасность #алгоритмы_машинного_обучения #pandas #numpy | @habr_ai
Продолжим тему использования искусственного интеллекта в кибербезопасности. Сегодня мы не будем много говорить о проблемах инфобеза. Нашей задачей будет разобраться с машинным обучением и тем, как его можно использовать.
Этапы машинного обучения
Общий подход к решению задач машинного обучения состоит из четырех основных этапов: анализа, обучения, тестирования и применения.
Читать далее
#python #ml #машинное_обучение #кибербезопасность #алгоритмы_машинного_обучения #pandas #numpy | @habr_ai
Хабр
Мощь машинного обучения
Продолжим тему использования искусственного интеллекта в кибербезопасности. Сегодня мы не будем много говорить о проблемах инфобеза. Нашей задачей будет разобраться с машинным обучением и тем, как его...
Обнаруживаем атаки с помощью ML
Использование искусственного интеллекта позволяет существенно увеличить эффективность работы различных средств обеспечения кибербезопасности.
Сегодня мы попробуем решить задачу обнаружения использования вредоносного программного обеспечения злоумышленником. Для этого мы сначала еще немного поговорим об информационной безопасности, а потом уже перейдем к реализации на Python.
Вредоносное программное обеспечение может использоваться хакерами для: кражи данных, шифрования файлов с целью получения выкупа, обхода средств защиты, нарушения контроля доступа и многого другого.
Собственно, вредоносное ПО это не только пресловутые вирусы, но и различные хакерские инструменты, например знаменитый Metasploit Framework, который хотя и предназначен для проведения тестирований на проникновение белыми хакерами, тем не менее активно используется и обычными взломщиками.
Читать далее
#python #ml #машинное_обучение #кибербезопасность #алгоритмы_машинного_обучения #pandas #numpy | @habr_ai
Использование искусственного интеллекта позволяет существенно увеличить эффективность работы различных средств обеспечения кибербезопасности.
Сегодня мы попробуем решить задачу обнаружения использования вредоносного программного обеспечения злоумышленником. Для этого мы сначала еще немного поговорим об информационной безопасности, а потом уже перейдем к реализации на Python.
Вредоносное программное обеспечение может использоваться хакерами для: кражи данных, шифрования файлов с целью получения выкупа, обхода средств защиты, нарушения контроля доступа и многого другого.
Собственно, вредоносное ПО это не только пресловутые вирусы, но и различные хакерские инструменты, например знаменитый Metasploit Framework, который хотя и предназначен для проведения тестирований на проникновение белыми хакерами, тем не менее активно используется и обычными взломщиками.
Читать далее
#python #ml #машинное_обучение #кибербезопасность #алгоритмы_машинного_обучения #pandas #numpy | @habr_ai
Хабр
Обнаруживаем атаки с помощью ML
Использование искусственного интеллекта позволяет существенно увеличить эффективность работы различных средств обеспечения кибербезопасности. Сегодня мы попробуем решить задачу обнаружения...
10 библиотек Python для машинного обучения — подборка для начинающих
Составили список самых важных библиотек Python для машинного обучения и рассказали, для каких задач они могут быть полезны начинающим ML-инженерам и специалистам по Data Science.
Собрать подборку помог Кирилл Симонов — ML-разработчик компании IRLIX с экспертизой в компьютерном зрении.
Читать далее
#машинное_обучение #дата_сайенс #data_science #machine_learning #ml #библиотеки_python #библиотеки_машинного_обучения #pytorch #nimpy #pandas | @habr_ai
Составили список самых важных библиотек Python для машинного обучения и рассказали, для каких задач они могут быть полезны начинающим ML-инженерам и специалистам по Data Science.
Собрать подборку помог Кирилл Симонов — ML-разработчик компании IRLIX с экспертизой в компьютерном зрении.
Читать далее
#машинное_обучение #дата_сайенс #data_science #machine_learning #ml #библиотеки_python #библиотеки_машинного_обучения #pytorch #nimpy #pandas | @habr_ai
Хабр
10 библиотек Python для машинного обучения — подборка для начинающих
Составили список самых важных библиотек Python для машинного обучения и рассказали, для каких задач они могут быть полезны начинающим ML-инженерам и специалистам по Data Science. Собрать подборку...
Как простые NLP модели видят слова? | NLP | Пишем свой TF-IDF
Когда начинаешь погружаться в сферу NLP, сразу задумываешься, как модели представляют себе наш текст/наши слова? Ведь не логично бы звучало, если модель обрабатывала наши слова, как обычную последовательность букв. Это было бы не удобно и не понятно(как проводить операции со словами?).
Есть разные методы преобразования слов. Один из самых известных для не самых сложных моделей: TF-IDF.
Читать далее
#nlp #ai #machinelearning #deeplearning #python #tfidfvectorizer #numpy #pandas #math #jupyter_notebook | @habr_ai
Когда начинаешь погружаться в сферу NLP, сразу задумываешься, как модели представляют себе наш текст/наши слова? Ведь не логично бы звучало, если модель обрабатывала наши слова, как обычную последовательность букв. Это было бы не удобно и не понятно(как проводить операции со словами?).
Есть разные методы преобразования слов. Один из самых известных для не самых сложных моделей: TF-IDF.
Читать далее
#nlp #ai #machinelearning #deeplearning #python #tfidfvectorizer #numpy #pandas #math #jupyter_notebook | @habr_ai
Хабр
Как простые NLP модели видят слова? | NLP | Пишем свой TF-IDF
Как модели видят наш текст? Когда начинаешь погружаться в сферу NLP , сразу задумываешься, как модели представляют себе наш текст/наши слова? Ведь не логично бы звучало, если модель обрабатывала наши...
Предварительная обработка данных в машинном обучении: инструкция, инструменты, полезные ресурсы для начинающих
Data Scientist рассказывает, зачем обрабатывать данные перед загрузкой в модель, как провести предобработку и какие инструменты использовать.
Читать далее
#предобработка_данных #предобработка #предварительная_обработка #машинное_обучение #ml #data_science #preprocessing #data #scikit_learn #pandas | @habr_ai
Data Scientist рассказывает, зачем обрабатывать данные перед загрузкой в модель, как провести предобработку и какие инструменты использовать.
Читать далее
#предобработка_данных #предобработка #предварительная_обработка #машинное_обучение #ml #data_science #preprocessing #data #scikit_learn #pandas | @habr_ai
Хабр
Предварительная обработка данных в машинном обучении: инструкция, инструменты, полезные ресурсы для начинающих
Вместе с Марией Жаровой, Data Scientist компании Wildberries, рассказываем, зачем обрабатывать данные перед загрузкой в модель, как провести предобработку и какие инструменты использовать. Мария...
Анализ кривой падения добычи нефтяных и газовых скважин
В этой статье я хочу поделиться опытом разработки алгоритмов моделирования физических процессов на примере прогнозирования производительности скважины. Некоторое время назад я был участником команды разработчиков программного обеспечения для автоматизированного расчета прогноза добычи основных и неосновных носителей из скважины. Материал и примеры взяты из открытых источников с учетом приобретенного опыта. В статье могут присутствовать неточности терминологии, т.к. исходный материал на английском языке. Примеры кода представлены на языке Python в среде Jupyter notebook.
Читать далее
#dca #machine_learning #scipy #нефтегазовая_отрасль #numpy #pandas #python | @habr_ai
В этой статье я хочу поделиться опытом разработки алгоритмов моделирования физических процессов на примере прогнозирования производительности скважины. Некоторое время назад я был участником команды разработчиков программного обеспечения для автоматизированного расчета прогноза добычи основных и неосновных носителей из скважины. Материал и примеры взяты из открытых источников с учетом приобретенного опыта. В статье могут присутствовать неточности терминологии, т.к. исходный материал на английском языке. Примеры кода представлены на языке Python в среде Jupyter notebook.
Читать далее
#dca #machine_learning #scipy #нефтегазовая_отрасль #numpy #pandas #python | @habr_ai
Хабр
Анализ кривой падения добычи нефтяных и газовых скважин
В этой статье я хочу поделиться опытом разработки алгоритмов моделирования физических процессов на примере прогнозирования производительности скважины. Некоторое время назад я был участником команды...
[Перевод] Основы очистки данных в data science
В реальной жизни данные, к сожалению, не идеальны и требуют тщательной предобработки. Проблемы с данными могут возникать по разным причинам: из-за их природы, способа сбора или ошибок при вводе.
Очистка данных позволит сделать анализ более точным, а в случае машинного обучения — улучшить качество моделей.
Давайте рассмотрим пять задач, с которыми можно столкнуться в рамках очистки данных. Это не исчерпывающий список, но он послужит хорошим ориентиром при работе с реальными датасетами.
Все примеры мы будем рассматривать на Ames Housing Dataset, который содержит информацию о продажах жилой недвижимости в городе Эймс, штат Айова, США
Читать далее
#python #выбросы #пропуски #очистка_данных #анализ_данных #руководство #туториал #для_начинающих #data_science #pandas | @habr_ai
В реальной жизни данные, к сожалению, не идеальны и требуют тщательной предобработки. Проблемы с данными могут возникать по разным причинам: из-за их природы, способа сбора или ошибок при вводе.
Очистка данных позволит сделать анализ более точным, а в случае машинного обучения — улучшить качество моделей.
Давайте рассмотрим пять задач, с которыми можно столкнуться в рамках очистки данных. Это не исчерпывающий список, но он послужит хорошим ориентиром при работе с реальными датасетами.
Все примеры мы будем рассматривать на Ames Housing Dataset, который содержит информацию о продажах жилой недвижимости в городе Эймс, штат Айова, США
Читать далее
#python #выбросы #пропуски #очистка_данных #анализ_данных #руководство #туториал #для_начинающих #data_science #pandas | @habr_ai
Scikit-learn теперь умеет в пайплайны: что изменилось и как работать с библиотекой в 2025 году
Scikit-learn — это одна из основных Python-библиотек для машинного обучения. Её подключают в прикладных проектах, AutoML-системах и учебных курсах — как базовый инструмент для работы с моделями. Даже если вы давно пишете на PyTorch или CatBoost, в задачах с табличными данными, скорее всего, всё ещё вызываете fit, predict, score — через sklearn.
В 2025 году в библиотеку добавили несколько важных обновлений: доработали работу с пайплайнами, подключили полную поддержку pandas API, упростили контроль за экспериментами.
Мы подготовили гайд, как работать со scikit-learn в 2025 году. Новичкам он поможет собрать первую ML-задачу — с данными, моделью и метриками. А тем, кто уже использует библиотеку, — освежить знания и понять, что изменилось в новых версиях. Почитать гайд →
#scikit_learn #sklearn #пайплайн #python #pandas #машинное_обучение #machine_learning #ml #классификация #регрессия | @habr_ai
Scikit-learn — это одна из основных Python-библиотек для машинного обучения. Её подключают в прикладных проектах, AutoML-системах и учебных курсах — как базовый инструмент для работы с моделями. Даже если вы давно пишете на PyTorch или CatBoost, в задачах с табличными данными, скорее всего, всё ещё вызываете fit, predict, score — через sklearn.
В 2025 году в библиотеку добавили несколько важных обновлений: доработали работу с пайплайнами, подключили полную поддержку pandas API, упростили контроль за экспериментами.
Мы подготовили гайд, как работать со scikit-learn в 2025 году. Новичкам он поможет собрать первую ML-задачу — с данными, моделью и метриками. А тем, кто уже использует библиотеку, — освежить знания и понять, что изменилось в новых версиях. Почитать гайд →
#scikit_learn #sklearn #пайплайн #python #pandas #машинное_обучение #machine_learning #ml #классификация #регрессия | @habr_ai
Хабр
Гайд по Scikit-learn в 2025: собираем пайплайн, который не сломается
Scikit-learn — это одна из основных Python-библиотек для машинного обучения. Её подключают в прикладных проектах, AutoML-системах и учебных курсах — как базовый инструмент для работы с моделями. Даже...
[Перевод] 5 техник, применяемых в анализе временных рядов, которые должен знать каждый. Часть 2
В отличие от традиционных наборов данных, где объекты часто остаются статичными, данные временных рядов обладают уникальными временными паттернами, которые необходимо использовать для извлечения значимых признаков.
В этом разделе мы рассмотрим некоторые из наиболее эффективных методов. Читать далее
#временные_ряды #лаговые_признаки #pandas #python #time_series #стационарность #анализ_временных_рядов | @habr_ai
В отличие от традиционных наборов данных, где объекты часто остаются статичными, данные временных рядов обладают уникальными временными паттернами, которые необходимо использовать для извлечения значимых признаков.
В этом разделе мы рассмотрим некоторые из наиболее эффективных методов. Читать далее
#временные_ряды #лаговые_признаки #pandas #python #time_series #стационарность #анализ_временных_рядов | @habr_ai
Хабр
5 техник, применяемых в анализе временных рядов, которые должен знать каждый. Часть 2
В этом руководстве мы будем разбираться, как повысить качество прогнозирования с помощью машинного обучения, используя точные методы разделения данных, перекрестную проверку временных...
7 кругов ада: практический гид по выбору стека для ML-разработки
Сколько раз за последние пару-тройку вы меняли свой AI/ML стек? Если ответ «ни разу» — либо у вас железная дисциплина, либо вы просто не следите за тем, что происходит в индустрии. McKinsey Global Survey показывает, что adoption AI вырос с 50% до 72% только за последний год. Это означает, что пока вы размышляете над выбором между PyTorch и TensorFlow, ваши конкуренты уже запускают production-модели на совершенно других стеках.
Проблема не в том, что инструментов мало — а в том, что их чертовски много. Современный ML/AI стек превратился в слоеный пирог из семи уровней: от ИИ-инфраструктуры в самом низу до слоя ИИ-решений наверху. Каждый уровень предлагает десятки вариантов, от которых глаза разбегаются даже у матерых разработчиков, но хаос поддается систематизации. В этой статье мы расскажем о любимых инструментах, препарируем популярные решения, и разберемся, как выбрать стек, который не превратится в тыкву через полгода. Читать далее
#ml #стек #инструменты_разработки #pytorch #tensorflow #grafana #python #postgresql #pandas #kubernetes | @habr_ai
Сколько раз за последние пару-тройку вы меняли свой AI/ML стек? Если ответ «ни разу» — либо у вас железная дисциплина, либо вы просто не следите за тем, что происходит в индустрии. McKinsey Global Survey показывает, что adoption AI вырос с 50% до 72% только за последний год. Это означает, что пока вы размышляете над выбором между PyTorch и TensorFlow, ваши конкуренты уже запускают production-модели на совершенно других стеках.
Проблема не в том, что инструментов мало — а в том, что их чертовски много. Современный ML/AI стек превратился в слоеный пирог из семи уровней: от ИИ-инфраструктуры в самом низу до слоя ИИ-решений наверху. Каждый уровень предлагает десятки вариантов, от которых глаза разбегаются даже у матерых разработчиков, но хаос поддается систематизации. В этой статье мы расскажем о любимых инструментах, препарируем популярные решения, и разберемся, как выбрать стек, который не превратится в тыкву через полгода. Читать далее
#ml #стек #инструменты_разработки #pytorch #tensorflow #grafana #python #postgresql #pandas #kubernetes | @habr_ai
Хабр
7 кругов ада: практический гид по выбору стека для ML-разработки
Сколько раз за последние пару-тройку вы меняли свой AI/ML стек? Если ответ «ни разу» — либо у вас железная дисциплина, либо вы просто не следите за тем, что происходит в индустрии. McKinsey Global...