Распознавание капчи при помощи CNN модели

Привет, Хабр!

Хочу поделиться своим опытом предобработки картиной с капчей и созданием модели, которая может определить, что же за символы в этой картинке. Код с архитектурой модели и обучением тоже будет, но основной упор часть с предобработкой картинок, поскольку это самая сложная часть. Также стоит упомянуть о допущениях, которые делались для упрощения задачи: использовались только латинские буквы (без цифр), все буквы в верхнем регистре, все капчи состоят из четырех символов (это самое серьезное допущение). Нажмите, чтобы подвердить, что вы не робот

#python3 #python #cnn #neural_networks #машинное_обучение #нейросети #mach #mac | @habr_ai

Обнаружение DGA доменов или тестовое задание на позицию intern ML-engineer

В этой статье мы рассмотрим простую задачу, которая используется одной компанией в качестве тестового задания для стажеров на позицию ML-engineer.

Читать далее

#rag #python3 #информационная_безопасность #machine_learning #data_science #стажировка #тестовое_задание #n_граммы #tf_idf | @habr_ai

Дообучаем языковую модель GPT2 с помощью Torch

Дообучаем языковую модель GPT2 с помощью Torch

Доброго времени суток, в этой статье я хочу поговорить о дообучения языковых моделей. В интернете уже много информации на эту тему, но большинство подобных статей затрагивают ее поверхностно. Сегодня я попробую разобраться в этом подробнее. Читать далее

#языковые_модели #python #python3 #pytorch #дообучение #gpt #gpt_2 #языковая_модель | @habr_ai

Я, робот или как использовать генеративный ИИ для своего первого пет-проекта

О том, как мы с Claude 3.5 Sonnet собирали мой первый pet-project «Random Friends Episode».

Любителям LLM и сериала «Друзья» - велком! How you doin'?

#llm #diy #claude_3_5 #friends #python3 | @habr_ai

Сегментация данных — это не больно. Применяем ML-модели в аналитике

Как именно пол, возраст или семейное положение пользователей влияют на наши продуктовые метрики? 

Ответить на подобные вопросы помогает решение задач в духе «сегментация чего-либо по имеющимся данным».

Классические подходы аналитиков (анализ зависимостей отдельных переменных, группировка по всем потенциальным переменным) в таких случаях могут быть сложны и требовать больших трудозатрат. 

Альтернативный вариант — использовать собственный инструмент сегментирования, созданный на базе ML-модели под конкретный набор задач. 

Под катом рассказываем о том, как у нас в Сравни устроен подобный сервис, принципах его работы и деталях технической реализации.

Читать далее

#python3 #analytics #ml_модель #решающие_деревья #аналитика #streamlit #polars #сегментация #дашборды | @habr_ai

Русские тексты. Работа с текстами. Предварительная обработка русских текстовых данных

Предварительная обработка текстовых данных: ключевые этапы и методы

Текстовые данные — один из самых сложных типов данных для анализа из-за их неструктурированной природы и высокой вариативности. Чтобы превратить "сырой" текст в информацию, пригодную для машинного обучения или лингвистического анализа, требуется предварительная обработка. Этот процесс включает стандартизацию, очистку и преобразование текста, что повышает качество моделей NLP (Natural Language Processing). Рассмотрим основные этапы и методы. Читать далее

#nltk #python3 #pymorphy #ml #deep_learning | @habr_ai

Свёрточные нейронные сети: от основ до современных технологий

Исследуем свёрточные нейронные сети (CNN): полный гид

От основ нейронных сетей до кода: узнайте, как CNN обрабатывают изображения. Включает:

Основы: нейроны, слои, обучение.

Компоненты CNN: свёртка, пулинг, полносвязные слои.

Архитектуры: LeNet, AlexNet, VGG, GoogleNet, ResNet.

Практический пример на TensorFlow.

Сравнение с Vision Transformers. Идеально для новичков и экспертов Читать далее

#cnn #пуллинг #фильтры #глубокое_обучение #машинное_обучение #компьютерное_зрение #python #python3 #tensorflow | @habr_ai

Праздник продолжается: LLM на FreeBSD

Совсем недавно Microsoft выложила в публичный доступ очень интересный проект, позволяющий запускать большие языковые модели на одном только CPU, без использования GPU и CUDA.

Разумеется автор не смог пройти мимо такого шанса и запустил это на самом обычном ноутбуке с FreeBSD. Читать далее

#llm #freebsd #python3 | @habr_ai

Как я сделала свой первый AI-продукт с ChatGPT и капелькой любви

В этой статье я расскажу о моем опыте самостоятельного изучения основ Python и Machine Learning и создании первого проекта OneLove на базе собственной модели искусственного интеллекта (ИИ). Читать далее

#python3 #chatgpt_4 #api #flask #ai_product #machine_learning #logistic_regression #scikit_learn #ml #data_science | @habr_ai

Создаем свой RAG: введение в LangGraph

Привет, Хабр! В этой статье мы рассмотрим LangGraph — инструмент для построения сложных RAG-систем. Разберём его ключевые концепции и архитектурные принципы. В следующей части перейдём к практической реализации: изучим компоненты RAG-систем и способы их интеграции Читать далее

#python3 #nlp_в_бизнесе #rag #python #agents #искусственный_интеллект #языковые_модели | @habr_ai

Создаем свой RAG: от загрузки данных до генерации ответов с LangGraph. Часть 2

Привет, Хабр!

Технология RAG (Retrieval-Augmented Generation) сочетает поиск информации с генерацией ответов, делая AI-системы более точными и осмысленными. В этой статье разберём практическую реализацию RAG с помощью LangGraph — гибкого инструмента для построения агентов и графов. Читать далее

#python3 #python #langchain #ai #искусственный_интеллект #агенты #agents #nlp #rag | @habr_ai

Кластеризация и визуализация текстовой информации

В русскоязычном секторе интернета очень мало учебных практических примеров (а с примером кода ещё меньше) анализа текстовых сообщений на русском языке. Поэтому я решил собрать данные воедино и рассмотреть пример кластеризации, так как не требуется подготовка данных для обучения.

Читать дальше →

#python3 #машинное_обучение #кластеризация_данных #natural_language_processing | @habr_ai