NLP: когда машины начинают понимать нас (Часть 3)
В этой статье мы продолжим изучение NLP и перейдем к более продвинутым темам, которые являются главными для построения современных приложений и моделей в области обработки естественного языка. А также создадим и обучим модели самостоятельно, используя TensorFlow/Keras и PyTorch.
Читать далее
#обработка_естественного_языка #nlp #natural_language_processing #python #машинное_обучение #machine_learning #keras #tensorflow #pytorch #искусственный_интеллект | @habr_ai
В этой статье мы продолжим изучение NLP и перейдем к более продвинутым темам, которые являются главными для построения современных приложений и моделей в области обработки естественного языка. А также создадим и обучим модели самостоятельно, используя TensorFlow/Keras и PyTorch.
Читать далее
#обработка_естественного_языка #nlp #natural_language_processing #python #машинное_обучение #machine_learning #keras #tensorflow #pytorch #искусственный_интеллект | @habr_ai
Хабр
NLP: когда машины начинают понимать нас (Часть 3)
1. Введение В предыдущих статьях мы рассмотрели теоретические основы NLP, включая базовые понятия, такие как токенизация, стемминг, лемматизация и другие. Мы также поработали с библиотеками NLTK...
Задача Emotional FusionBrain 4.0: итоги и победители
Всем привет! На связи снова лаборатория FusionBrain!
В сентябре мы анонсировали задачу Emotional FusionBrain 4.0, которая стало частью соревнования AI Journey Contest. Участникам предстояло разработать универсальную мультимодальную модель, которая учится понимать социальные взаимодействия людей по видео — другими словами, создать эмоциональный искусственный интеллект.
Теперь пришла пора подводить итоги!
Но начнём мы, конечно же, с описания задачи, чтобы уважаемые читатели оказались в едином контексте :)
Читать далее
#соревнования #artificial_intelligence #natural_language_processing #deeplearning #хакатоны #хакатон #сбер #большие_языковые_модели #мультимодальные_модели #мультимодальные_данные | @habr_ai
Всем привет! На связи снова лаборатория FusionBrain!
В сентябре мы анонсировали задачу Emotional FusionBrain 4.0, которая стало частью соревнования AI Journey Contest. Участникам предстояло разработать универсальную мультимодальную модель, которая учится понимать социальные взаимодействия людей по видео — другими словами, создать эмоциональный искусственный интеллект.
Теперь пришла пора подводить итоги!
Но начнём мы, конечно же, с описания задачи, чтобы уважаемые читатели оказались в едином контексте :)
Читать далее
#соревнования #artificial_intelligence #natural_language_processing #deeplearning #хакатоны #хакатон #сбер #большие_языковые_модели #мультимодальные_модели #мультимодальные_данные | @habr_ai
Хабр
Задача Emotional FusionBrain 4.0: итоги и победители
Всем привет! На связи снова лаборатория FusionBrain! В сентябре мы анонсировали задачу Emotional FusionBrain 4.0, которая стала частью соревнования AI Journey Contest. Участникам предстояло...
Используем LLM для подбора подрядчиков: как это работает
Привет, Хабр! Меня зовут Иван, работаю data scientist в Doubletapp. Хочу поделиться кейсом, как мы решали задачу по автоматизации процессов отсмотра, сортировки и сверки входящих документов заказчика.
Читайте в статье:
• С какими документами мы работали и что в них должно быть
• Классификация и сверка документов
• Как система показала себя в работе
Читать далее
#автоматизация #искусственный_интеллект #автоматизация_бизнеса_заказчиков #автоматизация_бизнес_процессов #большие_языковые_модели #машинное_обучение #машинное_обучение_и_нейросети #natural_language_processing | @habr_ai
Привет, Хабр! Меня зовут Иван, работаю data scientist в Doubletapp. Хочу поделиться кейсом, как мы решали задачу по автоматизации процессов отсмотра, сортировки и сверки входящих документов заказчика.
Читайте в статье:
• С какими документами мы работали и что в них должно быть
• Классификация и сверка документов
• Как система показала себя в работе
Читать далее
#автоматизация #искусственный_интеллект #автоматизация_бизнеса_заказчиков #автоматизация_бизнес_процессов #большие_языковые_модели #машинное_обучение #машинное_обучение_и_нейросети #natural_language_processing | @habr_ai
Сэм Альтман знает, как достичь AGI. Я тоже, и сейчас расскажу как
«Теперь мы уверены, что знаем, как построить AGI в том виде, в каком мы традиционно его понимали… Сейчас это звучит как научная фантастика, и даже говорить об этом как-то безумно. Все в порядке — мы уже были там раньше и не против оказаться там снова.» Такое сообщение 6 января опубликовал Сэм Альтман.
Человечество нашло дорогу, по которой можно дальше и дальше улучшать качество моделей, и мы не видим здесь никакого предела. Про эту дорогу знает Альтман, и скоро узнаете вы.
Поехали в AGI
#openai #нейросети #gpt #генеративные_модели #машинное_обучение #искусственный_интеллект #natural_language_processing #agi #artificial_intelligence #ai | @habr_ai
«Теперь мы уверены, что знаем, как построить AGI в том виде, в каком мы традиционно его понимали… Сейчас это звучит как научная фантастика, и даже говорить об этом как-то безумно. Все в порядке — мы уже были там раньше и не против оказаться там снова.» Такое сообщение 6 января опубликовал Сэм Альтман.
Человечество нашло дорогу, по которой можно дальше и дальше улучшать качество моделей, и мы не видим здесь никакого предела. Про эту дорогу знает Альтман, и скоро узнаете вы.
Поехали в AGI
#openai #нейросети #gpt #генеративные_модели #машинное_обучение #искусственный_интеллект #natural_language_processing #agi #artificial_intelligence #ai | @habr_ai
Хабр
Сэм Альтман знает, как достичь AGI. Я тоже, и сейчас расскажу как
«Теперь мы уверены, что знаем, как построить AGI в том виде, в каком мы традиционно его понимали… Сейчас это звучит как научная фантастика, и даже говорить об этом как-то безумно. Все в порядке — мы...
Разметка данных с использованием LLM
Всем привет! Меня зовут Артем Ерохин. Я работаю в X5 Tech в направлении продуктивизации ИИ. В прошлом году у меня был доклад про разметку данных с LLM. И я решил преобразовать этот доклад в статью, попутно обновив некоторые цифры и тезисы (такова уж скорость прогресса в этой области).
Читать далее
#llm #искусственный_интеллект #машинное_обучение #ии #разметка_данных #machine_learning #синтетические_данные #natural_language_processing | @habr_ai
Всем привет! Меня зовут Артем Ерохин. Я работаю в X5 Tech в направлении продуктивизации ИИ. В прошлом году у меня был доклад про разметку данных с LLM. И я решил преобразовать этот доклад в статью, попутно обновив некоторые цифры и тезисы (такова уж скорость прогресса в этой области).
Читать далее
#llm #искусственный_интеллект #машинное_обучение #ии #разметка_данных #machine_learning #синтетические_данные #natural_language_processing | @habr_ai
Хабр
Разметка данных с использованием LLM
Всем привет! Меня зовут Артем Ерохин. Я работаю в X5 Tech в направлении продуктивизации ИИ. В прошлом году у меня был доклад про разметку данных с LLM . И я решил преобразовать этот доклад в статью,...
[Перевод] Применение методов обработки естественного языка и больших языковых моделей в области открытия новых материалов
Стремительное развитие технологий искусственного интеллекта (ИИ) произвело радикальный переворот в науке о материалах, открыв новые пути решения ключевых проблем. Используя тщательно описанные наборы данных, извлеченные из научной литературы, инструменты на базе ИИ, включая методы обработки естественного языка (NLP), позволяют ускорить исследования в области материалов.
Совершенствование NLP-подходов и появление больших языковых моделей (LLMs) способствуют более эффективному извлечению и использованию информации. В настоящем обзоре рассматриваются возможности применения инструментов NLP в науке о материалах, с особым вниманием к автоматическому извлечению данных, поиску новых материалов и автономным исследованиям. Также обсуждаются вызовы и перспективы, связанные с использованием LLMs, и очерчиваются будущие достижения, способные вывести отрасль на новый уровень.
Дисклеймер: это вольный перевод научной статьи из журнала Nature Читать далее
#материаловедение #nlp #natural_language_processing #nlu #natural_language_understanding #llm #gpt | @habr_ai
Стремительное развитие технологий искусственного интеллекта (ИИ) произвело радикальный переворот в науке о материалах, открыв новые пути решения ключевых проблем. Используя тщательно описанные наборы данных, извлеченные из научной литературы, инструменты на базе ИИ, включая методы обработки естественного языка (NLP), позволяют ускорить исследования в области материалов.
Совершенствование NLP-подходов и появление больших языковых моделей (LLMs) способствуют более эффективному извлечению и использованию информации. В настоящем обзоре рассматриваются возможности применения инструментов NLP в науке о материалах, с особым вниманием к автоматическому извлечению данных, поиску новых материалов и автономным исследованиям. Также обсуждаются вызовы и перспективы, связанные с использованием LLMs, и очерчиваются будущие достижения, способные вывести отрасль на новый уровень.
Дисклеймер: это вольный перевод научной статьи из журнала Nature Читать далее
#материаловедение #nlp #natural_language_processing #nlu #natural_language_understanding #llm #gpt | @habr_ai
Хабр
Применение методов обработки естественного языка и больших языковых моделей в области открытия новых материалов
Абстракт Стремительное развитие технологий искусственного интеллекта (ИИ) произвело радикальный переворот в науке о материалах, открыв новые пути решения ключевых проблем. Используя тщательно...
Как мы учим LLM оценивать друг друга и как это помогло нам улучшить Cotype
Всем привет! Сегодня мы выпустили новую версию нашей большой языковой модели Cotype – Cotype Pro 2, с улучшенными возможностями генерации и редактирования текстов, а также суммаризации и анализа информации. Однако в этой статье мы дадим лишь краткое представление нашего нового творения и его преимуществ, а больше расскажем о том, как мы улучшили пайплайн обучения нашей LLM с помощью новой методологии оценки.
Эта методология была разработана в рамках исследования, посвященного сравнению моделей методом Side-by-Side для автоматической оценки LLM. Мы выкладываем в открытый доступ код для её воспроизведения и лидерборд на HuggingFace для сравнения как коммерческих, так и открытых моделей.
Читать далее
#искусственный_интеллект #natural_language_processing #nlp #нейросети #ии #языковые_модели #обучение_нейронных_сетей #side_by_side | @habr_ai
Всем привет! Сегодня мы выпустили новую версию нашей большой языковой модели Cotype – Cotype Pro 2, с улучшенными возможностями генерации и редактирования текстов, а также суммаризации и анализа информации. Однако в этой статье мы дадим лишь краткое представление нашего нового творения и его преимуществ, а больше расскажем о том, как мы улучшили пайплайн обучения нашей LLM с помощью новой методологии оценки.
Эта методология была разработана в рамках исследования, посвященного сравнению моделей методом Side-by-Side для автоматической оценки LLM. Мы выкладываем в открытый доступ код для её воспроизведения и лидерборд на HuggingFace для сравнения как коммерческих, так и открытых моделей.
Читать далее
#искусственный_интеллект #natural_language_processing #nlp #нейросети #ии #языковые_модели #обучение_нейронных_сетей #side_by_side | @habr_ai
Хабр
Как мы учим LLM оценивать друг друга и как это помогло нам улучшить Cotype
Всем привет! Сегодня мы выпустили новую версию нашей большой языковой модели Cotype – Cotype Pro 2, с улучшенными возможностями генерации и редактирования текстов, а также суммаризации и анализа...
Как мы учим LLM оценивать друг друга и как это помогло нам улучшить Cotype
Всем привет! Сегодня мы выпустили новую версию нашей большой языковой модели Cotype – Cotype Pro 2, с улучшенными возможностями генерации и редактирования текстов, а также суммаризации и анализа информации. Однако в этой статье мы дадим лишь краткое представление нашего нового творения и его преимуществ, а больше расскажем о том, как мы улучшили пайплайн обучения нашей LLM с помощью новой методологии оценки.
Эта методология была разработана в рамках исследования, посвященного сравнению моделей методом Side-by-Side для автоматической оценки LLM. Мы выкладываем в открытый доступ код для её воспроизведения и лидерборд на HuggingFace для сравнения как коммерческих, так и открытых моделей.
Читать далее
#искусственный_интеллект #natural_language_processing #nlp #нейросети #ии #языковые_модели #обучение_нейронных_сетей #side_by_side | @habr_ai
Всем привет! Сегодня мы выпустили новую версию нашей большой языковой модели Cotype – Cotype Pro 2, с улучшенными возможностями генерации и редактирования текстов, а также суммаризации и анализа информации. Однако в этой статье мы дадим лишь краткое представление нашего нового творения и его преимуществ, а больше расскажем о том, как мы улучшили пайплайн обучения нашей LLM с помощью новой методологии оценки.
Эта методология была разработана в рамках исследования, посвященного сравнению моделей методом Side-by-Side для автоматической оценки LLM. Мы выкладываем в открытый доступ код для её воспроизведения и лидерборд на HuggingFace для сравнения как коммерческих, так и открытых моделей.
Читать далее
#искусственный_интеллект #natural_language_processing #nlp #нейросети #ии #языковые_модели #обучение_нейронных_сетей #side_by_side | @habr_ai
Хабр
Как мы учим LLM оценивать друг друга и как это помогло нам улучшить Cotype
Всем привет! Сегодня мы выпустили новую версию нашей большой языковой модели Cotype – Cotype Pro 2, с улучшенными возможностями генерации и редактирования текстов, а также суммаризации и анализа...
RAG: борьба с низким качеством ответов в условия экономии памяти на GPU
Привет, Хабр! Меня зовут Саприн Семён. Я занимаюсь анализом данных и машинным обучением в компании ПГК Диджитал. Сегодня мы начинаем серию статей, в которой я расскажу о том, как мы с командой разрабатывали ИИ-помощника, а также приведу практические кейсы по улучшению точности ответов с минимальными затратами памяти графических процессоров.
Как вы уже могли догадаться, наш ИИ-помощник разработан на основе RAG (Retrieval-Augmented Generation) системы. Хотя принцип работы RAG многим уже знаком и не вызывает того самого «вау», я всё же кратко напомню, как эта система работает, почему она так популярна и почему её ответам можно доверять.
В этой статье я расскажу, как мы разрабатывали RAG-систему для юридического отдела нашей компании, с какими вызовами столкнулись и как их преодолевали. Вы узнаете, почему стандартные подходы не всегда работают, и как, погрузившись в специфику данных, мы смогли значительно улучшить качество ответов, сохранив при этом экономию ресурсов GPU.
Читать далее
#rag #natural_language_processing #искусственный_интеллект #машинное_обучение #ии_помощник #чанки #baseline | @habr_ai
Привет, Хабр! Меня зовут Саприн Семён. Я занимаюсь анализом данных и машинным обучением в компании ПГК Диджитал. Сегодня мы начинаем серию статей, в которой я расскажу о том, как мы с командой разрабатывали ИИ-помощника, а также приведу практические кейсы по улучшению точности ответов с минимальными затратами памяти графических процессоров.
Как вы уже могли догадаться, наш ИИ-помощник разработан на основе RAG (Retrieval-Augmented Generation) системы. Хотя принцип работы RAG многим уже знаком и не вызывает того самого «вау», я всё же кратко напомню, как эта система работает, почему она так популярна и почему её ответам можно доверять.
В этой статье я расскажу, как мы разрабатывали RAG-систему для юридического отдела нашей компании, с какими вызовами столкнулись и как их преодолевали. Вы узнаете, почему стандартные подходы не всегда работают, и как, погрузившись в специфику данных, мы смогли значительно улучшить качество ответов, сохранив при этом экономию ресурсов GPU.
Читать далее
#rag #natural_language_processing #искусственный_интеллект #машинное_обучение #ии_помощник #чанки #baseline | @habr_ai
Хабр
RAG: борьба с низким качеством ответов в условиях экономии памяти на GPU
Привет, Хабр! Меня зовут Саприн Семён. Я занимаюсь анализом данных и машинным обучением в компании ПГК Диджитал. Сегодня мы начинаем серию статей, в которой я расскажу о том, как мы с командой...
Помощник читателя: визуализируем сюжет
Пишем AI-помощника для анализа художественных произведений. С помощью языковой модели для анализа текста и небольшой обвязки для визуализации полученного структурированного ответа генерируем:
- граф связей между героями;
- хронологию событий;
- карту мест действия. Читать далее
#python #machine_learning #artificial_intelligence #natural_language_processing #литература | @habr_ai
Пишем AI-помощника для анализа художественных произведений. С помощью языковой модели для анализа текста и небольшой обвязки для визуализации полученного структурированного ответа генерируем:
- граф связей между героями;
- хронологию событий;
- карту мест действия. Читать далее
#python #machine_learning #artificial_intelligence #natural_language_processing #литература | @habr_ai
Хабр
Помощник читателя: визуализируем сюжет
В текущих кодогенеративных реалиях создать что-то новое с нуля до уровня худо-бедной демонстрации стало предательски просто. Только успевай доходчиво формулировать свои хотелки, да вовремя давать по...
Накорми языковую модель документами
Одна из актуальных задач для компаний в сфере ИИ - это поиск и генерация ответов по внутренней документации. На первый взгляд кажется, что решение простое: скормить документы большой языковой модели (LLM) и получать ответы. На практике же технические решения оказываются далеко не такими эффективными и качественными, как хотелось бы. Сейчас для работы с локальными документами доступны два основных подхода - RAG (Retrieval-Augmented Generation) и дообучение модели (fine-tuning). Оба подхода имеют свои преимущества и ограничения. В статье рассмотрим их как с теоретической, так и с практической точки зрения. Читать далее
#rag #fine_tuning #huggingface #llm_модели #llm #нейросети #большие_языковые_модели #nlp #искусственный_интеллект #natural_language_processing | @habr_ai
Одна из актуальных задач для компаний в сфере ИИ - это поиск и генерация ответов по внутренней документации. На первый взгляд кажется, что решение простое: скормить документы большой языковой модели (LLM) и получать ответы. На практике же технические решения оказываются далеко не такими эффективными и качественными, как хотелось бы. Сейчас для работы с локальными документами доступны два основных подхода - RAG (Retrieval-Augmented Generation) и дообучение модели (fine-tuning). Оба подхода имеют свои преимущества и ограничения. В статье рассмотрим их как с теоретической, так и с практической точки зрения. Читать далее
#rag #fine_tuning #huggingface #llm_модели #llm #нейросети #большие_языковые_модели #nlp #искусственный_интеллект #natural_language_processing | @habr_ai
Хабр
Накорми языковую модель документами
Задача поиска ответов по внутренней документации Одна из актуальных задач для компаний в сфере ИИ - это поиск и генерация ответов по внутренней документации. На первый взгляд кажется, что решение...
Как мы учили Алису видеть мир с помощью мультимодальной нейросети Яндекса
Недавно пользователям приложения «Алиса» стал доступен Live-режим, который работает на базе мультимодальной нейросети (VLM), созданной в Яндексе. В этом режиме Алиса распознаёт объекты, показанные ей через камеру смартфона, и рассказывает о них пользователю. А ещё раньше наша VLM стала применяться в Поиске по картинкам, Умной камере и Нейроэксперте. Всё это время технология не стояла на месте и продолжала совершенствоваться. Пожалуй, пришло время поделиться опытом.
На связи Роман Исаченко из команды компьютерного зрения в Яндексе. Сегодня я расскажу, какой путь наша VLM прошла за полгода. А Дарья @dara-orange Виноградова, которая работает со мной в той же команде, поделится описанием пайплайна зрения в Алисе. Мы опишем весь путь формирования новой модели: от архитектуры и сбора данных до финальных замеров качества и скорости. Читать далее
#vlm #natural_language_processing #computer_vision #multimodality #яндекс | @habr_ai
Недавно пользователям приложения «Алиса» стал доступен Live-режим, который работает на базе мультимодальной нейросети (VLM), созданной в Яндексе. В этом режиме Алиса распознаёт объекты, показанные ей через камеру смартфона, и рассказывает о них пользователю. А ещё раньше наша VLM стала применяться в Поиске по картинкам, Умной камере и Нейроэксперте. Всё это время технология не стояла на месте и продолжала совершенствоваться. Пожалуй, пришло время поделиться опытом.
На связи Роман Исаченко из команды компьютерного зрения в Яндексе. Сегодня я расскажу, какой путь наша VLM прошла за полгода. А Дарья @dara-orange Виноградова, которая работает со мной в той же команде, поделится описанием пайплайна зрения в Алисе. Мы опишем весь путь формирования новой модели: от архитектуры и сбора данных до финальных замеров качества и скорости. Читать далее
#vlm #natural_language_processing #computer_vision #multimodality #яндекс | @habr_ai
Хабр
Как мы учили Алису видеть мир с помощью мультимодальной нейросети Яндекса
Недавно пользователям приложения «Алиса» стал доступен Live-режим, который работает на базе мультимодальной нейросети (VLM), созданной в Яндексе. В этом режиме Алиса распознаёт объекты, показанные ей...
Поддержка RUTUBE 2.0: как мы научили бота не ломаться на сложных вопросах
Как у нас в RUTUBE ИИ и служба клиентского сервиса работают сообща, вместе справляются ростом сервиса и мгновенно адаптируются к изменениям — рассказываем в этой статье. Делимся рецептом RAG-системы, которая за первые три месяца эксплуатации уже отвечает почти на 70% запросов пользователей и никогда не врёт про «космических зайцев». Читать далее
#rag #ml #ai #natural_language_processing #nlp #ии_ассистент #rutube_ru #поддержка_пользователей #хакатон | @habr_ai
Как у нас в RUTUBE ИИ и служба клиентского сервиса работают сообща, вместе справляются ростом сервиса и мгновенно адаптируются к изменениям — рассказываем в этой статье. Делимся рецептом RAG-системы, которая за первые три месяца эксплуатации уже отвечает почти на 70% запросов пользователей и никогда не врёт про «космических зайцев». Читать далее
#rag #ml #ai #natural_language_processing #nlp #ии_ассистент #rutube_ru #поддержка_пользователей #хакатон | @habr_ai
Хабр
Поддержка RUTUBE 2.0: как мы научили бота не ломаться на сложных вопросах
Как у нас в RUTUBE ИИ и служба клиентского сервиса работают сообща, вместе справляются с ростом сервиса и мгновенно адаптируются к изменениям — рассказываем в этой статье. Делимся рецептом...
Telegram AI Companion: веселый проект на Rust, Telegram и локальном ИИ
Привет, Хабр! 👋
Недавно я собрал небольшой, но бодрый pet-проект — Telegram AI Companion. Это Telegram-бот, который умеет болтать с вами, используя локальную языковую модель через LocalAI. Без OpenAI, без облаков — всё на своём железе.
Цель проекта — не революция в AI, а именно учебное и увлекательное погружение в Rust, асинхронность, Telegram API и локальные LLM-модели. Такой себе “бот-компаньон”, но больше для разработчика, чем пользователя :)
Если вам интересно: Читать далее
#rust #telegram_bot #localai #llm #docker #actix #openai #ai #ngrok #natural_language_processing | @habr_ai
Привет, Хабр! 👋
Недавно я собрал небольшой, но бодрый pet-проект — Telegram AI Companion. Это Telegram-бот, который умеет болтать с вами, используя локальную языковую модель через LocalAI. Без OpenAI, без облаков — всё на своём железе.
Цель проекта — не революция в AI, а именно учебное и увлекательное погружение в Rust, асинхронность, Telegram API и локальные LLM-модели. Такой себе “бот-компаньон”, но больше для разработчика, чем пользователя :)
Если вам интересно: Читать далее
#rust #telegram_bot #localai #llm #docker #actix #openai #ai #ngrok #natural_language_processing | @habr_ai
Хабр
Telegram AI Companion: веселый проект на Rust, Telegram и локальном ИИ
Привет, Хабр! 👋 Недавно я собрал небольшой, но бодрый pet-проект — Telegram AI Companion . Это Telegram-бот, который умеет болтать с вами, используя локальную языковую модель через LocalAI . Без...
Кластеризация и визуализация текстовой информации
В русскоязычном секторе интернета очень мало учебных практических примеров (а с примером кода ещё меньше) анализа текстовых сообщений на русском языке. Поэтому я решил собрать данные воедино и рассмотреть пример кластеризации, так как не требуется подготовка данных для обучения.
Читать дальше →
#python3 #машинное_обучение #кластеризация_данных #natural_language_processing | @habr_ai
В русскоязычном секторе интернета очень мало учебных практических примеров (а с примером кода ещё меньше) анализа текстовых сообщений на русском языке. Поэтому я решил собрать данные воедино и рассмотреть пример кластеризации, так как не требуется подготовка данных для обучения.
Читать дальше →
#python3 #машинное_обучение #кластеризация_данных #natural_language_processing | @habr_ai
Хабр
Кластеризация и визуализация текстовой информации
В русскоязычном секторе интернета очень мало учебных практических примеров (а с примером кода ещё меньше) анализа текстовых сообщений на русском языке. Поэтому я решил собрать данные воедино и...
Что такое NER, зачем он нужен и когда не поможет
Про NER написано немало, но этот материал носит прикладной характер. Статья будет полезна тем, кто интересуется NLP и ищет разные подходы для решения узкопрофильных задач, требующих извлечения сущностей из текста.
Для джунов это возможность пройти весь путь — от разметки данных до обучения собственной кастомной NER-модели, попутно понять типичные сложности и ограничения.
Привет, меня зовут Александр Агеев, на протяжении года я занимался NER-моделями для определения сущностей на этикетках продуктов питания. Несмотря на мою любовь к NER, у этой технологии есть свои границы — кейсы, которые она не может решить хорошо, поэтому надо подключать другие инструменты. В статье я дам критерии применимости NER для решения практических задач. Читать далее
#нейросети_python #named_entity_recognition #ner #natural_language_processing #nlp #spacy #примеры_кода #обучение_моделей | @habr_ai
Про NER написано немало, но этот материал носит прикладной характер. Статья будет полезна тем, кто интересуется NLP и ищет разные подходы для решения узкопрофильных задач, требующих извлечения сущностей из текста.
Для джунов это возможность пройти весь путь — от разметки данных до обучения собственной кастомной NER-модели, попутно понять типичные сложности и ограничения.
Привет, меня зовут Александр Агеев, на протяжении года я занимался NER-моделями для определения сущностей на этикетках продуктов питания. Несмотря на мою любовь к NER, у этой технологии есть свои границы — кейсы, которые она не может решить хорошо, поэтому надо подключать другие инструменты. В статье я дам критерии применимости NER для решения практических задач. Читать далее
#нейросети_python #named_entity_recognition #ner #natural_language_processing #nlp #spacy #примеры_кода #обучение_моделей | @habr_ai
Хабр
Что такое NER, зачем он нужен и когда не поможет
Про NER написано немало, но этот материал носит прикладной характер. Статья будет полезна тем, кто интересуется NLP и ищет разные подходы для решения узкопрофильных задач, требующих извлечения...
Веб-агенты, которые действительно понимают веб-сайты: как слой восприятия Notte решает проблему DOM
Фундаментальная проблема веб-агентов заключается не в автоматизации — а в восприятии. Как позволить LLM навигировать и действовать на веб-сайтах, погребённых в слоях HTML? Читать далее
#llm #llm_агент #ai_agent #automation #natural_language_processing | @habr_ai
Фундаментальная проблема веб-агентов заключается не в автоматизации — а в восприятии. Как позволить LLM навигировать и действовать на веб-сайтах, погребённых в слоях HTML? Читать далее
#llm #llm_агент #ai_agent #automation #natural_language_processing | @habr_ai
Хабр
Веб-агенты, которые действительно понимают веб-сайты: как слой восприятия Notte решает проблему DOM
Фундаментальная проблема веб-агентов заключается не в автоматизации — а в восприятии. Как позволить LLM навигировать и действовать на веб-сайтах, погребённых в слоях HTML? Техническая проблема:...
15 примеров применения Natural Language Processing
Машинное обучение — это технология искусственного интеллекта, используемая для распознавания закономерностей, обучения на основе данных и принятия решений автоматически — без вмешательства человека. С другой стороны, обработка естественного языка (Natural Language Processing, NLP) — это форма ИИ, позволяющая машинам интерпретировать и понимать человеческий язык.
В этой статье мы попробуем разобраться с тем, как используется NLP для решения реальных задач и рассмотрим 15 примеров использования данной технологии и машинного обучения.
Читать далее
#nlp #natural_language_processing #обработка_естественного_языка #машинное_обучение #bert #трансформеры #текстовая_классификация #анализ_текста #rnn | @habr_ai
Машинное обучение — это технология искусственного интеллекта, используемая для распознавания закономерностей, обучения на основе данных и принятия решений автоматически — без вмешательства человека. С другой стороны, обработка естественного языка (Natural Language Processing, NLP) — это форма ИИ, позволяющая машинам интерпретировать и понимать человеческий язык.
В этой статье мы попробуем разобраться с тем, как используется NLP для решения реальных задач и рассмотрим 15 примеров использования данной технологии и машинного обучения.
Читать далее
#nlp #natural_language_processing #обработка_естественного_языка #машинное_обучение #bert #трансформеры #текстовая_классификация #анализ_текста #rnn | @habr_ai
Хабр
15 примеров применения Natural Language Processing
Машинное обучение — это технология искусственного интеллекта, используемая для распознавания закономерностей, обучения на основе данных и принятия решений автоматически —...
[Перевод] Путь к LangOps: руководство для начинающих
Что такое LangOps и зачем он бизнесу - как выстроить языковую инфраструктуру, которая понимает клиентов на любом языке и снижает нагрузку на поддержку. Перевод гайда от CEO LangOps Institute; оригинал был в закрытом сообществе и публикуется с разрешения автора. Читать далее
#перевод #локализация #глобализация #langops #ai #natural_language_processing #localization | @habr_ai
Что такое LangOps и зачем он бизнесу - как выстроить языковую инфраструктуру, которая понимает клиентов на любом языке и снижает нагрузку на поддержку. Перевод гайда от CEO LangOps Institute; оригинал был в закрытом сообществе и публикуется с разрешения автора. Читать далее
#перевод #локализация #глобализация #langops #ai #natural_language_processing #localization | @habr_ai
Хабр
DevOps для языка: что такое LangOps
Примечание переводчика. Тема LangOps почти не освещена в русскоязычном интернете, поэтому я перевёл и публикую этот базовый гайд от Arthur Wetzel , CEO LangOps Institute . Оригинальная публикация...
Система генерации ответов на истории тикетов поддержки (часть 1)
Привет, Хабр!
Меня зовут Анатолий, занимаюсь диалоговыми системами, автоматизацией бизнес-процессов, применением Искусственного Интеллекта в бизнесе.
Кейсовая задача - создать ассистента оператора службы поддержки, используя существующую историю тикетов. Читать далее
#искусственный_интеллект #python #программирование #искусственные_нейронные_сети #обработка_естественного_языка #поддержка_клиентов #поддержка_пользователей #natural_language_processing #большие_языковые_модели #автоматизация_бизнеса | @habr_ai
Привет, Хабр!
Меня зовут Анатолий, занимаюсь диалоговыми системами, автоматизацией бизнес-процессов, применением Искусственного Интеллекта в бизнесе.
Кейсовая задача - создать ассистента оператора службы поддержки, используя существующую историю тикетов. Читать далее
#искусственный_интеллект #python #программирование #искусственные_нейронные_сети #обработка_естественного_языка #поддержка_клиентов #поддержка_пользователей #natural_language_processing #большие_языковые_модели #автоматизация_бизнеса | @habr_ai
Хабр
Создание Системы генерации ответов на истории тикетов поддержки (часть 1)
Привет, Хабр! Меня зовут Анатолий, занимаюсь автоматизацией бизнес-процессов и применением Искусственного Интеллекта в бизнесе. Кейсовая задача - создать Систему генерации ответов на основе...