Привет, Хабр! Объем информации растет с каждым днем, умение быстро извлекать суть из больших массивов данных становится мастхэв навыком. Библиотека Sumy справляется с этой задачей на ура, предоставляя...

В распоряжении SberDevices — огромные core-модели, построенные на всем известной архитектуре Transformer. Обучение такой модели может занимать очень много времени, а Inference — требует большого...

Привет, Хабр! Меня зовут Настя Бурьянская, я занимаюсь координацией  LLM-проектов в MTS AI. Сегодня я расскажу вам о том, как мы силами пяти человек за месяц научили нашу большую языковую модель...

В своем подкасте я грозился сам почитать статью GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models ученых из Apple и разобраться. Почитал. Разобрался....

Скорее всего все читатели Хабра слышали про chatGPT и знают как он работает. В этой статье, я повторю GPT и обучу на небольшом датасете, в основном пользуясь материалами из видео Andrej Karpathy ....

Wolfram — крутая штука. Сколько школьников получило из-за него пятерку, а сколько студентов зачет, не сосчитать... Устроено все просто: плохой ученик загружает задачку и получает приятный результат с...

Недавний релиз Llama 3.2 с мультимодальными версиями 11B и 90B открывает возможности для создания AI приложений, анализирующих визуальный ввод. Мультимодальные модели были и раньше, но это первая...

Токсичность в интернете — распространенная проблема, с которой сталкивался каждый. В период бурного развития AI само собой напрашивается решение для автоматического удаления токсичных паттернов с...

И для чего мы решили создать бенчмарк для проверки рускоязычных LLM? Неотъемлемой частью цифровой реальности стало использование больших языковых моделей (БЯМ, либо LLM, large language model). Именно...

Привет, Хабр! Меня зовут Алла, я работаю младшим исследователем в команде Memory‑Augmented models в составе лаборатории Cognitive AI Systems AIRI и занимаюсь ресерчем на пересечений...

Обработка естественного языка, или NLP, — ключевой раздел науки о данных, популярный в промышленности и академических кругах. С развитием NLP растет количество докладов на конференциях и статей в...

Привет, Хабр! Сегодня расскажем вам о том, как создавать собственные токенизаторы с SpaCy. Да-да, тот самый SpaCy , который мы все знаем и любим. Зачем нам свой токенизатор? Согласитесь, стандартные...

Когда говорят про ИИ в страховании, все обычно представляют классический ML и вероятностные модели (они конечно же имеются у нас в большом количестве).  Страховая отрасль богата всевозможными...

Привет, Хабр! Изучая четвёртый язык, я в очередной раз решил попробовать обучить свою биологическую нейросеть на книгах с параллельным переводом, но после пары вечеров в такой же очередной раз их...

Введение VALL-E 2, последнее достижение в области нейронных кодировочных языковых моделей, которое стало вехой в синтезе речи в zero-shot, достигнув человеческого уровня впервые. Zero-shot -...

Введение в NLP Представьте, что вы можете разговаривать с компьютером так же естественно, как с обычным человеком. Вы задаёте вопросы, получаете ответы, даёте команды - и это всё на вашем родном...

1. Введение В прошлой статье мы с вами изучили теоретические основы обработки естественного языка (NLP) и теперь готовы перейти к практике. В мире NLP выбор подходящего языка...

1. Введение В предыдущих статьях мы рассмотрели теоретические основы NLP, включая базовые понятия, такие как токенизация, стемминг, лемматизация и другие. Мы также поработали с библиотеками NLTK...

SLAVA: бенчмарк социально-политического ландшафта и ценностного анализа. В предыдущей статье мы обсудили важный вопрос , который волнует многих: насколько большие языковые модели с поддержкой русского...

Привет, Хабр! В этом посте мы поговорим подробно про RAG на каждом его этапе, его текущее развитие на момент написания статьи и про другие модификации. В прошлой статье я...