Что такое компьютерная лингвистика и как технологии на её основе помогают людям с ограниченными возможностями здоровья

Многие из нас ежедневно пользуются поисковыми системами, голосовыми помощниками и переводчиками текстов. Появление этих технологий стало возможным благодаря компьютерной лингвистике — области искусственного интеллекта, которая занимается описанием естественных языков при помощи математических моделей. Рассказываем, что такое компьютерная лингвистика и обработка естественного языка, какие задачи они решают и как помогают расширять возможности людей с инвалидностью.

https://habr.com/ru/companies/netologyru/articles/656485/

Алгоритмы и Структуры данных

Модель составного полупростого числа

В предлагаемой статье приводится полная списочная многострочная модель (СММ) составного полупростого числа N и перечень вопросов, сопровождающих ее описание. Ответы на вопросы предлагается находить самим читателям. Найденные правильные ответы, либо комментируемые другими читателями, обеспечат глубокое понимание проблем, связанных с подобными числами и задачами. Выбор самих чисел предопределен их широким использованием в области информационной безопасности.
Рассматривая строки модели, особенно ее средней части читателя могут удивлять появления в строках квадратичных вычетов полных квадратов, возникающие интервалы между строками с кратными значениями делителей числа N, поведение средних вычетов и, возможно, что-то еще.

В предлагаемой вниманию читателей модели роль исследуемого числа отводится модулю N КЧКВ, т.е. N задан (может быть большим) и требуется в одной из задач отыскивать делители N. Для моделирования выбрана простая зависимость (линейная) N = х1 + хо. Очевидно, что список представлений такой модели конечен, и для чисел ограниченного размера может быть легко построен в форме таблицы, содержащей S =½ (N –1) строк. Модель названа списочной многострочной моделью и кратко обозначается (СММ, СМ-модель).

https://habr.com/ru/articles/880142/

Алгоритмы и Структуры данных

Как мы ускоряли виртуальные фоны в Толке

Началось все с того, что осенью прошлого года я общался со своим другом-коллегой на кухне. Ему хотелось ускорить виртуальные фоны, а у меня было немного времени.

Виртуальный фон – это важная фича Толка, которая позволяет обрезать все сзади тебя и вклеить одну фотографию. Например, вот фотография той самой кухни, где все и обсуждалось:

https://habr.com/ru/companies/skbkontur/articles/883094/

Алгоритмы и Структуры данных

Инвентарь в Godot

Разбираю один из многообразных способов создания инвентаря в игре на примере движка Godot. Рассматривается вариант написания его вручную, относительно простым образом, без использования классов и каких-то плагинов.

https://habr.com/ru/articles/885174/

Алгоритмы и Структуры данных

Глубокое обучение: Слой линейного преобразования и полносвязная нейросеть. Теория и реализация на самодельном autograd

Идею для реализации я взял из книги «Грокаем глубокое обучение». Здесь рассмотрим как использовать самодельный алгоритм автоматического дифференцирования при создании и обучении нейросети, про который я сделал разбор ранее.

https://habr.com/ru/articles/885466/

Алгоритмы и Структуры данных

Как Яндекс перепридумал поиск для разработчиков

Сегодня я расскажу непростую историю. Она про проблему, до решения которой у нас слишком долго не доходили руки. Из поста вы узнаете, почему стандартная метрика качества поиска не учитывала интересы разработчиков и как мы её улучшили. Расскажу про новую нейросеть CS YATI, обученную понимать таких же айтишников, как и мы. Ну и про грабли на нашем пути тоже расскажу, куда без них.

https://habr.com/ru/companies/yandex/articles/688952/

Алгоритмы и Структуры данных

Реализация метода принятия решений в
экспертных группах

Рассмотрим основные положения теории принятия решений. Приведем условия и порядок использования методов принятия групповых решений. Исследуем практический пример применения метода принятия решений в экспертной группе.

https://habr.com/ru/articles/885784/

Алгоритмы и Структуры данных

SQL HowTo: поиск пути и дихотомия (Advent of Code 2024, Day 18: RAM Run)

В этой челлендж-серии статей попробуем использовать PostgreSQL как среду для решения задач Advent of Code 2024.

Возможно, SQL не самый подходящий для этого язык, зато мы рассмотрим его различные возможности, о которых вы могли и не подозревать.

Сегодня напишем для решения простую реализацию алгоритма Ли и дихотомии.

https://habr.com/ru/companies/tensor/articles/885882/

Алгоритмы и Структуры данных

Теория сильного ИИ

В данной статье рассматриваются алгоритмы абстрактного мышления и механизм побуждения разума к действию. Это мышление - главная загадка современности и есть мнение, что компьютер не в силах ее решить, что только душа человека на это способна. Что сначала будет создана урезанная версия ИИ, а только потом будет создан сильный ИИ похожий на человеческий.

https://habr.com/ru/articles/688898/

Алгоритмы и Структуры данных

После прочтения сжечь. Или алгоритмы обработки данных вслепую (oblivious)

Так уж вышло, что я неплохо разбираюсь в разных PET (Privacy-Enhancing Technologies) и уже писал на хабре про совместные конфиденциальные вычисления. Сегодня повышаю градус и рассказываю про магию следующего порядка: слепую (забывчивую) передачу или oblivious transfer. Как обычно, на примере.

https://habr.com/ru/articles/886112/

Алгоритмы и Структуры данных

Я заставил новую модель Claude 3.7 Sonnet пройти собес по алгоритмам

Недавно в мире GenAI появились захватывающие новости: компания Anthropic представила новую языковую модель Claude 3.7 Sonnet. Эта модель объединяет в себе высокую скорость реакции и способности «глубокого» рассуждения (deep reasoning), что делает её одной из самых универсальных и продвинутых моделей на рынке коммерческих LLM. Благодаря инновационному подходу к гибридноcти, Claude 3.7 Sonnet способна как быстро отвечать на запросы, так и предоставлять подробное пошаговое обоснование своих выводов в зависимости от выбранного режима.

https://habr.com/ru/articles/886130/

Алгоритмы и Структуры данных

Алгоритмы манипуляций с битами

TL; DR в статье приведены алгоритмы обработки коротких битовых строк, обычно вмещающихся в машинное слово, в большей степени эти алгоритмы предназначены для обработки строк длины 32 или 64, но многие из них можно применять для SIMD инструкций или даже GPU.

https://habr.com/ru/articles/886182/

Алгоритмы и Структуры данных

Самые быстрые алгоритмы распределенного и асинхронного обучения (с точки зрения теории)

Мы с коллегами занимаемся оптимизацией распределённого обучения — это довольно актуальная проблема, учитывая, что современные модели обучаются на многих тысячах GPU.

За последние 2 года нам удалось сделать несколько открытий в асинхронных методах оптимизации, которые мы изложили в 5 статьях [1–5] на NeurIPS и ICLR. В этой статье я расскажу, в чём заключаются особенности распределённого обучения и что нового привнесли в него мы с точки зрения теории.

https://habr.com/ru/companies/airi/articles/883266/

Алгоритмы и Структуры данных

Вышла новая GPT-4.5 preview, она сделает меня банкротом

Несколько часов назад (на момент написания статьи) я получил информационный e‑mail от OpenAI с темой «GPT-4.5 research preview» — компания релизит свою самую большую модель на данный момент времени.

По заявлениям OpenAI, модель теперь лучше понимает намерения пользователя, имеет более глубокие знания об окружающем нас мире, хорошо выполняет такие задачи, как коучинг, мозговой штурм и помощь в написании текстов. Что важно для разработчиков, GPT-4.5 отлично справляется с «агентскими» задачами, например, планирование, вызов инструментов, структурированный вывод и, в дополнение ко всему, vision‑модальность.

https://habr.com/ru/articles/886588/

Алгоритмы и Структуры данных

Структуры данных для подготовки к собеседованиям по алгоритмам

Эта статья содержит список и краткое описание основных структур данных и предназначена для подготовки к алгоритмическим собеседованиям.

Нет смысла решать задачи, если вы не знаете как устроены основные структуры данных изнутри. Это необходимо, чтобы правильно их применять, при решении задач, и правильно оценивать алгоритмическую сложность.

Рекомендую также прочитать мою статью про алгоритмы и оценку сложности. Эти две статьи помогут вам подготовиться к алгоритмическим собеседованиям.

https://habr.com/ru/articles/879914/

Алгоритмы и Структуры данных

Как пройти алгоритмическое собеседование: полный гид по алгоритмам, сложностям и стратегиям

Эта статья содержит список и краткое описание алгоритмов и оценки сложности алгоритмов.

https://habr.com/ru/articles/883030/

Алгоритмы и Структуры данных

Как эффективно бороться с галлюцинациями нейросетей

В статье рассмотрю, почему искусственный интеллект (ИИ) галлюцинирует и как с этим бороться. С развитием ИИ больших языковых моделей перед пользователями встает вопрос о достоверности информации, которую они предоставляют. Иногда ИИ может выдавать ответы, которые выглядят убедительно, но на самом деле являются вымышленными или неточными. Явление, при котором языковая модель генерирует ложную информацию, получило название «галлюцинация».

https://habr.com/ru/companies/beeline_cloud/articles/886706/

Алгоритмы и Структуры данных

Кривая эластичности в девелопменте и почему её не существует

Когда речь заходит об ожиданиях от динамического ценообразования (ДЦО), многие застройщики представляют себе безотказную машину, которая 24/7 мониторит спрос, в реальном времени выдаёт оптимальные цены, обеспечивает максимальную прибыль и заставляет конкурентов нервно курить в сторонке. Но, увы, суровая реальность напоминает, что не всё в жизни так просто.

Эта статья — первая из серии, где мы разберёмся, как ДЦО может работать на вас, даже если пока кажется, что это больше головная боль, чем инструмент максимизации прибыли. В этом цикле мы разложим всё по полочкам: от теории и мифов до конкретных решений, которые действительно приносят деньги. Приготовьтесь: будет полезно, интересно и немного иронично.

https://habr.com/ru/articles/886786/

Алгоритмы и Структуры данных

Сортируем сотни млн строк в разы быстрее библиотечных алгоритмов. А не замахнуться ли нам на ммм… на O(n)?

Уважаемые читатели, в своей разработческой деятельности я люблю творчески рассуждать за пределами общепринятых рамок, ограничений, постулатов, мнений влиятельных экспертов и т. п., пытаясь рассуждать как можно шире, заглядывать за «горизонт». Увлечение такое. Не только на работе (там, конечно, приходится считаться с ограничениями — с дисциплиной и самодисциплиной у меня всё в порядке ещё с армии), но особенно в личное время, где полёт мысли ничто не сдерживает. Хотя и на работе эти мои творческие особенности иногда позволяли продуцировать весьма эффективные решения, было такое и не раз. Но описываемое явление скреативилось в личное время.

Кто-то в личное время покоряет Эверест, кто-то стрит-драйвит, кто-то на нижней Волге ловит спиннингом судаков и жерехов (я тоже, кстати, раз в году), кто-то разводит мадагаскарских шипящих тараканов, а кто-то развлекает себя эзотерикой. А я вот внерабочее время развлекаю себя тем, что напрягаю свой мозг математическими и алгоритмическими проблемами. Придумываю что-нибудь эдакое, необычное. Жаль, что за эту деятельность не платят. Говорят, такое напряжение мозга поможет в старости спастись от болезни Альцгеймера. Во всяком случае, весьма на это надеюсь.

И, рассуждая совсем о другой проблеме, но где имеет место быть сортировка большого количества объектов, в плане алгоритма сортировки объектов, меня осенило. Быстренько проверил кодом — ого, работает! Рассчитываю, что вам понравится.

https://habr.com/ru/companies/alfa/articles/887064/

Алгоритмы и Структуры данных

Эффективная FIFO-обработка для Node.js и Chrome

"По классике" FIFO-очередь для обработки некоторого потока задач обычно реализуется в виде связанного списка элементов. Но для JavaScript такой подход нехорош - он требует либо создания "обвязки" над элементом очереди в виде дополнительного объекта, содержащего ссылки на сам элемент и указатель на следующий, либо превращения элемента в объект и расширения его таким же указателем.

https://habr.com/ru/companies/tensor/articles/688182/

Алгоритмы и Структуры данных