❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_205

🔠Что такое SpanBERT ? (Часть_2)

SpanBERT был разработан для улучшения предварительного обучения, так как многие задачи обработки естественного языка (NLP) требуют логического вывода о отношениях между двумя или более интервалами текста.

Например, в задачах извлечения ответов на вопросы (extractive question answering) определение того, что "Denver Broncos" является типом "NFL team", критически важно для ответа на вопрос "Какой NFL команде выиграл Супербоул 50?"

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_205

🔠Что такое SpanBERT ? (Часть_3)

SpanBERT показал значительные улучшения в задачах выбора интервалов, таких как ответы на вопросы и разрешение кореференций, и достиг новых результатов в этих задачах. Например, с теми же данными обучения и размером модели, как у BERT-large, SpanBERT получил 94,6% F1 на SQuAD 1.1 и 88,7% F1 на SQuAD 2.0 соответственно.

Также SpanBERT достиг нового лучшего результата на задаче разрешения кореференций OntoNotes (79,6% F1) и показал хорошую производительность на бенчмарке TACRED для извлечения отношений

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration

WAQI - мировой индекс качества воздуха. Мониторится в режиме реального времени.

https://waqi.info/

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_206

Как SpanBERT использует новый подход к обучению границ интервалов (Span-Boundary Objective, SBO)? (Часть_1)

SpanBERT использует новый подход к обучению границ интервалов (Span-Boundary Objective, SBO) для улучшения представления и предсказания интервалов текста. В отличие от стандартного подхода BERT, который маскирует случайные токены, SpanBERT маскирует случайные непрерывные интервалы (spans) текста.

Это позволяет модели учиться предсказывать весь маскированный интервал, используя только контекст, в котором он появляется, без необходимости полагаться на индивидуальные представления токенов внутри него.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_206

Как SpanBERT использует новый подход к обучению границ интервалов (Span-Boundary Objective, SBO)? (Часть_2)

SpanBERT также использует дополнительную вспомогательную цель обучения — SBO. Этот новый подход предназначен для предсказания всего маскированного интервала, используя только представления токенов на границе интервала. Это позволяет модели сосредоточиться на контексте, который окружает интервал, и улучшает ее способность предсказывать интервалы текста.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration

Незаменимая нейронка для SQL-запросов. Text2sql легко превратит ваш текст в готовый запрос. А если не понимаете, что происходит в запросе — просто закиньте его в специальный раздел и прога подробно его объяснит.

Главная фича — нейронка умеет фиксить ошибки в уже готовых SQL-запросах. Также есть возможность загрузить схему своей базы данных, чтобы ИИ лучше генерила ответы.

Cохраняем себе здесь.

—

@ai_for_web — самые полезные AI-инструменты для веб-мастера

@ai_sklad — а здесь собираем остальные AI-инструменты, удобно разбивая их по категориям.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_206

Как SpanBERT использует новый подход к обучению границ интервалов (Span-Boundary Objective, SBO)? (Часть_2)

SpanBERT также отличается от BERT тем, что использует один непрерывный сегмент текста для каждого обучающего примера, вместо двух, как это делает BERT. Это означает, что SpanBERT не использует цель предсказания следующего предложения BERT, что позволяет сосредоточиться на задачах выбора интервалов, таких как ответы на вопросы.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_206

🔠Какие еще задачи можно решать с помощью SpanBERT, помимо выбора интервалов?

SpanBERT, помимо задач выбора интервалов, также показывает сильные результаты в следующих задачах обработки естественного языка (NLP):

- Извлечение ответов на вопросы (Question Answering, QA): SpanBERT достигает 94.6% F1 на SQuAD 1.1 и 88.7% F1 на SQuAD 2.0, что является значительным улучшением по сравнению с BERT.

- Разрешение кореференций (Coreference Resolution): SpanBERT устанавливает новый стандарт на задаче разрешения кореференций OntoNotes с 79.6% F1, что является значительным улучшением.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_206

🔠Какие еще задачи можно решать с помощью SpanBERT, помимо выбора интервалов? (Часть_2)

- Извлечение отношений (Relation Extraction): На бенчмарке TACRED SpanBERT показывает сильную производительность, что свидетельствует о его эффективности в задачах, связанных с распознаванием и интерпретацией отношений между сущностями в тексте 124.

- GLUE: SpanBERT также демонстрирует улучшения на GLUE, что является набором задач NLP, охватывающих различные аспекты понимания естественного языка, включая классификацию текста, извлечение ответов на вопросы и другие

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_207

🔠 Какие результаты достигает SpanBERT в задачах извлечения ответов на вопросы (Question Answering, QA)?

- На SQuAD v1.1 SpanBERT достигает F1 score в 91.98, что является улучшением по сравнению с базовым показателем BERT, который составляет 85.49.
- В сравнении с Google BERT, SpanBERT увеличивает F1 score на 3.3%.

Эти результаты показывают, что SpanBERT эффективно улучшает производительность по сравнению с другими моделями BERT, особенно в задачах, где требуется точное выделение и интерпретация текстовых интервалов.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration

https://www.computerworld.com/article/3712700/italian-watchdog-says-chatgpt-breached-data-privacy-norms.html

Опять скандал вокруг Open AI, теперь они перешли на заимствование контента )) в грубой форме. Судебные иски вырастают перед их дверьми со скоростью ветра.

На этот раз вляпалась итальянская компания Garante (фирма занимается исследованием соблюдений правил ЕС о конфиденциальности данных различными компаниями и их платформами искусственного интеллекта.), которая обвиняет OpenAI в нарушении норм конфиденциальности данных, установленных ЕС.

OpenAI не ответил на запросы Garante, но получил 30 дней на ответ и подготовку аргументов в свою защиту. Предвидя такой оборот, Garante собрала целевую группы, для окончательного вынесения решения по этому делу. Более того, это далеко не первый случай подобной практики. OpenAI просто забирает контент отовсюду не выплачивая никаких компенсаций правообладателям.

Mozilla сокращает штат и переориентируется на внедрение «надежного ИИ в Firefox»

Mozilla планирует сократить инвестиции в ряд продуктов, включая VPN, Relay и Online Footprint Scrubber. Mozilla также закроет Hubs, виртуальный 3D-мир, запущенный в 2018 году и сократит инвестиции в свой экземпляр mozilla.social Mastodon. Увольнения коснутся примерно 60 сотрудников.

👉 Как сообщается во внутреннем меморандуме компании, Mozilla сосредоточится на внедрении «надежного ИИ в Firefox». Для этого будут объединены команды, работающие над Pocket, Content и AI/Ml.

В последние годы Mozilla начала расширять свой портфель продуктов, в то время как ее флагманский продукт, браузер Firefox, продолжал терять долю рынка. И хотя организацию часто подвергали за это резкой критике, ее руководство утверждало, что диверсификация портфеля продуктов необходима для обеспечения выживания Mozilla в долгосрочной перспективе. В конце концов, Firefox обеспечивал подавляющую часть доходов Mozilla, но это также означало, что организация по существу зависела от сделок с Google.

Теперь похоже, что Mozilla может снова собирается переориентироваться на Firefox, что наверняка порадует многих поклонников браузера.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_208

🔠 Какие библиотеки и инструменты могут использоваться для создания и настройки генераторов фичей?

- Featuretools: Featuretools — это библиотека, которая автоматически генерирует новые признаки из ваших данных. Она может автоматически создавать временные признаки, агрегировать данные и многое другое.

- Category Encoders: Это библиотека для кодирования категориальных переменных в числовые значения, которая предлагает различные методы, такие как OneHotEncoder, OrdinalEncoder и TargetEncoder.

- Statsmodels: Эта библиотека предоставляет статистические модели и методы для работы с временными рядами, что может быть полезно при создании временных признаков.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_209

🔠Какие методы кодирования категориальных переменных можно использовать с помощью Category Encoders? (Часть_1)

- BackwardDifferenceEncoder: Кодирует категории, используя разницу между категорией и предыдущей категорией.
- BaseNEncoder: Кодирует категории, используя кодирование в основание N.
- BinaryEncoder: Кодирует категории в бинарный формат.
- CatBoostEncoder: Кодирует категории с использованием CatBoost.
- CountEncoder: Кодирует категории, используя количество наблюдений каждой категории.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration