❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_203

🔠Что такое Turing_-NLG ? (Часть_2)

Одно из главных преимуществ Turing-NLG заключается в его способности к контролируемой генерации текста. С помощью подхода, называемого "промпт-инжиниринг" (prompt engineering), пользователи могут задавать системе конкретные инструкции или контекст, чтобы получать желаемые результаты. Например, можно попросить систему продолжить предложение, ответить на вопрос, описать изображение и т.д.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration

https://leader-id.ru/events/484714?id=1755744&access_token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzUxMiJ9.eyJfZXhwaXJlIjoxNzA4NjEzMTEyLCJ1c2VySWQiOjE3NTU3NDQsInJvbGVzIjpbInJlZ2lzdGVyZWQiXSwiYWN0aXZpdGllcyI6e30sImFrIjoiYjdmZTdjOTAtYzY3Zi00YzhlLThjODAtZWVmYzkxOGQiLCJzIjoiZmQ0Y2M3N2MtZmU3Ni00NGMyLTlhMTQtNDIyOGFmN2MwMWQ5In0.AeOwBb1KMDYIyghKnwWkOSBG7E1cy74anL792QUPWNCjWi4r5QggFCI40FSnDe1bXmoA_2BFbgrrzax_yf7huA&network=google
Митап посвящённый Гипотезе Лотерейного Билета в нейросетях

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_204

🔠Что такое ALBERT (A Lite BERT) ? (Часть_1)

ALBERT является уменьшенной версией BERT, которая использует параметризацию параллельного масштабирования и параллельного обучения для уменьшения количества параметров и вычислительной сложности.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_204

🔠Что такое ALBERT (A Lite BERT) ? (Часть_2)

Она использует два ключевых принципа для уменьшения количества параметров и вычислительной сложности:

- Факторизация параметризации эмбеддингов: В ALBERT матрица эмбеддингов разделяется между векторами входного слоя с относительно небольшой размерностью (например, 128), в то время как вектора скрытого слоя используют большие размерности (768, как в случае с BERT'ом, и больше). Это позволяет существенно уменьшить количество параметров проекционного блока, снижая при этом количество параметров на 80%.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_205

🔠Что такое SpanBERT ? (Часть_1)

SpanBERT — это предварительно обученный метод, разработанный для лучшего представления и предсказания интервалов текста. В отличие от BERT, который маскирует случайные токены, SpanBERT маскирует случайные непрерывные интервалы (spans) текста. Кроме того, в SpanBERT используется новый подход к обучению границ интервалов (Span-Boundary Objective, SBO), чтобы модель училась предсказывать весь маскированный интервал, используя только контекст, в котором он появляется.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_205

🔠Что такое SpanBERT ? (Часть_2)

SpanBERT был разработан для улучшения предварительного обучения, так как многие задачи обработки естественного языка (NLP) требуют логического вывода о отношениях между двумя или более интервалами текста.

Например, в задачах извлечения ответов на вопросы (extractive question answering) определение того, что "Denver Broncos" является типом "NFL team", критически важно для ответа на вопрос "Какой NFL команде выиграл Супербоул 50?"

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_205

🔠Что такое SpanBERT ? (Часть_3)

SpanBERT показал значительные улучшения в задачах выбора интервалов, таких как ответы на вопросы и разрешение кореференций, и достиг новых результатов в этих задачах. Например, с теми же данными обучения и размером модели, как у BERT-large, SpanBERT получил 94,6% F1 на SQuAD 1.1 и 88,7% F1 на SQuAD 2.0 соответственно.

Также SpanBERT достиг нового лучшего результата на задаче разрешения кореференций OntoNotes (79,6% F1) и показал хорошую производительность на бенчмарке TACRED для извлечения отношений

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration

WAQI - мировой индекс качества воздуха. Мониторится в режиме реального времени.

https://waqi.info/

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_206

Как SpanBERT использует новый подход к обучению границ интервалов (Span-Boundary Objective, SBO)? (Часть_1)

SpanBERT использует новый подход к обучению границ интервалов (Span-Boundary Objective, SBO) для улучшения представления и предсказания интервалов текста. В отличие от стандартного подхода BERT, который маскирует случайные токены, SpanBERT маскирует случайные непрерывные интервалы (spans) текста.

Это позволяет модели учиться предсказывать весь маскированный интервал, используя только контекст, в котором он появляется, без необходимости полагаться на индивидуальные представления токенов внутри него.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_206

Как SpanBERT использует новый подход к обучению границ интервалов (Span-Boundary Objective, SBO)? (Часть_2)

SpanBERT также использует дополнительную вспомогательную цель обучения — SBO. Этот новый подход предназначен для предсказания всего маскированного интервала, используя только представления токенов на границе интервала. Это позволяет модели сосредоточиться на контексте, который окружает интервал, и улучшает ее способность предсказывать интервалы текста.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration

Незаменимая нейронка для SQL-запросов. Text2sql легко превратит ваш текст в готовый запрос. А если не понимаете, что происходит в запросе — просто закиньте его в специальный раздел и прога подробно его объяснит.

Главная фича — нейронка умеет фиксить ошибки в уже готовых SQL-запросах. Также есть возможность загрузить схему своей базы данных, чтобы ИИ лучше генерила ответы.

Cохраняем себе здесь.

—

@ai_for_web — самые полезные AI-инструменты для веб-мастера

@ai_sklad — а здесь собираем остальные AI-инструменты, удобно разбивая их по категориям.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_206

Как SpanBERT использует новый подход к обучению границ интервалов (Span-Boundary Objective, SBO)? (Часть_2)

SpanBERT также отличается от BERT тем, что использует один непрерывный сегмент текста для каждого обучающего примера, вместо двух, как это делает BERT. Это означает, что SpanBERT не использует цель предсказания следующего предложения BERT, что позволяет сосредоточиться на задачах выбора интервалов, таких как ответы на вопросы.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration