Оперативно запилили статейку на хабре про вчерашний блекаут, очень шустро ;)) https://habr.com/ru/news/790188/

👍Был сегодня на ивестиционом форуме. В целом, ничего нового, все покупают недвижку и вкладываются в нее (даже как-то скучно немного стало). На вопрос, кто использует в своей работе AI, было 2.5 руки, в том числе и ваш покорный слуга отличился в этом. То есть купить и сдавать выгоднее, чем рисковать и разрабатывать. В целом все копят, и активно скупают все средиземноморье. Даже Дубаи уже не в почете уже.

👍Больше всего, я хотел оценить публику и понять как общаться с потенциальными инвесторами и на, что они смотрят, что их может заинтересовать и как с ними разговаривать. Очень ценный навык и понимание при ведении бизнес-переговоров. Всем кто занимается аналитикой, бизнес-анализом, маркетингом, сквозной аналитикой, очень рекомендую такие посещать тусовки. В целом много было знакомо, так как по работе сталкиваюсь с такими людьми, но тут было сразу много разных типажей.

👍Мне больше всего было интересно посмотреть на презентацию одной компании, которая занимается аналитикой для селлеров WB. Они "запили" интересный инструмент по аналитике для продаж. Чтобы по кнопке все работало, и было максимально клиенто-ориентировано. Все остальное на данном этапе развития было не особо интересно.

👍 Интересное открытие для себя сделал, на IT конференциях в отличие от инвесторских, уважение в целом намного больше друг к другу, чем на таких. Было очень необычно видеть, как конференцию 2-3 раз тормозят, так кто-то очень шумно, что-то обсуждает и в целом создает впечатление, что это так все, а о чем там "трепится" докладчик, вообще все равно. Отличный опыт.

Китай перешел на собственные автоматизированные системы в портах

Новый терминал открылся в декабре прошлого года в порту Циндао (провинция Шаньдун).

Автоматизированные контейнерные терминалы, которые работают с грузами без участия людей, требуют сложного ПО. Группа проекта разработала более 28 тыс. компонентов аппаратного и программного обеспечения. В группу входили 30 человек, а также 20 китайских производственных компаний.

Первый автоматизированный терминал в КНР начал работу в Циндао в 2017 году. Тогда использовалось иностранное программное обеспечение.

По данным Министерства транспорта КНР, в настоящее время в стране действуют 18 автоматизированных терминалов в различных портах. Еще 27 строятся или находятся на стадии реконструкции.

Для сравнения, в США только 4 из 350 портов автоматизированы, во многом это связано с работой профсоюзов.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_197

🔠 Как устроен декодер Transformers ? (Часть_1)

Декодер в архитектуре Transformers используется в задачах генерации текста, машинного перевода и других подобных задачах. Он выполняет обратную операцию по сравнению с энкодером и помогает генерировать последовательности на основе закодированного контекста.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#database #performance #optimization #indexing #query optimization #data normalization #database configuration #data caching #scaling #data storage

👍Чем больше шеров и лайков, тем больше полезного контента я буду выкладывать.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_197

🔠 Как устроен декодер Transformers ? (Часть_2)

Декодер в Transformers состоит из нескольких блоков декодирования, которые могут быть идентичными или схожими с блоками кодирования в энкодере. Каждый блок декодирования обычно состоит из нескольких слоев самовнимания (self-attention) и позиционно-сетевой передачи (feed-forward).

Слои самовнимания позволяют декодеру фокусироваться на различных частях входной последовательности, а слои позиционно-сетевой передачи позволяют модели агрегировать информацию и генерировать последовательность на выходе.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#database #performance #optimization #indexing #query optimization #data normalization #database configuration #data caching #scaling #data storage

👍Чем больше шеров и лайков, тем больше полезного контента я буду выкладывать.

OpenCell ID – открытая база с местоположениями вышек сотовой связи.

https://opencellid.org/#zoom=8&lat=37.778&lon=-122.42

WiFi map – найдет и покажет доступные бесплатные Wifi-точки в вашем городе. За пароль от точек требует премиум подписка, однако большинство этих точек общедоступны.
Города вводите на английском языке.

https://www.wifimap.io/

Данный ресурс выдает точную дату и время загрузки видео в TikTok по его URL-адресу.

https://bellingcat.github.io/tiktok-timestamp/

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_197

🔠 Как устроен декодер Transformers ? (Часть_3)

В отличие от энкодера, декодер также использует дополнительное самовнимание, называемое "маскированным самовниманием" (masked self-attention). Маскированное самовнимание гарантирует, что модель не имеет доступа к будущим токенам во время генерации и может использовать только текущие и предыдущие токены для прогнозирования следующего.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#database #performance #optimization #indexing #query optimization #data normalization #database configuration #data caching #scaling #data storage

👍Чем больше шеров и лайков, тем больше полезного контента я буду выкладывать.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_197

🔠 Как устроен декодер Transformers ? (Часть_4)

В процессе генерации декодер применяет блоки декодирования последовательно к входной последовательности с маскированным самовниманием, чтобы генерировать выходную последовательность.

Обычно декодер также использует эмбеддинги токенов на входе и включает механизм внимания (attention), который помогает модели сконцентрироваться на важных частях контекста при генерации каждого токена.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#database #performance #optimization #indexing #query optimization #data normalization #database configuration #data caching #scaling #data storage

👍Чем больше шеров и лайков, тем больше полезного контента я буду выкладывать.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_197

🔠 Как устроен декодер Transformers ? (Часть_5)

Кроме того, в декодере может быть добавлен механизм генерации (generation mechanism), такой как softmax или beam search, для выбора следующего токена на основе вероятностей, предсказанных моделью.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#database #performance #optimization #indexing #query optimization #data normalization #database configuration #data caching #scaling #data storage

👍Чем больше шеров и лайков, тем больше полезного контента я буду выкладывать.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_198

🔠 Что такое TransformerXL ? (Часть_1)

TransformerXL (или Transformer-XL) - это модификация архитектуры Transformer, предложенная в 2019 году разработчиками из OpenAI. TransformerXL был разработан для решения проблемы ограниченной длины контекста, с которой сталкиваются стандартные модели Transformer при обработке длинных последовательностей.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#database #performance #optimization #indexing #query optimization #data normalization #database configuration #data caching #scaling #data storage

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_198

🔠 Что такое TransformerXL ? (Часть_2)

В стандартной архитектуре Transformer, как правило, используется фиксированный размер контекста, который ограничивает способность модели учитывать более длинные зависимости в данных. TransformerXL вводит два новых механизма для расширения контекста и улучшения моделирования длинных последовательностей:

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#database #performance #optimization #indexing #query optimization #data normalization #database configuration #data caching #scaling #data storage

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_198

🔠 Что такое TransformerXL ? (Часть_3)

Механизм относительного внимания (Relative Attention): В стандартном внимании Transformer используется абсолютная позиционная кодировка для определения расстояния между токенами. Однако в TransformerXL используется относительная позиционная кодировка, которая позволяет модели учитывать относительные расстояния между токенами, а не только абсолютные. Это позволяет модели обрабатывать более длинные контексты, не сталкиваясь с ограничениями фиксированного размера.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_198

🔠 Что такое TransformerXL ? (Часть_4)

Механизм памяти (Memory Mechanism): Вместо того, чтобы использовать только текущий контекст для предсказания следующего токена, TransformerXL сохраняет скрытое состояние модели на каждом шаге и использует его в качестве дополнительной памяти, которая может быть доступна для будущих шагов. Это позволяет модели учитывать дальние зависимости и обрабатывать длинные последовательности.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_199

🔠 Что такое XLNet ?

XLNet - это модель языкового представления, представленная в 2019 году командой Google Research. Она основана на архитектуре Transformer и предназначена для решения задачи обучения без учителя, такой как языковое моделирование.

Основная идея XLNet состоит в том, чтобы учитывать все возможные перестановки токенов во входной последовательности при обучении модели. В отличие от моделей, таких как GPT (Generative Pre-trained Transformer), которые используют авторегрессионный подход и предсказывают следующий токен в последовательности, XLNet применяет перестановку токенов и моделирует вероятность каждой перестановки.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_199

🔠 Что такое XLNet ? (Часть_2)

Вот основные особенности XLNet:

Перестановка токенов: Вместо прогнозирования следующего токена в последовательности, XLNet моделирует вероятность для всех возможных перестановок входных токенов. Это позволяет модели учитывать контекст из всех токенов в последовательности, а не только из предшествующих токенов.

Метод маскирования: XLNet использует метод маскирования, похожий на BERT (Bidirectional Encoder Representations from Transformers), чтобы модель не имела информации о будущих токенах при обучении и предсказывала каждый токен только на основе доступных контекстных токенов.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_199

🔠 Что такое XLNet ? (Часть_3)

Вот основные особенности XLNet:

Интеграция сегментных и позиционных векторов: В XLNet используются сегментные и позиционные векторы, аналогично другим моделям Transformer, чтобы модель могла различать различные сегменты входных данных и учитывать их позицию в последовательности.

Многошаговая обучающая процедура: XLNet использует многошаговую процедуру обучения, включающую прямое и обратное моделирование перестановок токенов, чтобы модель могла захватывать как локальные, так и глобальные зависимости в данных.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_200

🔠Что такое BART ?

BART (Bidirectional and Auto-regressive Transformer) - это модель глубокого обучения, представленная в 2019 году командой Facebook AI Research. Она основана на архитектуре Transformer и используется для решения задач обработки естественного языка, включая машинный перевод, суммаризацию текста и генерацию текста.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_200

🔠Что такое BART ? (Часть_2)

Основная идея BART состоит в комбинировании двух методов: авторегрессионного моделирования и обратного перевода. BART обучается предсказывать целевую последовательность текста, используя авторегрессионный подход, где модель генерирует следующий токен на основе предыдущих токенов. Однако, в отличие от других авторегрессионных моделей, BART также использует обратное моделирование, где модель пытается восстановить исходный текст из зашумленной версии.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#DeepLearning #NeuralNetworks #NaturalLanguageProcessing #SequenceModeling #ModelArchitecture #LongRangeDependencies #TextGeneration