DenoiseLAB
486 subscribers
1.33K photos
159 videos
3 files
1.57K links
Блог DenoiseLAB (машинное обучение, аналитика)

Информация в канале служит только для ознакомления и не является призывом к действию. Не нарушайте законы РФ и других стран. Мы не несем отвественность за ваши действия или бездействия.
Download Telegram
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_194

🔠 Какие типы индексов можно создавать в базе данных ? (Часть_6)

Битовый индекс (Bitmap Index): Битовый индекс используется для индексации столбцов, содержащих ограниченное количество дискретных значений (например, да/нет или мужской/женский). Битовый индекс представляет каждое возможное значение в виде битовой маски, что обеспечивает эффективный поиск и фильтрацию по таким столбцам.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#database #performance #optimization #indexing #query optimization #data normalization #database configuration #data caching #scaling #data storage

👍Чем больше шеров и лайков, тем больше полезного контента я буду выкладывать.
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_195

🔠 Можно ли создавать несколько кластерных индексов в одной таблице ?

Нет, в обычных реляционных базах данных нельзя создать несколько кластерных индексов в одной таблице. Кластерный индекс определяет физический порядок хранения данных в таблице, и каждая таблица может иметь только один кластерный индекс.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#database #performance #optimization #indexing #query optimization #data normalization #database configuration #data caching #scaling #data storage

👍Чем больше шеров и лайков, тем больше полезного контента я буду выкладывать.
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_195

🔠 Можно ли создавать несколько кластерных индексов в одной таблице ? (Часть_2)

Однако в некоторых базах данных, таких как Microsoft SQL Server с функциональностью под названием "строковая сегментация" (table partitioning), можно создать разделенный кластерный индекс (partitioned clustered index). В этом случае таблица разбивается на отдельные сегменты, и в каждом сегменте может быть свой кластерный индекс. При этом общая структура таблицы остается единым целым.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#database #performance #optimization #indexing #query optimization #data normalization #database configuration #data caching #scaling #data storage

👍Чем больше шеров и лайков, тем больше полезного контента я буду выкладывать.
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_195

🔠 Можно ли создавать несколько кластерных индексов в одной таблице ? (Часть_3)

Если вам требуется иметь несколько различных физических порядков данных в одной таблице, то можно использовать некластерные индексы. Некластерные индексы позволяют создавать отдельные структуры данных для эффективного выполнения операций поиска, сортировки и фильтрации, не затрагивая физический порядок хранения записей в таблице.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#database #performance #optimization #indexing #query optimization #data normalization #database configuration #data caching #scaling #data storage

👍Чем больше шеров и лайков, тем больше полезного контента я буду выкладывать.
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_196

🔠 Можно ли создавать несколько кластерных индексов в одной таблице ? (Часть_1)

В PostgreSQL не существует встроенной функциональности "строковой сегментации" (table partitioning) для создания разделенных кластерных индексов, как в Microsoft SQL Server. В PostgreSQL можно создавать только один кластерный индекс на таблицу.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#database #performance #optimization #indexing #query optimization #data normalization #database configuration #data caching #scaling #data storage

👍Чем больше шеров и лайков, тем больше полезного контента я буду выкладывать.
👍3
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_196

🔠 Можно ли создавать несколько кластерных индексов в одной таблице ? (Часть_2)

Однако PostgreSQL предоставляет другие возможности для организации данных и оптимизации производительности. Вместо разделения таблицы на сегменты с разными кластерными индексами, можно использовать следующие подходы:

1. Некластерные индексы (Non-clustered Indexes): Создание некластерных индексов на таблице позволяет эффективно выполнять операции поиска, сортировки и фильтрации данных. Некластерные индексы не определяют физический порядок хранения данных, но предоставляют отдельную структуру данных для ускорения запросов.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#database #performance #optimization #indexing #query optimization #data normalization #database configuration #data caching #scaling #data storage

👍Чем больше шеров и лайков, тем больше полезного контента я буду выкладывать.
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_196

🔠 Можно ли создавать несколько кластерных индексов в одной таблице ? (Часть_3)

Частичное индексирование (Partial Indexing): PostgreSQL поддерживает частичное индексирование, которое позволяет создавать индексы только для подмножества данных в таблице. Это может быть полезно, если вам требуется оптимизировать выполнение запросов только для определенного диапазона значений или условий.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#database #performance #optimization #indexing #query optimization #data normalization #database configuration #data caching #scaling #data storage

👍Чем больше шеров и лайков, тем больше полезного контента я буду выкладывать.
👍2
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_196

🔠 Можно ли создавать несколько кластерных индексов в одной таблице ? (Часть_4)

Горизонтальное разделение данных (Horizontal Partitioning): Вместо создания разделенных кластерных индексов можно разделить данные на отдельные таблицы или схемы в зависимости от некоторого критерия, такого как временной период, регион или другие атрибуты. Затем можно создать кластерные индексы на каждой отдельной таблице или схеме для оптимизации запросов в пределах каждого раздела.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#database #performance #optimization #indexing #query optimization #data normalization #database configuration #data caching #scaling #data storage

👍Чем больше шеров и лайков, тем больше полезного контента я буду выкладывать.
https://github.com/jivoi/awesome-osint - невероятно мощный пак по инструментам OSINT для аналитики, разведывательного анализа данных, поиска информации.
Коротко, о работе, в разных департаментах )) ML - департамент - оно считается ))))
😁3
🔤Новости, мнения, тренды ИИ. Ежедневный выпуск: 28/01/2024

👉"Илон Маск увеличивает вычислительную мощность Twitter, чтобы соревноваться с другими компаниями в области ИИ"

В целом ситуация, более чем прозаичная, на фоне того, что сейчас идет бурный рост ИИ и по оценкам экспертов, мы сейчас даже не на гребне волны, а на самом ее пороге ситуация с Теслой и игрушками Маска начинает закручиваться все острее.

Так на недавнем корпоративном совещании Маск призвал своих работников трудится круглосуточно, так как Китай уже не то, что наступает на пятки по электромобилям, а уверенно и даже в крейсерском режиме обгоняет всех и вся. А это потенциальные разработки и новые введения. Так например по исследованиям Deep Mind, было сгенерировано порядка 2.2 млн новых материалов для электромобилей, солнечных батарей и других приложений. Из них 380 тыс. являются стабильными.

США отчаянно нуждается в новых рабочих руках, отсюда и мягкая политика по отношению к мигрантам. То же заявляет и Макс, так как согласно конституции США сейчас принимается закон, позволяющий сократить срок рассмотрения документов на пребывание в США с 10 лет до полугода. Битва за кадры становится все ожесточеннее.
Please open Telegram to view this post
VIEW IN TELEGRAM
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_196

🔠 Можно ли создавать несколько кластерных индексов в одной таблице ? (Часть_5)

Горизонтальное и вертикальное масштабирование (Sharding): Если вам требуется масштабирование базы данных на несколько узлов, можно использовать горизонтальное разделение данных (sharding), при котором данные разбиваются на несколько физических узлов. В этом случае каждый узел может иметь свою собственную копию таблицы с кластерным индексом.

https://boosty.to/denoise_lab/donate - поддержать наш канал.

#database #performance #optimization #indexing #query optimization #data normalization #database configuration #data caching #scaling #data storage

👍Чем больше шеров и лайков, тем больше полезного контента я буду выкладывать.
🔤Новости, мнения, тренды ИИ. Ежедневный выпуск: 29/01/2024

👉Новость: К 2025 году Минобрнауки планирует переход к централизованному планированию всех НИОКР и технологических работ, которые выполняются за бюджетные деньги. Сделают это на базе единой цифровой системы. Власти не удовлетворены текущим уровнем внедрения результатов научно-исследовательских работ. Проблема в том, что отсутствует связь между расходами на исследования и приоритетами научно-технологического развития.

Мнение: Исследования это рискованный бизнес, на него всегда существует статистика по расходам, если направление дает 30%-40% профита, в него уже будут вкладываться и чтобы дотянуть его до 50% и выше. Мы не берем в расчет приоритетные области, которые развивают несмотря на любой процент.

Кроме того, есть фундаментальная наука, которая не приносит профита, но двигает всю науку в целом. Тут говориться о прикладных исследованиях, они должны окупаться иначе финансирования не будет.

Другими словами науку перестраивают на рельсы и методику фриланса, у успешного фрилансера 95% заказов внедренные и заказчик доволен. Вот к такому все ведут. Мера работала отлично в советском союзе, где ценность исследования имела вес.

Я давно консультирую по вопросам разработки научных изысканий по аналитике и машинному обучению и в вузах этот тренд все больше проявляется. Начиная с самых ранних работ бакалаврской диссертации и выше. Более того, снова поднимается тренд, на значимость защиты.

По итогам 2023 года Россия показала самый низкий процент защиты кандидатских и докторских диссертаций. Поэтому активно взялись за науку. Так что отсидеться больше не получится и за любые средства придется не просто отчитываться и показывать результат.
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
🔤🔤Ролик полностью сделан нейросетью. Видно, конечно, что местами плывет все, но качество просто поражает, невероятно круто.

🔤🔤Скоро такие ролики в реалтайме будут клепать. На бекстеджи, или между сценами, прям, вообще будет "залетать" на ура.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3❤‍🔥2
👋Уважаемые коллеги!!!

🔥https://habr.com/ru/companies/vtb/articles/790026/ - опубликовали мою статью по заказу ВТБ и Хабр.ру.

🆒Работа была такая, под эгидой ВТБ и других крупных игроков рынка: производства, науки и банковского сектора (Роскосмос, Ростех, МИСиС, МФТИ, Газпром, РусГидро и т.д.) проводился конкурс для школьников "Сириус" под государственной программой "Большие вызовы" https://bigchallenges.ru/. По данной программе школьники разрабатывали MVP под различные реальные задачи бизнеса и вообще учились коммуницировать с заказчиками и вливаться в тему больших исследований.

🆒Мне необходимо было провести интервью с представителями банка ВТБ, и собрать максимум информации о данному конкурсу, решаемых задачах, инструментах, организации и составе команды. На это отводилось 1 час. Интервью я проводил с коллегами с управляющим редактором Хабр.ру. По ходу разговора, я записывал все ключевые моменты, которые надо отразить в будущей статье, которую мне необходимо было написать.

🆒После этого была выдана дополнительная запись с разговором о задаче от самих участников, группы школьников и все необходимые материалы по самому проекту. Мне необходимо было написать тезисы, далее составить черновик (все это сделали за неделю до нового года, очень оперативно) и после нового года сдать чистовик. Я сдал его как условились. Были небольшие правки, которые я очень оперативно поправил. В итоге статья вышла в свет и заняла свое достойное место.

🆒Советую с ней ознакомиться и прилагаю все справочные материалы. Благодарю ВТБ и Хабр.ру за предоставленную возможность.

https://bigchallenges.ru/projects2023/geo_analitika
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4
🅰️🔤🔤Генерация по простому промпту выходит на новый уровень, в целом очень простой промт ("Interior selfie of a tattooed woman with silver hair and piercings, shot on a low camera quality phone") дает весьма реалистичное качество.

🔤🔤🔤Даже особо не надо накручивать ничего, как прежде прописывать как рендерить, какой свет использовать, какой кадр, какая пленка и какими инструментами пользоваться. В целом получается отличное качество.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2