Цифровизируй это
1.62K subscribers
239 photos
4 videos
944 links
На этой площадке мы, команда VK Tech, собираем экспертные комментарии по текущей цифровой повестке, выясняем, что сейчас волнует бизнес, и выносим это на обсуждение.| tech.vk.com
Download Telegram
Как понять, что нейросеть решит вашу проблему

Перевод статьи-рассуждения на тему «Какие проблемы нейросеть способна решить на практике?». Автор утверждает, что если взять конкретную проблему, то часто можно с уверенностью ответить: сможет ли нейросеть решить ее. Для этого достаточно взглянуть на исходные данные и саму задачу.

Правило 1: Нейронная сеть почти наверняка решит проблему, если ее уже решил другой алгоритм ML. Если проблему можно решить каким-то из существующих методов машинного обучения, то относительно универсальная нейронная сеть после значительного увеличения параметров тоже сможет ее решить.

Правило 2: Нейронная сеть почти наверняка решит проблему, очень похожую на те, что уже решены. Британский зоомагазин со специализацией на попугаях может использовать модель американского зоомагазина со специализацией на рептилиях. Данные достаточно похожи, чтобы использовать их для обучения.

Правило 3: Нейросеть способна решить те же задачи, что может решить человек с небольшими точками данных и почти без контекста. Допустим, человеку показывают черно-белые изображения двух объектов 20×20 пикселей. Он видит их впервые, но очевидно что объекты отличаются друг от друга. Разумно предположить, что при наличии обучающих примеров человек научится их различать достаточно хорошо. Также разумно предположить, что после кучи примеров почти любая нейросеть с миллионами параметров справится не хуже человека.

Правило 4: Нейронная сеть может решить проблему, если она детерминирована, есть релевантный контекст для входных данных и данные достаточно малы. По опыту автора, даже очень простая модель способна узнать нечто значимое о свертывании белка. Если задано достаточно параметров, то после нескольких часов обучения на RTX2080 она делает предположения лучше случайных и достаточно часто попадает в пределы 1% от фактического положения атомов.
Учить или хантить: как IT-компании нанять сотрудников и не пожалеть об этом

Средняя медианная зарплата в IT уже более 100 000 рублей, а кадровые агентства рассказывают о вакансиях с зарплатой в миллион. Но разработчиков по-прежнему не хватает. В такой ситуации есть два выхода: хантить опытных специалистов или обучать новичков.

Мы поговорили с руководителями и HR-специалистами разных компаний и выяснили, в каких ситуациях стоит выбирать тот или иной вариант.

Нанимать middle- или senior-разработчиков стоит, если это выгоднее. Посчитайте, сколько денег и времени потребуется, чтобы junior стал хотя бы middle-разработчиком. Затем узнайте, во сколько обойдется переманивание middle и сравните результаты. Искать сотрудника с опытом стоит, если потенциально это выгоднее, чем поиск и обучение новичка.

Сначала лучше схантить senior-разработчиков, а затем учить новичков. Вырастить специалиста внутри компании можно, только если на это есть ресурсы. Речь идет не только о деньгах, но и о специалистах, готовых стать менторами. Появление в команде junior-ов отвлекает профессионалов от работы, ведь их основная задача — разработка, а не обучение.

Затраты на хантинг оправданы, если проект быстро растет. Если у вас стартап, то вы скорее разоритесь, чем обучите junior-ов и создадите новый продукт. Поэтому на первых этапах — только хантинг.

Обучать стажеров стоит, если сможете найти мотивированных. Учить сотрудников стоит, если удастся набрать достаточно мотивированных стажеров. Проблема с новичками в том, что они часто сомневаются в своих стремлениях. В поисках себя они могут перейти из фронтенда в бэкенд, а затем в мобильную разработку.

Учить junior-разработчиков придется, если компании постоянно нужны новые специалисты. Крупные компании могут хантить опытных разработчиков, но в какой-то момент рынок иссякнет. И не остается ничего другого, кроме обучения новичков. Если компании нужно набрать 100 senior-разработчиков в конкретной отрасли, то хантинг может растянуться на годы.

Подробнее
Zabbix: универсальная система мониторинга всего на свете

Zabbix — армейский швейцарский нож крутого администратора. Он позволяет собирать данные о состоянии чего угодно — от сетевых соединений до ключевых бизнес-метрик продукта. В статье разбираемся, что может Zabbix и зачем его используют.
Бесплатная школа Kubernetes для разработчиков

Mail․ru Cloud Solutions, Слёрм и Intel запускают бесплатную вечернюю школу Kubernetes для разработчиков. Курс ведут DevOps-инженеры, которые помогут разработчикам освоить Kubernetes и работу с DevOps-инструментами.

Зная Kubernetes, разработчик лучше понимает, как работает его приложение в кластере, а значит, быстрее решает задачи и меньше зависит от DevOps-инженеров. На курсе вы познакомитесь с архитектурой Kubernetes, научитесь разворачивать кластер и деплоить в него приложения, создадите и настроите CI/CD-пайплайн.

Обучение начнется 1 октября и продлится до 21 декабря. Занятия проходят два раза в неделю в двух форматах: онлайн-лекции и практические задания. Лекции доступны в записи, а практику можно выполнять в любое время.

Регистрация на обучение уже открыта, но заявки принимают до конца октября. Ничего страшного, если вы не сможете начать учебу 1 октября. Можно присоединиться чуть позже и посмотреть пропущенные лекции в записи.

Записаться
Банк «Открытие» оптимизирует издержки на поддержку сайта благодаря МегаФону и Mail․ru Cloud Solutions

🏢 О компании. «Открытие» — универсальный банк, у которого более 500 офисов почти во всех регионах страны. На сайте банка open․ru много активных сервисов — заявки на потребительские и ипотечные кредиты, выпуск пластиковых карт, запись на посещение офисов.

🤔 Проблема. Ранее, для размещения сайта, банк использовал облачный сервис другого крупного провайдера. Но на этой площадке не было возможности быстрого развертывания мощностей по запросу. Также было невозможно использовать контейнерную сборку приложений для упрощения и ускорения рабочего процесса.

👍 Решение. Банк разместил сайт в «Деловом облаке» МегаФона, построенном на базе платформы Mail․ru Cloud Solutions. В результате возросли стабильность и доступность сервисов, сократились затраты на поддержку и администрирование.

Читать статью
На что обратить внимание при выборе провайдера Kubernetes
Небольшой чек-лист самых основных моментов, на которые нужно обратить внимание при выборе провайдера Kubernetes.

Функциональность сервиса. Советуем выяснить, какие возможности провайдер предлагает «из коробки». В первую очередь это способ хранения данных, масштабирование, балансировка нагрузки, безопасность, организация сетей. Все, что отсутствует в коробочном решении, вам, вероятно, придется настраивать самостоятельно.

Совместимость со стандартными инструментами Kubernetes. Нужно проверить, поддерживает ли провайдер интеграцию с другими приложениями экосистемы K8s. Например, приложения для мониторинга, CI/CD, Service Mesh и другие инструменты.

Возможность подключения других сервисов провайдера. Обратите внимание на возможность использования дополнительных сервисов платформы. Например, можно подключить S3 и DBaaS для хранения данных Stateful-приложений.

Сертификация CNCF. Подтверждает то, что сервис отвечает всем функциональным требованиям сообщества CNCF и совместим со стандартным Kubernetes API.

Техническая поддержка. Как организована поддержка, бесплатна ли она, оказывает ли провайдер помощь в миграции данных.
Читать статью
Какой пет-проект написать junior-разработчику, чтобы сразу получить работу
Проекты junior-разработчика говорят о его способностях больше, чем резюме. Если вы придумали подходящий проект и защитили его на собеседовании — можете получить работу, несмотря на отсутствие опыта. Мы узнали у работодателей, на что обратить внимание при работе над пет-проектом.
Читать статью
Преимущества файловой системы ZFS

ZFS — это симбиоз файловой системы и менеджера томов, которая предоставляет инструменты для простого управления дисковым массивом. В карточках — основные преимущества системы ZFS, а в статье — полный разбор архитектуры, особенностей и отличий от других файловых систем.
Читать статью
Что такое DNS: три буквы, на которых держится интернет

DNS — технология, которая позволяет получать доступ к сайтам, не вводя сложный IP-адрес, а просто набрав в строке браузера запоминающееся имя сайта. В статье рассказываем, как в целом работает технология.
Читать статью
Пять важных фактов про анализ неструктурированных данных

Рассказываем, чем отличаются структурированные и неструктурированные данные, как лучше работать с данными без структуры и почему об этом нужно задуматься уже сейчас.

👉 Факт 1: у неструктурированных данных все-таки есть структура. Как бы странно это ни звучало, но у неструктурированных данных все-таки есть структура, просто она слишком сложна или неочевидна. Поэтому неструктурированные данные корректнее называть «данными, плохо подготовленными для машинной обработки».

👉 Факт 2: неструктурированных данных очень много. Неструктурированные данные найти куда проще, чем структурированные. Например, книга — внутри нее есть страницы и главы, но машинам сложно обработать текст и извлечь из книги какую-то пользу. Неструктурированные данные — это и данные о работе автомобильных двигателей, страницы в интернете, наблюдения за звездами, фотографии с камер безопасности, и даже этот пост.

👉 Факт 3: преимущества использования неструктурированных данных. Польза от работы с неструктурированными данными есть всегда. Она может быть разной — новые технологии, экономия денег или ускорение процессов. Например, попытки проанализировать тексты из книг и сайтов привели к созданию семантических алгоритмов, понимающих смыслы. А попытки проанализировать параметры двигателей самолетов привели к системе предсказания неисправностей в турбинах.

👉 Факт 4: для работы с неструктурированными данными нужны особые методы. Структурированные и неструктурированные данные обрабатывают и анализируют по-разному. Классические компьютерные алгоритмы бесполезны при работе с неупорядоченными данными. Поэтому существуют отдельные типы инструментов, созданные специально на этот случай.

👉 Факт 5: всем нужно быть готовыми к работе с неструктурированными данными. По мере развития технологий, из упорядоченных данных извлекается вся возможная польза, а количество неупорядоченных данных растет. Если этот тренд будет продолжаться, уже скоро эти два процесса приведут к тому, что все задачи по поиску новых решений сведутся к обработке и анализу неструктурированных данных.
Читать статью
Главные принципы организации объектных хранилищ

Объектные хранилища более масштабируемые, отказоустойчивые и надежные, чем параллельные файловые системы. Кроме того, у них ошеломляющая пропускная способность для некоторых рабочих нагрузок. Все это достигается за счет отказа от файлов и каталогов.

Мы перевели хорошую статью об общих особенностях и ограничениях объектных хранилищ.
Читать статью
Как «VK Работа» выдерживает нагрузки в миллионы пользователей

🏢 О компании. «VK Работа» помогает соискателям находить работу, а компаниям — искать новых сотрудников. Специализация сервиса — линейный персонал, то есть рабочие специальности в сфере строительства, торговли, доставки, ресторанного бизнеса и других сфер.

🤔 Проблема. В начале создания проекта серверы находились в дата-центре, и этого хватало. Но когда сервис начал активно развиваться, это привело к кратному увеличению нагрузки. А решать задачи масштабирования на базе традиционной инфраструктуры не так просто.

👍 Решение. Сервис мигрировал на облачную платформу Mail․ru Cloud Solutions, и в процессе выстроил практически полностью новую инфраструктуру в облаке. Она вышла на новый уровень по способности выдерживать большие нагрузки, и по функционалу, и по возможностям разработки, тестирования и выкатки новых сервисов.

Полный кейс смотрите на нашем сайте
Читать статью
Как усилить производство c помощью IoT, предиктивной аналитики и цифровых двойников

Крупные предприятия стремятся сделать производство более эффективным: оптимизировать процессы, сокращать затраты и внедрять инновации, а для этого нужно постоянно совершенствовать IT-системы. Один из вариантов — использовать комплексные IoT-решения, позволяющие посмотреть на производственные процессы как на единое целое. Рассказываем, какие IoT-технологии усилят производство и помогут эффективно использовать весь объем данных крупного предприятия.
Читать статью
Шесть примеров использования IaaS

В посте рассказываем об основных способах применения IaaS, а по ссылке — объясняем разницу между IaaS, PaaS и SaaS.

👉 Перенос IT-систем в облако. Самое очевидное применение IaaS — отказ от физических серверов и перенос инфраструктуры в облако. С IaaS можно делать все то же, что с физическим оборудованием — хранить данные, настроить CRM-систему, развернуть сайт или любые бизнес-серверы.

👉 Экономия на инфраструктуре. Если обслуживать серверы самостоятельно, нужно платить за помещение и оборудование — это большие капитальные расходы. Если собственный ЦОД для компании это не профильный бизнес или у нее нет соответствующей экспертизы — тогда дешевле и проще развернуть инфраструктуру в облаке.

👉 Расширение инфраструктуры. Облачные технологии IaaS можно использовать для расширения уже существующей инфраструктуры. К примеру, у компании есть физические серверы, но их мощности не хватает для новых задач. Вместо покупки нового оборудования можно подключиться к IaaS-платформе, и получить там нужные мощности.

👉 Инфраструктура для компаний со скачками спроса. IaaS подходит, если у компании нелинейный спрос на ресурсы. Например, в период праздников или распродаж приходит много покупателей, и серверы не выдерживают нагрузки. IaaS позволяет быстро подключить дополнительные мощности, а потом вернуться к обычному потреблению. А в случае обычной физической инфраструктуры нужно докупать дополнительные серверы.

👉 Быстрый запуск бизнеса. IaaS снижает расходы бизнеса на старте, так как помогает уменьшить капитальные вложения, обойтись без закупки оборудования и организации дата-центра.

👉 Разработка и тестирование. В облаке можно мгновенно разворачивать тестовые среды, в отличие от собственной инфраструктуры. После завершения тестов лишние среды можно свернуть и не переплачивать за простаивающие ресурсы. Всё это упрощает и ускоряет процесс тестирования ПО и позволяет экономить на покупке тестовых серверов.

Читать статью
Платформа Mail․ru Cloud Solutions запустила сервис речевых технологий для бизнеса

👉 Cloud Voice — технология распознавания и синтеза речи. Поможет озвучить контент на сайте или в приложении, проанализировать звонки клиентов или добавить голосовое управление в приложение.

👉 Естественное звучание голоса, понятные расшифровки и единый API, не зависящий от стека технологий.

👉 Сервис построен на базе голосового помощника Маруся. Это стабильная и уже протестированная технология, которую теперь можно использовать для развития бизнеса.
Подробнее
10 хитростей и советов по Kubernetes

В интернете много литературы, но иногда самыми ценными становятся самые простые советы. Мы перевели подборку из десяти хитростей и советов, которые автор статьи собрала после года работы с Kubernetes. Советы не отсортированы по важности, но думаем, что каждый найдет что-то полезное для себя.
Читать далее
Что такое M2M: как машины общаются друг с другом и зачем это нужно

Часто встречается мнение, что M2M и IoT — это одно и то же. На самом деле — их не стоит смешивать. Путаница возникает, потому что грань между этими понятиями довольно тонкая, обе технологии используют совместно и иногда сложно отделить одну от другой.

В статье мы расскажем, что такое M2M, чем оно отличается от интернета вещей и зачем используется.
Читать далее