​Как понять, что нейросеть решит вашу проблему

Перевод статьи-рассуждения на тему «Какие проблемы нейросеть способна решить на практике?». Автор утверждает, что если взять конкретную проблему, то часто можно с уверенностью ответить: сможет ли нейросеть решить ее. Для этого достаточно взглянуть на исходные данные и саму задачу.

✅ Правило 1: Нейронная сеть почти наверняка решит проблему, если ее уже решил другой алгоритм ML. Если проблему можно решить каким-то из существующих методов машинного обучения, то относительно универсальная нейронная сеть после значительного увеличения параметров тоже сможет ее решить.

✅ Правило 2: Нейронная сеть почти наверняка решит проблему, очень похожую на те, что уже решены. Британский зоомагазин со специализацией на попугаях может использовать модель американского зоомагазина со специализацией на рептилиях. Данные достаточно похожи, чтобы использовать их для обучения.

✅ Правило 3: Нейросеть способна решить те же задачи, что может решить человек с небольшими точками данных и почти без контекста. Допустим, человеку показывают черно-белые изображения двух объектов 20×20 пикселей. Он видит их впервые, но очевидно что объекты отличаются друг от друга. Разумно предположить, что при наличии обучающих примеров человек научится их различать достаточно хорошо. Также разумно предположить, что после кучи примеров почти любая нейросеть с миллионами параметров справится не хуже человека.

✅ Правило 4: Нейронная сеть может решить проблему, если она детерминирована, есть релевантный контекст для входных данных и данные достаточно малы. По опыту автора, даже очень простая модель способна узнать нечто значимое о свертывании белка. Если задано достаточно параметров, то после нескольких часов обучения на RTX2080 она делает предположения лучше случайных и достаточно часто попадает в пределы 1% от фактического положения атомов.

​Учить или хантить: как IT-компании нанять сотрудников и не пожалеть об этом

Средняя медианная зарплата в IT уже более 100 000 рублей, а кадровые агентства рассказывают о вакансиях с зарплатой в миллион. Но разработчиков по-прежнему не хватает. В такой ситуации есть два выхода: хантить опытных специалистов или обучать новичков.

Мы поговорили с руководителями и HR-специалистами разных компаний и выяснили, в каких ситуациях стоит выбирать тот или иной вариант.

✅ Нанимать middle- или senior-разработчиков стоит, если это выгоднее. Посчитайте, сколько денег и времени потребуется, чтобы junior стал хотя бы middle-разработчиком. Затем узнайте, во сколько обойдется переманивание middle и сравните результаты. Искать сотрудника с опытом стоит, если потенциально это выгоднее, чем поиск и обучение новичка.

✅ Сначала лучше схантить senior-разработчиков, а затем учить новичков. Вырастить специалиста внутри компании можно, только если на это есть ресурсы. Речь идет не только о деньгах, но и о специалистах, готовых стать менторами. Появление в команде junior-ов отвлекает профессионалов от работы, ведь их основная задача — разработка, а не обучение.

✅ Затраты на хантинг оправданы, если проект быстро растет. Если у вас стартап, то вы скорее разоритесь, чем обучите junior-ов и создадите новый продукт. Поэтому на первых этапах — только хантинг.

✅ Обучать стажеров стоит, если сможете найти мотивированных. Учить сотрудников стоит, если удастся набрать достаточно мотивированных стажеров. Проблема с новичками в том, что они часто сомневаются в своих стремлениях. В поисках себя они могут перейти из фронтенда в бэкенд, а затем в мобильную разработку.

✅ Учить junior-разработчиков придется, если компании постоянно нужны новые специалисты. Крупные компании могут хантить опытных разработчиков, но в какой-то момент рынок иссякнет. И не остается ничего другого, кроме обучения новичков. Если компании нужно набрать 100 senior-разработчиков в конкретной отрасли, то хантинг может растянуться на годы.

Подробнее

​Zabbix: универсальная система мониторинга всего на свете

Zabbix — армейский швейцарский нож крутого администратора. Он позволяет собирать данные о состоянии чего угодно — от сетевых соединений до ключевых бизнес-метрик продукта. В статье разбираемся, что может Zabbix и зачем его используют.

​Бесплатная школа Kubernetes для разработчиков

✅ Mail․ru Cloud Solutions, Слёрм и Intel запускают бесплатную вечернюю школу Kubernetes для разработчиков. Курс ведут DevOps-инженеры, которые помогут разработчикам освоить Kubernetes и работу с DevOps-инструментами.

✅ Зная Kubernetes, разработчик лучше понимает, как работает его приложение в кластере, а значит, быстрее решает задачи и меньше зависит от DevOps-инженеров. На курсе вы познакомитесь с архитектурой Kubernetes, научитесь разворачивать кластер и деплоить в него приложения, создадите и настроите CI/CD-пайплайн.

✅ Обучение начнется 1 октября и продлится до 21 декабря. Занятия проходят два раза в неделю в двух форматах: онлайн-лекции и практические задания. Лекции доступны в записи, а практику можно выполнять в любое время.

✅ Регистрация на обучение уже открыта, но заявки принимают до конца октября. Ничего страшного, если вы не сможете начать учебу 1 октября. Можно присоединиться чуть позже и посмотреть пропущенные лекции в записи.

Записаться

​Банк «Открытие» оптимизирует издержки на поддержку сайта благодаря МегаФону и Mail․ru Cloud Solutions

🏢 О компании. «Открытие» — универсальный банк, у которого более 500 офисов почти во всех регионах страны. На сайте банка open․ru много активных сервисов — заявки на потребительские и ипотечные кредиты, выпуск пластиковых карт, запись на посещение офисов.

🤔 Проблема. Ранее, для размещения сайта, банк использовал облачный сервис другого крупного провайдера. Но на этой площадке не было возможности быстрого развертывания мощностей по запросу. Также было невозможно использовать контейнерную сборку приложений для упрощения и ускорения рабочего процесса.

👍 Решение. Банк разместил сайт в «Деловом облаке» МегаФона, построенном на базе платформы Mail․ru Cloud Solutions. В результате возросли стабильность и доступность сервисов, сократились затраты на поддержку и администрирование.

Читать статью

​На что обратить внимание при выборе провайдера Kubernetes
Небольшой чек-лист самых основных моментов, на которые нужно обратить внимание при выборе провайдера Kubernetes.

✅ Функциональность сервиса. Советуем выяснить, какие возможности провайдер предлагает «из коробки». В первую очередь это способ хранения данных, масштабирование, балансировка нагрузки, безопасность, организация сетей. Все, что отсутствует в коробочном решении, вам, вероятно, придется настраивать самостоятельно.

✅ Совместимость со стандартными инструментами Kubernetes. Нужно проверить, поддерживает ли провайдер интеграцию с другими приложениями экосистемы K8s. Например, приложения для мониторинга, CI/CD, Service Mesh и другие инструменты.

✅ Возможность подключения других сервисов провайдера. Обратите внимание на возможность использования дополнительных сервисов платформы. Например, можно подключить S3 и DBaaS для хранения данных Stateful-приложений.

✅ Сертификация CNCF. Подтверждает то, что сервис отвечает всем функциональным требованиям сообщества CNCF и совместим со стандартным Kubernetes API.

✅ Техническая поддержка. Как организована поддержка, бесплатна ли она, оказывает ли провайдер помощь в миграции данных.
Читать статью

Какой пет-проект написать junior-разработчику, чтобы сразу получить работу
Проекты junior-разработчика говорят о его способностях больше, чем резюме. Если вы придумали подходящий проект и защитили его на собеседовании — можете получить работу, несмотря на отсутствие опыта. Мы узнали у работодателей, на что обратить внимание при работе над пет-проектом.
Читать статью

​Что такое DNS: три буквы, на которых держится интернет

DNS — технология, которая позволяет получать доступ к сайтам, не вводя сложный IP-адрес, а просто набрав в строке браузера запоминающееся имя сайта. В статье рассказываем, как в целом работает технология.
Читать статью

​Пять важных фактов про анализ неструктурированных данных

Рассказываем, чем отличаются структурированные и неструктурированные данные, как лучше работать с данными без структуры и почему об этом нужно задуматься уже сейчас.

👉 Факт 1: у неструктурированных данных все-таки есть структура. Как бы странно это ни звучало, но у неструктурированных данных все-таки есть структура, просто она слишком сложна или неочевидна. Поэтому неструктурированные данные корректнее называть «данными, плохо подготовленными для машинной обработки».

👉 Факт 2: неструктурированных данных очень много. Неструктурированные данные найти куда проще, чем структурированные. Например, книга — внутри нее есть страницы и главы, но машинам сложно обработать текст и извлечь из книги какую-то пользу. Неструктурированные данные — это и данные о работе автомобильных двигателей, страницы в интернете, наблюдения за звездами, фотографии с камер безопасности, и даже этот пост.

👉 Факт 3: преимущества использования неструктурированных данных. Польза от работы с неструктурированными данными есть всегда. Она может быть разной — новые технологии, экономия денег или ускорение процессов. Например, попытки проанализировать тексты из книг и сайтов привели к созданию семантических алгоритмов, понимающих смыслы. А попытки проанализировать параметры двигателей самолетов привели к системе предсказания неисправностей в турбинах.

👉 Факт 4: для работы с неструктурированными данными нужны особые методы. Структурированные и неструктурированные данные обрабатывают и анализируют по-разному. Классические компьютерные алгоритмы бесполезны при работе с неупорядоченными данными. Поэтому существуют отдельные типы инструментов, созданные специально на этот случай.

👉 Факт 5: всем нужно быть готовыми к работе с неструктурированными данными. По мере развития технологий, из упорядоченных данных извлекается вся возможная польза, а количество неупорядоченных данных растет. Если этот тренд будет продолжаться, уже скоро эти два процесса приведут к тому, что все задачи по поиску новых решений сведутся к обработке и анализу неструктурированных данных.
Читать статью

​Главные принципы организации объектных хранилищ

Объектные хранилища более масштабируемые, отказоустойчивые и надежные, чем параллельные файловые системы. Кроме того, у них ошеломляющая пропускная способность для некоторых рабочих нагрузок. Все это достигается за счет отказа от файлов и каталогов.

Мы перевели хорошую статью об общих особенностях и ограничениях объектных хранилищ.
Читать статью

​Как «VK Работа» выдерживает нагрузки в миллионы пользователей

🏢 О компании. «VK Работа» помогает соискателям находить работу, а компаниям — искать новых сотрудников. Специализация сервиса — линейный персонал, то есть рабочие специальности в сфере строительства, торговли, доставки, ресторанного бизнеса и других сфер.

🤔 Проблема. В начале создания проекта серверы находились в дата-центре, и этого хватало. Но когда сервис начал активно развиваться, это привело к кратному увеличению нагрузки. А решать задачи масштабирования на базе традиционной инфраструктуры не так просто.

👍 Решение. Сервис мигрировал на облачную платформу Mail․ru Cloud Solutions, и в процессе выстроил практически полностью новую инфраструктуру в облаке. Она вышла на новый уровень по способности выдерживать большие нагрузки, и по функционалу, и по возможностям разработки, тестирования и выкатки новых сервисов.

Полный кейс смотрите на нашем сайте
Читать статью

​Как усилить производство c помощью IoT, предиктивной аналитики и цифровых двойников

Крупные предприятия стремятся сделать производство более эффективным: оптимизировать процессы, сокращать затраты и внедрять инновации, а для этого нужно постоянно совершенствовать IT-системы. Один из вариантов — использовать комплексные IoT-решения, позволяющие посмотреть на производственные процессы как на единое целое. Рассказываем, какие IoT-технологии усилят производство и помогут эффективно использовать весь объем данных крупного предприятия.
Читать статью