Скрининг✨
Задания

Jumse предлагает набор практических кейсов, основанных на базе знаний уровня senior и адаптированных к требованиям конкретной вакансии. Скрининг проходит в формате code review проекта, созданного нашим роботом. Для решения необходимо применить глубокие знания в архитектуре, работе с данными, абстракциях и прочих элементах языка.

Среди проверяемых компетенций:
✅Понимание use-кейса
✅Принципы работы и реализация
✅Архитектура и абстракции
✅Анализ побочных эффектов
✅Умение выявлять и исправлять ошибки

Каждый кейс представляет собой конкретный практический сценарий, например:
1️⃣Работа с многопоточностью: запуск объектов в нескольких потоках и предотвращение Race Condition.
2️⃣Оптимизация производительности в SQL: использование индексов или решение проблем с JOIN.
3️⃣Резервирование и переключение узлов в архитектуре высокой доступности.

Jumse позволяет оценить реальные навыки разработчиков через задачи, близкие к их ежедневной работе, обеспечивая объективную и точную оценку кандидатов.

Вопрос-ответ🤔

Чтобы ближе познакомить вас с нашим продуктом, мы решили вынести самые распространенные вопросы клиентов в отдельную рубрику #вопрос_ответ. В этот раз начнем с самых популярных:

1️⃣Можно ли пользоваться поисковыми ресурсами во время прохождения скрининга?

Можно. При прохождении скрининга Jumse разрешено пользоваться любыми поисковыми системами и материалами, выложенными в общий доступ. Разработчик должен уметь быстро находить справочные материалы и ими пользоваться. Все равно прямых ответов на задания в таких источниках найти не получится.

2️⃣Есть ли какая-то система предотвращения мошенничества? Например, если кандидат захочет скопировать задание и попросить ИИ его решить.

У нас есть возможность подключения системы прокторинга, которая защищает от копирования экрана, пресекает попытки использования LLM и следит за подтверждением личности кандидата. Но наш опыт показывает, что пока это невостребованный сервис. Senior разработчики скорее хотят честно проверить свои знания.

3️⃣Насколько хорошо ИИ может справиться со скринингом? Есть много подобных тестов для программистов, с которыми нейросеть справляется без особых проблем.

На данный момент у Jumse самая высокая устойчивость к прохождению скрининга при помощи генеративных моделей, таких как GPT. Максимальный результат, которого можно добиться с помощью ИИ сопоставим с уровнем Middle (около 40–50%). Для сравнения: другие тестовые системы зачастую позволяют получить 90–100% результатов при использовании аналогичных технологий.

4️⃣Как вы поймете, что скрининг прошел именно я? Может я попросил знакомого программиста пройти за меня, как вы это проверите?

Случаи, когда за кандидата выполняет задания знакомый или коллега, легко выявляются на 5-минутном интервью с тимлидом. Один сложный вопрос позволит быстро понять, кто перед нами на самом деле.

На сегодня это все. Если у вас возникли другие вопросы или сомнения, не стесняйтесь написать нам в комментариях. В следующем посте из этой рубрики мы подробно ответим на них.

Релиз QA сегмента✨

Он включает в себя: ручное тестирование, автоматизированные функциональное тестирование (java, python, typescript) и навыки CICD.

Завершен переезд продукта на мощности Яндекс.Облака. Настроены CICD pipelines.

Полностью переработана система хранения контента для скринингов. Новая версия позволяет загружать контент через созданный личный кабинет эксперта, проверяет на наличие ошибок в разметке, целостность контента.

Если хотите быстрее узнавать о релизах и обновлениях продукта, можете подписаться на канал Jumse Releases. Там все четко и по делу, без лишней болтологии😎

С чего все начиналось✨
История Олега Лукавенко, ведущего разработчика ITQuick

Изначально мы не собирались создавать Jumse. Наша компания ITQuick занимается разработкой сложных продуктов и у нас, как и на всем рынке, острая нехватка сеньор-специалистов. Поэтому мы решили, что было бы неплохо уметь "выращивать" их из мидлов.

Начали с придумывания методологии: каким образом можно сделать из мидла сеньора?

Сначала продумали все на бумаге, опробовали, и сработало! Условно за 2—4 месяца мы получили людей, которые приближаются к компетенции сеньора: решают архитектурные вопросы, декомпозиционные, абстракционные и т. д.

Но, чтобы полноценно прокачать мидла до уверенного сеньора, необходима детальная карта его компетенций. Пошли на рынок искать продукты, которые могут ее составить, но их не нашлось ни у нас, ни за рубежом.

Наша основная деятельность связана с работой с высокотехнологичными проектами. Мы и поставляем сеньоров для работы над проектами, и к себе в команду их набираем. Даже у нас состав команды примерно 95% это сеньоры. То есть 140 человек — это исключительно люди, которые по своей компетенции приближаются к senior и senior+. Поэтому критерии и процесс отбора сеньоров отлажен довольно хорошо. Но найти программу, которая по таким же критериям ищет сеньоров, к сожалению, не удалось.

Пришлось немного притормозить с прокачкой мидлов и сделать продукт, который автоматически находит зоны роста и составляет карту компетенций разработчика. Это и стало основой Jumse, которую вы знаете сейчас.

Праздник к нам приходит🎄

Скоро заканчивается только первый год активного вывода Jumse на рынок. За это время мы приобрели ценный опыт, решая задачи, с которыми раньше не сталкивались...

1️⃣Правильно презентовать наше изобретение оказалось не так просто, как казалось: с выпученными глазами набрасывались на потенциальных клиентов и, перебивая друг друга, кричали "Смотрите, это работает!", пугая всех вокруг😬

Потом, конечно, план действий подкорректировали, но начало было эффектным😅

2️⃣Было очень много конструктивной критики. Так много, что иногда хотелось бросить все и зарыться в нору🫣

Но именно благодаря ей мы справились, очень много работали и многое изменили в себе, своем продукте, взгляде на мир и себя в этом мире.

Огромное спасибо за вклад каждому, кто создавал, продвигал, пробовал, конструктивно критиковал и вкладывал свое время и силы!

Всем, кто читает наш канал: Вы чудесные! Спасибо за поддержку и веру в нас и наш продукт! Будьте здоровы и счастливы, чтобы оставаться с нами еще очень долго🍸

Желаем нам всем в следующем году уверенно идти по своему пути, благодарить препятствия, ведь они делают нас мудрее и ценить тех, кто всегда рядом!

С наступающими переменами к лучшему и новым, полным на приятные события, годом🎆

Где скоммуниздили кейсы для Jumse?🤔

Приветствуем Вас в новом году! Новогодние праздники уже прошли, салаты доедены, но никогда не поздно приготовить еще и немного продлить теплые семейные посиделки🤫

Мы же возвращаемся с легким постом о том, как собирали уникальную базу знаний для Jumse и почему на ее создание ушло целых 3 года...

Для проверки джуна достаточно просто пройти опросник, для начинающих мидлов — немножко поработать с кодом, но в целом тоже не так сложно.

Ключевая сложность
Если говорить о уровнях выше, нужно проверять практические знания, потому что чем выше grade, тем больше соотношение практики к теории. Нам была необходима база сеньорных знаний c исключительно практической информацией, потому что бессмысленно проверять теорию у сеньора, который на рынке 7-10 лет...

Где взять эту практическую информацию?
В интернете и книгах ее нет, поэтому мы решили создать свою экспертную сеть, состоящую из сотрудников компании и консультантов за ее пределами. Костяк базы знаний мы взяли с сайтов производителей различных стеков: берем конкретный стек Python, списки его тем, подтем, и т.д. Таким образом составляем ментальную карту.

Ментальные карты, которых уже более 200, мы снабдили практической информацией.

Что она из себя представляет?
Мы придумали термин практический кейс. Он всегда рассматривается в разрезе конкретной темы. Например, есть тема по разработке наследования. Практический кейс описывает какую-то ошибку, которую часто совершают при работе с ней.

Правильное понимание принципов работы темы, абстракций, высокоуровневых вещей, побочных эффектов, как правильно пользоваться темой. Эти критерии и стали основой определения практического кейса для одной темы.

Мы приходили к нашим экспертам, и по каждой теме задавали вопросы: Какие практические кейсы ты встречал в своей практике? Какие проблемы решал? Что через боль вынесли из проекта?

Эта экспертная сеть позволила составить большую практическую базу знаний. На ее основе мы получили более 9200 кейсов. Это огромный скоп практической информации, который мы собирали 3 года.

Мы уже прошли длинный путь, но многое еще впереди. В следующий раз расскажем про сетку грейдирования Jumse. До встречи в новом посте!🍸

Сетка грейдирования✨
Почему она работает

Как собирали базы данных с кейсами, мы уже говорили. Сегодня расскажем о не менее важной части разработки Jumse — классификация кейсов и сетка грейдирования.

По каждому стеку есть свои списки тем и подтем, объединенные в 4 колонки по уровню: middle —, middle +, senior —, senior +. Для каждого уровня мы собрали несколько сотен практических кейсов, с которыми должен уметь работать специалист соответствующего уровня. Он должен понимать ситуацию изнутри, как и чем правильно пользоваться, что нельзя и можно с ней сделать...

Как делили по уровням?
Мы брали конкретный кейс и по определенной формуле присваиваем ему один из четырех грейдов. Это был первый шаг перехода от субъективных к объективным оценкам.

🤓Мы проверили, действительно ли наша оценка объективна. Дали 100 практических кейсов нескольким техлидам, независимо друг от друга, и попросили их разложить по этой сетке. Они сделали это однозначно, так как оценивали не людей, а практическую информацию. Это доказывает, что наша формула присвоения конкретного грейда конкретному кейсу — объективна.

С четкой классификацией кейсов по уровням мы можем легко проверить, есть ли соответствующие знания у кандидатов. Эта сетка грейдирования и стала основой стандартизации сертификационных процессов по Java в России.

Конфигуратор вакансий✨

Мы часто получали похожие вопросы про гибкость настройки Jumse, поэтому решили написать отдельный пост. Можно ли дополнительно добавлять какие-то метрики, если того требует вакансия?

Краткий ответ:
Да

Ответ чуть длиннее:
В какой-то момент к нам пришло понимание, что Java-разработчик должен знать не только Java, но и обладать целым списком компетенций. Поэтому мы придумали конфигуратор вакансий. Довольно большое количество "готовых" вакансий уже зашито в продукт, но также есть возможность их менять и добавлять свои.

Каждая вакансия представлена списком компетенций, которые мы проверяем в рамках скрининга. При этом, если вам чего-то недостает, вы можете из полного списка компетенций добавить все, что угодно.

Но если и этого недостаточно, вы можете окунуться в каждую компетенцию и там выбрать вплоть до конкретной темы, которую хотите проверить. Это очень тонкая настройка, благодаря которой вы можете формировать свои абсолютно уникальные скрининги😎

Отзывы о Jumse👨‍💻
Новая рубрика, которая, надеемся, станет постоянной 👉👈

Чаще всего положительными отзывами делятся в общении или оставляют в личных сообщениях, но бывает и так, что продукт настолько понравился, что становится темой поста в личном блоге.

Нам очень приятно, что руководитель по подбору и адаптации ИТ персонала ITFB Group Полина Семенюк высоко оценила Jumse и написала о нас такой развернутый отзыв.

Сам пост с отзывом ниже👇

Исследование✨
Поиск работы в IT

Мы провели новый опрос совместно с «Зарплата.ру» среди 1600 IT-специалистов уровня junior (опыт работы от одного года до полутора лет), middle (два-четыре года) и senior (более четырех лет) в области веб-разработки, аналитики данных и кибербезопасности. Результаты исследования заинтересовали многие знаменитые издания: Forbes, CNews, rb.ru

Чаще всего собеседование проходит в 2-3 этапа, среди которых самыми сложными считают интервью с руководителем компании (35%) и проверку технических навыков (33%). Кроме того, почти 40% жалуются на отсутствие ясности в техническом задании, треть говорит, что на техническом интервью спрашивали про неизвестные им инструменты, программы и технологии, а 13% в ходе такого интервью испытывали давление со стороны руководителя.

Александр Сельдемиров, сооснователь ITQuick и партнер Jumse, считает, что для ускорения процесса найма компаниям следует пересмотреть этап технического собеседования, который опрошенные выделяют в числе наиболее трудных — часто эта ступень имеет «опосредованное отношение» к будущей работе, а оценка кандидата зависит от субъективного мнения рекрутера, а не от его объективных навыков.

Мы еще 3 года назад чувствовали настроение соискателей и раздражение отвлеченных от работы тимлидов и начали работу над платформой оценки хардскилов Jumse. Сейчас продукт уже готов, и можно оценить, насколько он упрощает всем жизнь:

✅Объективная и четкая оценка компетенций программиста
✅Гибкий конфигуратор вакансий
✅Сохраненное время тимлида на работу над проектами
✅Задания исключительно по необходимым темам и всегда разные благодаря ИИ

Плюсов много, и многие из тех, кто попробовал Jumse, не смогли вернуться к прошлому формату, ведь так, действительно, удобнее всем😎

Сопровождение и поддержка клиента✨

Для того, чтобы будущие клиенты могли попробовать и понять, что такое скрининг Jumse в действии, мы приглашаем их пройти пилот: даем несколько ссылок на тестирования и в течение недели ждем обратную связь. И именно с этапа пилота начинается работа службы клиентской поддержки. Такой труд нельзя оставить без внимания, поэтому сегодня поговорим об этом.

Основные этапы клиентской поддержки:
1️⃣Сопровождение во время пилота
Предоставление информации по стекам, помощь с выбором подходящих скринингов, формирование ссылок на тестирование и предоставление отчетов по тестируемым.
2️⃣После успешно проведенного пилота начинается согласование договоров и уточнение деталей.
3️⃣Постоянная поддержка клиента
Мы на связи почти 24 на 7😎 Отвечаем на вопросы и решаем технические проблемы, если что-то вдруг…

Руководитель нашей поддержки — Ольга Столбова, самый приветливый человек на свете! Ее внимания и вдумчивой помощи, кажется, может хватить на всех: и внутри команды и снаружи.

Мы ее очень ценим и любим, но сегодня скорее хотим поздравить Олю с заключением собственного договора с новым клиентом, который вышел сразу на нее! Минуя весь отдел продаж😇

Амбассадоры у нас есть не только среди наших клиентов, но и внутри команды...

Зоны роста разработчиков🥲
Технический скрининг

Изначально мы придумывали Jumse для себя. Мы хотели облегчить жизнь наших тимлидов и помочь найти точки роста для развития наших программистов. Многим опытным специалистам часто сложно понять, куда двигаться дальше.

Мнение разработчиков:

Это очень круто, когда по итогам техсобеса у тебя есть наглядная карта знаний. Дальше полгода прицельно поучиться и уже можно претендовать на совершенно другую зарплату.

Приятно, что у многих наших заказчиков это стало особой фишкой. К ним начинают выстраивается очереди из соискателей не просто собес пройти, а получить конкретные рекомендации😎

Jumse стал не просто помощником в проведении собеседований, но и толчком для развития специалистов и всего IT-рынка

Частые вопросы от СТО ❓

В связи с нашими планами по использованию ИИ для помощи в генерации заданий к нам поступают разные вопросы:

1️⃣Как гарантируется, что среди вариантов ответа действительно будет корректный, учитывая возможные галлюцинации от ИИ генерации?
Контент не целиком генерируется ИИ. После генерации проходит постпроцессинг, который проверяет наличие как минимум одного правильного ответа среди созданных. Это помогает минимизировать ошибки и недочеты в ответах.

2️⃣Будут ли задания не только на анализ, но и на написание кода?
Мы детализируем проверку знаний так, чтобы включать умение решать одну и ту же задачу разными способами. Мы генерируем контент, охватывающий несколько решений одной задачи, чтобы проверить глубину владения знаниями. Такой подход глубже проверяет знания, чем live coding. Поэтому задания на написание кода в Jumse не планируем.

3️⃣Как поддерживается одинаковая сложность для разных кандидатов, учитывая, что задания генерируются ИИ? Или задания генерируются один раз, потом проверяются вручную, а затем кандидаты получают одинаковые задания?
У нас есть база знаний senior-уровня, созданная и развиваемая экспертной сетью. На ее основе формируется библиотека промптов, а затем ИИ генерирует задания с проверкой уровня сложности. Это исключает сильные отклонения в грейде.

Если у вас появились другие вопросы про Jumse, можете задать их нашему боту или написать под постом👇

#ИИ #Jumse #HRTech

— Jumse, это вы? 🤔
— Нет, это не мы)

Проект по оценке компетенций IT-специалистов, который представило вчера Минцифры в первую очередь решает важную государственную задачу: собрать минимально необходимые данные, нужные для принятия решений о структуре образования, ИТ рынка, потребности в кадрах, дать основы для определения получателей различных видов господдержки и т.п.

Насколько оценки компетенций могут быть полезны работодателям – покажет время. На наш взгляд гораздо более востребована рынком оценка реальной квалификации ИТ специалистов, то есть то, что работодатели пытаются выяснять и оценивать на многочисленных собеседованиях со своими потенциальными работниками. Мы понимаем, что для решения этой стратегической задачи необходимо активное включение бизнеса, как заказчика и, соответственно, стороны, понимающей, каковы рыночные требования к уровню разработчиков.

Поэтому мы принимаем активное участие в рабочей группе под эгидой ассоциации крупнейших IT-компаний России АПКИТ и разрабатываем альтернативную систему: детальное описание уровней (грейдов) и саму сертификацию, которая сможет стать навигатором для работодателей в подборе специалистов.

Уже около полугода обсуждается гармонизация этих двух систем. Мы находимся в постоянном контакте с Минцифрой, наши эксперты участвуют в оценке платформ, которые предполагается использовать для объявленной оценки компетенций.

Здесь сложность не только в обеспечении соответствия рыночному пониманию грейдов и прозрачности. Но и в защите тестирования от прохождения различными LLM.

Мы уверены, что синергия государственных инициатив и экспертного сообщества позволит создать востребованную, прозрачную и эффективную систему оценки квалификации IT специалистов🍸