Господа!
Привет из солнечного Сириуса заснеженной Москве!
От нашей лаборатории десант в этом году был вдвое больше, чем в прошлом (10 человек вместо 5), чему я очень рад!
Лекции Александра Гасникова, Ивана Оселедца, их аспирантов (особенно Михаила Паутова), Елены Тутубалиной, Натальи Лукашевич (надеюсь, вы знаете этих людей))) и других... Две лекции вашего покорного слуги. Тут все очень весело! )))
Ну и народ собран довольно мотивированный. Вы не поверите - даже на лекции в субботу был полный состав. И много-много работы над проектами (ибо суть - проектная смена "Доверенный ИИ").
Все это реально прокачивает!
Думаю, у нас добавится сотрудников по результатам проекта.
Ну и, конечно, параллельно всякие разные дополнительные мероприятия. Например, вчера была экскурсия в лабораторный корпус университета Сириус. Они недавно запустили ДНК секвенсор и т.д. Ходили на картинг, хоккей, коньки, ездили в горы на красную поляну и т.д.
Я, пользуясь случаем, активно пытал коллег своим любимым в последнее время вопросом про "GPT момент в программировании" (появление инструментов, которые сильно поменяют ландшафт специальности). Локальный консенсус-прогноз даже меньше, чем на OpenTalks.AI этой весной - примерно 2 года до начала, вместо 5-6 там.
Участники смены будут готовы к нему намного лучше среднего) (новости о том, насколько успешно сломали камеру и т.п. будут)))
Для сравнения - так это выглядело год назад.
Работаем! 😁
Привет из солнечного Сириуса заснеженной Москве!
От нашей лаборатории десант в этом году был вдвое больше, чем в прошлом (10 человек вместо 5), чему я очень рад!
Лекции Александра Гасникова, Ивана Оселедца, их аспирантов (особенно Михаила Паутова), Елены Тутубалиной, Натальи Лукашевич (надеюсь, вы знаете этих людей))) и других... Две лекции вашего покорного слуги. Тут все очень весело! )))
Ну и народ собран довольно мотивированный. Вы не поверите - даже на лекции в субботу был полный состав. И много-много работы над проектами (ибо суть - проектная смена "Доверенный ИИ").
Все это реально прокачивает!
Думаю, у нас добавится сотрудников по результатам проекта.
Ну и, конечно, параллельно всякие разные дополнительные мероприятия. Например, вчера была экскурсия в лабораторный корпус университета Сириус. Они недавно запустили ДНК секвенсор и т.д. Ходили на картинг, хоккей, коньки, ездили в горы на красную поляну и т.д.
Я, пользуясь случаем, активно пытал коллег своим любимым в последнее время вопросом про "GPT момент в программировании" (появление инструментов, которые сильно поменяют ландшафт специальности). Локальный консенсус-прогноз даже меньше, чем на OpenTalks.AI этой весной - примерно 2 года до начала, вместо 5-6 там.
Участники смены будут готовы к нему намного лучше среднего) (новости о том, насколько успешно сломали камеру и т.п. будут)))
Для сравнения - так это выглядело год назад.
Работаем! 😁
🔥6❤1👍1
Ну и немного местного вайба вам в ленту)
Наша рабочая аудитория (и работающие люди), экскурсия в великолепно оборудованный лабораторный корпус, картинг, где наш новый аспирант Саша Гущин всех порвал в двух заездах (ему просто все время самый быстрый картинг доставался, причем, что обидно, разный))), и видео, где после заезда картинга народ бурно обсуждает результаты заезда, а Георгий с Настей обсуждают, нет, не как сеточки обучать, а как их атаковать, конечно))) (хорошо видно, что работа кипела даже в самых суровых условиях). Ну и (чтобы мозги не выкипели) вечерний пляж 😉
Фоточки закатов, солнечных гор Красной поляны, и т.п. как-нибудь в другой раз)
Так и живем! 😁
Наша рабочая аудитория (и работающие люди), экскурсия в великолепно оборудованный лабораторный корпус, картинг, где наш новый аспирант Саша Гущин всех порвал в двух заездах (ему просто все время самый быстрый картинг доставался, причем, что обидно, разный))), и видео, где после заезда картинга народ бурно обсуждает результаты заезда, а Георгий с Настей обсуждают, нет, не как сеточки обучать, а как их атаковать, конечно))) (хорошо видно, что работа кипела даже в самых суровых условиях). Ну и (чтобы мозги не выкипели) вечерний пляж 😉
Фоточки закатов, солнечных гор Красной поляны, и т.п. как-нибудь в другой раз)
Так и живем! 😁
🤩11❤2👍1
Господа!
У меня хорошие новости! Вы знаете, я люблю, когда наши ребятачто-нибудь ломают занимают первые места!
В общем в Сириусе в рамках проектной смены по доверенному ИИ проводили хакатон, который был нацелен на взлом DeepLab V3 - уже не нового, но сильного метода семантической сегментации картинок от Google.
В общем - стояла задачка - внесением небольших и не слишком заметных изменений в картинку заставить сегментацию работать неправильно.
Короче!
* Хакатон проходил 7 часов.
* Участвовало 13 команд
* Команда нашей молодежи зажгла и выбила первое место!!!
* Причем у них оказался едва ли не самый младший среди участников возраст! 😲👏
В общем - встречайте: Игорь Мелешин, Егор Ковалев, Готин Георгий - ВМК МГУ, 3 курс, 1 место! (на фото).
🎉🏆🎉🏆🎉🏆🎉🏆🎉🏆🎉🏆🎉🏆🎉
Они реализовали (не скачали, а реализовали!) PGD (Projected Gradient Descent ) атаку, которая лучше всех сломала DeepLabV3. Прикольно, что Strong_Baseline организаторов был также на основе PGD, но реализация менее удачная (название команды strongman, и да, лидерборды надо сортировать, согласен)))
А еще ребята выбили не только первое место по метрике, но самый прикольный пример атаки. Вы такие говорите модельке - выдели самолет. Она выделяет. А на атакованном изображении выделяет ВСЕ КРОМЕ САМОЛЕТА) Прямо хорошо так) Самолет искать там!😉
Напомню, в хакатоне прошлого года по модному тогда LLM промптингу там же первое место тоже выбила команда из нашей лаборатории (тогда зажгли девочки)! Продолжаем отжигать!🙂
И у нас явно удачный набор новых студентов был в этом году, если они так выбивают! ) Еще раз горячо поздравляю победителей!!!💪 💪 💪
🥇🎉🥇🎉🥇🎉🥇🎉🥇🎉🥇🎉🥇🎉🥇🎉🥇
У меня хорошие новости! Вы знаете, я люблю, когда наши ребята
В общем в Сириусе в рамках проектной смены по доверенному ИИ проводили хакатон, который был нацелен на взлом DeepLab V3 - уже не нового, но сильного метода семантической сегментации картинок от Google.
В общем - стояла задачка - внесением небольших и не слишком заметных изменений в картинку заставить сегментацию работать неправильно.
Короче!
* Хакатон проходил 7 часов.
* Участвовало 13 команд
* Команда нашей молодежи зажгла и выбила первое место!!!
* Причем у них оказался едва ли не самый младший среди участников возраст! 😲👏
В общем - встречайте: Игорь Мелешин, Егор Ковалев, Готин Георгий - ВМК МГУ, 3 курс, 1 место! (на фото).
🎉🏆🎉🏆🎉🏆🎉🏆🎉🏆🎉🏆🎉🏆🎉
Они реализовали (не скачали, а реализовали!) PGD (Projected Gradient Descent ) атаку, которая лучше всех сломала DeepLabV3. Прикольно, что Strong_Baseline организаторов был также на основе PGD, но реализация менее удачная (название команды strongman, и да, лидерборды надо сортировать, согласен)))
А еще ребята выбили не только первое место по метрике, но самый прикольный пример атаки. Вы такие говорите модельке - выдели самолет. Она выделяет. А на атакованном изображении выделяет ВСЕ КРОМЕ САМОЛЕТА) Прямо хорошо так) Самолет искать там!
Напомню, в хакатоне прошлого года по модному тогда LLM промптингу там же первое место тоже выбила команда из нашей лаборатории (тогда зажгли девочки)! Продолжаем отжигать!
И у нас явно удачный набор новых студентов был в этом году, если они так выбивают! ) Еще раз горячо поздравляю победителей!!!
🥇🎉🥇🎉🥇🎉🥇🎉🥇🎉🥇🎉🥇🎉🥇🎉🥇
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉20❤3👎1🤔1🥴1
Коллеги, в качестве викенд-поста для тех, кому зашли лемминги. В самолетах в Сириус и обратно практически прочитал книжку "Восходящая спираль". Ее мельком похвалили на ISDEF две недели назад и я не долго думая ее заказал. Автор - нейрофизиолог и очень популярно пишет о том, как взаимодействуют неокортекс и более "древние" части мозга. 😁
В том числе книга подробно объясняет, как появляются вредные привычки и привязанности (в первую очередь дофаминовые от разного рода наркотиков, от вкусной еды, до информационных наркотиков всех видов), которые ставят человека на нисходящую спираль — медленное проваливание, финалом которого являются "запои", в том числе информационные (типа 200 серий дорам за неделю), а то и антидепрессанты. 🤔
Прикол темы в том, что даже если все это в целом знаешь, довольно сложно в некоторых случаях удержаться на восходящей спирали 🤷♂️
Получил массу мыслей для цикла "Про счастье" (и отчасти "Про энергию"), ибо все виды гормонов счастья — дофамин, окситоцин, серотонин, эндорфин (и отчасти адреналин), равно как эндоканнабиоиды, норэпинефрин и даже мелатонин — это все непосредственные участники как для ощущения счастья, так и для ощущения потерянности, фрустрации и отсутствия энергии. ☝️
Засада в том, что "лягушку подогревают постепенно" (надеюсь, все знают эту тему), соответственно выбираться из нисходящей спирали нужно в самом начале. Потом, когда человек уже изрядно подвыгорел найти в себе силы встать на восходящую спираль на пару порядков сложнее. По факту многие разворачиваются натурально достигнув дна, а кто-то и не разворачивается...
Ну и мысли по типу американской поговорки "use-it-or-lose-it", которые в леммингах были касательно знаний и мышцы воли, тут тоже есть. Сейчас, в эпоху "легкого дофамина" особенно среди молодежи становится модно хвастаться максимально слабой мышцей воли. Последствия будут позднее. В книге приводится старая поговорка, что "до 30 лет вы создаете привычки, после 30 лет привычки создают вас", с акцентом на то, почему очень важно создать полезные привычки раньше. Ибо дальше будет доктор.👋
Ну и кину пару отзывов, которые понравились:
или
Больше годных отзывов на литресе.
Рекомендую🙂 🙂 🙂
В том числе книга подробно объясняет, как появляются вредные привычки и привязанности (в первую очередь дофаминовые от разного рода наркотиков, от вкусной еды, до информационных наркотиков всех видов), которые ставят человека на нисходящую спираль — медленное проваливание, финалом которого являются "запои", в том числе информационные (типа 200 серий дорам за неделю), а то и антидепрессанты. 🤔
Прикол темы в том, что даже если все это в целом знаешь, довольно сложно в некоторых случаях удержаться на восходящей спирали 🤷♂️
Получил массу мыслей для цикла "Про счастье" (и отчасти "Про энергию"), ибо все виды гормонов счастья — дофамин, окситоцин, серотонин, эндорфин (и отчасти адреналин), равно как эндоканнабиоиды, норэпинефрин и даже мелатонин — это все непосредственные участники как для ощущения счастья, так и для ощущения потерянности, фрустрации и отсутствия энергии. ☝️
Засада в том, что "лягушку подогревают постепенно" (надеюсь, все знают эту тему), соответственно выбираться из нисходящей спирали нужно в самом начале. Потом, когда человек уже изрядно подвыгорел найти в себе силы встать на восходящую спираль на пару порядков сложнее. По факту многие разворачиваются натурально достигнув дна, а кто-то и не разворачивается...
Ну и мысли по типу американской поговорки "use-it-or-lose-it", которые в леммингах были касательно знаний и мышцы воли, тут тоже есть. Сейчас, в эпоху "легкого дофамина" особенно среди молодежи становится модно хвастаться максимально слабой мышцей воли. Последствия будут позднее. В книге приводится старая поговорка, что "до 30 лет вы создаете привычки, после 30 лет привычки создают вас", с акцентом на то, почему очень важно создать полезные привычки раньше. Ибо дальше будет доктор.
Ну и кину пару отзывов, которые понравились:
Прекрасная книга. Читала как детектив, хотя, сами понимаете, тема совсем другая. Даже если Вы ничего не знаете о психологии, а «психиатр» для Вас ругательное слово, эту книгу стоит прочесть. Легкий слог, доступность и объяснение «на пальцах» оставляют в сознании читающего уверенность, что с депрессией можно справиться. Читайте – не пожалеете!
или
Книга очень интересна, даже тем, кто уже прочитал немало книг по саморазвитию. помогает понять механизм того, как происходят изменения в нашем мозгу, как что происходит в физико-химическом или биологическом плане. теперь лучше понимаю роль негативных привычек, получила мощную мотивацию на занятия спортом) спасибо большое автору! буду рекомендовать!
Больше годных отзывов на литресе.
Рекомендую
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11
Господа!
Я опять с хорошими новостями)
В конце прошлой недели прошла защита проектов проектной смены по доверенному ИИ, про которую я много писал (пруфы: 1, 2, 3, 4, 5, 6, 7 😉). Всего было представлено на защиту 17 проектов, которые оценивались жюри по критериям:
* Понятность постановки и полученного результата (я ничего не понял ... я проникся)
* Практическая полезность и применимость (бесполезно ... крайне полезно)
* Общее качество работы (не сделано ничего ... идеальный результат)
В итоге (барабанная дробь 🥁🥁🥁🥁🥁🥁🥁🥁) первое место (8,81 баллов) занял наш проект "Атака на watermarking генеративных моделей для изображений (в рамках челленджа NeurIPS'24)" про который я писал в августе! Проектом руководили Анастасия Анциферова и Михаил Паутов, в команде из 6 человек участвовали наши Георгий Готин и Егор Ковалев (3 курс!). Дополнительную крутизну проекту придало участие в "Erasing the Invisible: A Stress-Test Challenge for Image Watermarks". До конца челленджа еще 2 недели, но предварительные результаты были:
* 2 место в номинации Demo
* 4 место (из 32!) в номинации Beige box
* 1 место (из 29!) в номинации Black box
Общий призовой фонд челленджа - 6000$, но, конечно, намного интереснее остаться в тройке лидеров "Стирателей невидимого" 😉 Это будет непросто, ибо обычно самые сильные команды свои решения под занавес выкатывают. Но в любом случае уже очень-очень круто!!!💪 💪 💪 🎉🎉🎉🥇🥇🥇
Второе место на защитах проектов занял (барабанная дробь 🥁🥁🥁) наш проект "Физическая атака на настоящую камеру идентификации лиц" (8,66 баллов), которым руководила (внезапно!) Анастасия Анциферова, а участвовали в составе команды из 4 человек Виктория Леоненкова и Екатерина Шумицкая. Они же взяли приз за лучшую практическую значимость. В двух словах - камера не устояла. При этом были показаны атаки на камеру и сервис распознавания лиц Face++. В том числе был пример, когда на исходное лицо доступа нет, а на измененное - доступ разрешается (другой вид атаки). В целом:
* Был перенесен состязательный результат с низкого разрешения изображения на высокое
* Реализована состязательная атака с маской в реальности
* Реализована натуралистичная атака с помощью генеративной модели
* Придуман метод атаки состязательным кокошником и протестирован на начальных стадиях
Про последнее расскажу ближе к Новому Году. 😉 У нашей состязательной Снегурочки может получиться очень обаятельный роман с камерами безопасности! Вам понравится! 😂 👍👍👍🏆🏆🏆
Третье место (8,04 баллов) занял проект под руководством Александра Гасникова (ректор Иннополиса, на секундочку) и Александра Лобанова, в котором единственным исполнителем был Георгий Бычков - наш студент магистратуры. Проект назывался: "Сходимость безградиентных алгоритмов в условиях перепараметризации для архитектуры федеративного обучения". В одно лицо затащить до 3 места - очень круто (хотя кураторы тоже сильны, вопросов нет). Кстати — о другом первом месте Георгия я тут уже писал.🙂 🙂 🙂
И, наконец, 6 место выбил проект "Защита моделей классификации видео" (7,5 баллов) под руководством нашего аспиранта Александра Гущина который в одно лицо затащил наш бакалавр Александр Костычев. Защиты — это активно развиваемая тема, которая будет тем более актуальна, чем чаше атаки будут встречаться в нашей суровой действительности. Делать их непросто. Ребята молодцы. 👏👏👏
В общем - отстрелялись в том или ином виде 4 места из ТОП-6 (из 17 команд). 🏆 Очень неплохо съездили и прокачались! 😁😁😁
Я опять с хорошими новостями)
В конце прошлой недели прошла защита проектов проектной смены по доверенному ИИ, про которую я много писал (пруфы: 1, 2, 3, 4, 5, 6, 7 😉). Всего было представлено на защиту 17 проектов, которые оценивались жюри по критериям:
* Понятность постановки и полученного результата (я ничего не понял ... я проникся)
* Практическая полезность и применимость (бесполезно ... крайне полезно)
* Общее качество работы (не сделано ничего ... идеальный результат)
В итоге (барабанная дробь 🥁🥁🥁🥁🥁🥁🥁🥁) первое место (8,81 баллов) занял наш проект "Атака на watermarking генеративных моделей для изображений (в рамках челленджа NeurIPS'24)" про который я писал в августе! Проектом руководили Анастасия Анциферова и Михаил Паутов, в команде из 6 человек участвовали наши Георгий Готин и Егор Ковалев (3 курс!). Дополнительную крутизну проекту придало участие в "Erasing the Invisible: A Stress-Test Challenge for Image Watermarks". До конца челленджа еще 2 недели, но предварительные результаты были:
* 2 место в номинации Demo
* 4 место (из 32!) в номинации Beige box
* 1 место (из 29!) в номинации Black box
Общий призовой фонд челленджа - 6000$, но, конечно, намного интереснее остаться в тройке лидеров "Стирателей невидимого" 😉 Это будет непросто, ибо обычно самые сильные команды свои решения под занавес выкатывают. Но в любом случае уже очень-очень круто!!!
Второе место на защитах проектов занял (барабанная дробь 🥁🥁🥁) наш проект "Физическая атака на настоящую камеру идентификации лиц" (8,66 баллов), которым руководила (внезапно!) Анастасия Анциферова, а участвовали в составе команды из 4 человек Виктория Леоненкова и Екатерина Шумицкая. Они же взяли приз за лучшую практическую значимость. В двух словах - камера не устояла. При этом были показаны атаки на камеру и сервис распознавания лиц Face++. В том числе был пример, когда на исходное лицо доступа нет, а на измененное - доступ разрешается (другой вид атаки). В целом:
* Был перенесен состязательный результат с низкого разрешения изображения на высокое
* Реализована состязательная атака с маской в реальности
* Реализована натуралистичная атака с помощью генеративной модели
* Придуман метод атаки состязательным кокошником и протестирован на начальных стадиях
Про последнее расскажу ближе к Новому Году. 😉 У нашей состязательной Снегурочки может получиться очень обаятельный роман с камерами безопасности! Вам понравится! 😂 👍👍👍🏆🏆🏆
Третье место (8,04 баллов) занял проект под руководством Александра Гасникова (ректор Иннополиса, на секундочку) и Александра Лобанова, в котором единственным исполнителем был Георгий Бычков - наш студент магистратуры. Проект назывался: "Сходимость безградиентных алгоритмов в условиях перепараметризации для архитектуры федеративного обучения". В одно лицо затащить до 3 места - очень круто (хотя кураторы тоже сильны, вопросов нет). Кстати — о другом первом месте Георгия я тут уже писал.
И, наконец, 6 место выбил проект "Защита моделей классификации видео" (7,5 баллов) под руководством нашего аспиранта Александра Гущина который в одно лицо затащил наш бакалавр Александр Костычев. Защиты — это активно развиваемая тема, которая будет тем более актуальна, чем чаше атаки будут встречаться в нашей суровой действительности. Делать их непросто. Ребята молодцы. 👏👏👏
В общем - отстрелялись в том или ином виде 4 места из ТОП-6 (из 17 команд). 🏆 Очень неплохо съездили и прокачались! 😁😁😁
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6❤3🎉3
Господа!
У меня на прошлой неделе закончен "Осенний марафон"🚀 🤕 🚀 :
* 5 поездок: 3 в Питер, одна — в Сочи, одна — в Тарусу
* 6 недель
* 10 конференций (на двух не выдавали беджи, причем одна из них называлась симпозиум...😉🤷♂️)
* 11 докладов (5 на английском)
Уффффф..... ) Можно немного выдохнуть 😅
Как легко заметить по беджам — много мероприятий было корпоративных. Что происходит сейчас в индустрии? Как изменились за год задачи? Какие есть интересные решения?
Например, мы уже давно толкаем тему Video Super-Resolution (что очень хорошо видно тут, тут и тут). В этом плане очень приятно было видеть презентацию крупного начальника известной китайской компании, посвященную в целом актуальным задачам обработки видео, у которого чуть не на каждом втором слайде поминался SR) Нам, поддерживающим videoprocessing.ai это было прям бальзам на душу✌️
Кстати, в нашем проекте артефактов SR нашли артефакты в NVIDIA DSR (который уже сегодня во всех latest Chrome, Edge, and Firefox browsers, я уж молчу про игры). Также интереснейшие разговоры про ужас от артефактов SR в новых умных телевизорах были на VideoTech. Будем развивать тему)
Ну и метрики с атаками и защитами никуда не делись 😁
Процесс идет! Stay tuned!)
#pro_conferences
У меня на прошлой неделе закончен "Осенний марафон"
* 5 поездок: 3 в Питер, одна — в Сочи, одна — в Тарусу
* 6 недель
* 10 конференций (на двух не выдавали беджи, причем одна из них называлась симпозиум...😉🤷♂️)
* 11 докладов (5 на английском)
Уффффф..... ) Можно немного выдохнуть 😅
Как легко заметить по беджам — много мероприятий было корпоративных. Что происходит сейчас в индустрии? Как изменились за год задачи? Какие есть интересные решения?
Например, мы уже давно толкаем тему Video Super-Resolution (что очень хорошо видно тут, тут и тут). В этом плане очень приятно было видеть презентацию крупного начальника известной китайской компании, посвященную в целом актуальным задачам обработки видео, у которого чуть не на каждом втором слайде поминался SR) Нам, поддерживающим videoprocessing.ai это было прям бальзам на душу
Кстати, в нашем проекте артефактов SR нашли артефакты в NVIDIA DSR (который уже сегодня во всех latest Chrome, Edge, and Firefox browsers, я уж молчу про игры). Также интереснейшие разговоры про ужас от артефактов SR в новых умных телевизорах были на VideoTech. Будем развивать тему)
Ну и метрики с атаками и защитами никуда не делись 😁
Процесс идет! Stay tuned!)
#pro_conferences
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤2🤩2🔥1
Коллеги!
Я тут сегодня написал, что группа метрик никуда не делась (т.е. кует результаты), а пруфа не было! 😁
Исправляюсь!
Горячо поздравляю группу метрик с 6-й принятой статьей в этом году! (И второй в этом году Q1!) Статья называется "Increasing the Robustness of Image Quality Assessment Models Through Adversarial Training" (не совсем защиты, но увеличение устойчивости к атакам)💪 👍✌️
🎉🎉🎉🎉🎉🎉
🏆🏆🏆🏆🏆🏆
👏👏👏👏👏👏
#our_successes
Я тут сегодня написал, что группа метрик никуда не делась (т.е. кует результаты), а пруфа не было! 😁
Исправляюсь!
Горячо поздравляю группу метрик с 6-й принятой статьей в этом году! (И второй в этом году Q1!) Статья называется "Increasing the Robustness of Image Quality Assessment Models Through Adversarial Training" (не совсем защиты, но увеличение устойчивости к атакам)
🎉🎉🎉🎉🎉🎉
🏆🏆🏆🏆🏆🏆
👏👏👏👏👏👏
#our_successes
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉12❤3👍3🤔1
Господа!
Давно не писал про будущее программирования. А там бурный процесс вовсю идет!)
В топе SWE-bench аж 5 топовых результатов были за последние 2 недели! И продвижение +7,6% за месяц с небольшим! 😲👏👍
И это было бы выбросом, если бы таких "выбросов" не было несколько за год. В итоге пройден путь от 4,4% в октябре прошлого года до 53% в октябре этого года!!! Еще год такими темпами и бенчмарк надо будет менять на что-то более сложное (что, заметим, во многих областях уже успешно произошло). 😲😲😲
Для тех, кто все пропустил — в SWE-bench измеряется исправление реальных issues (багрепортов) взятых из разных репозиториев гитхаба. В коллекции Verified ровно 500 issues. Задачка отчасти тепличная, поскольку требуются тесты (которые сильно упрощают проверку). Но это все равно круто. А ты %%USERNAME%% какой процент этих 500 issues закроешь и за сколько по времени? Чтобы представлять масштаб проблем — 52% issues размечены уровнем сложности 15 минут — 1 час. 8,4%: 1-4 часа, 0,6% — больше 4 часов. Это грубо 125-500 часов работы грамотного кожаного. Нормально так! До 3 месяцев при 40 часах в неделю.😨 😉 Это надо закрывать 8+ issues в день (лучше больше). Каждый день. 3 месяца. В разных репозиториях. Вперед, друзья, все у вас получится! 😁
Одна из серьезных проблем — работа с большими реальными репозиториями со всеми текущими ограничениями современных LLM на длину контекста. И ее прямо на глазах успешно решают!
Ну и в последнее время в ИИ было довольно много инвестиций. Вот топ компаний (отсюда):
Внимательный читатель заметит, что в топ-9 проинвестированных 4 строят ИИ-программистов (и на чей же сайт из этого топа идет линк коллекции Verified? 😉). Ну и как вы думаете 44% — это много или мало?🤔 И какие у них будут успехи за следующий год? 🤔 🤔 🤔
Также внимательный читатель заметит в числе участников SWE таких серьезных товарищей, как:
* Amazon Q Developer Agent
* IBM Research Agent-101
* Alibaba Lingma Agent
* Bytedance MarsCode Agent
Которые (в отличие от стартапов) явно не торопятся каждый релиз в бенчмарк отправлять (но и на месте точно не сидят).
В общем вспоминаем, как зажигал Дженсен "курточка" Хуанг (CEO NVIDIA) "не отдавайте детей учиться программированию, мы заберем у них работу" и-и-и-и-и...? И к какому выводу приходим? 😉
Пост "Программисты всё вымирают и вымирают" все еще на 16-м месте в топе года Хабра, а миллионы леммингов не могут ошибаться. Там советуют расслабиться, сидеть ровно и не кашлять (дословно!)
И это ПРОСТО ПРЕКРАСНО! 👍 (не забудьте посоветовать прочитать эту статью всем знакомым)😉 Ибо, чем больше будет тех, кто сидит на попе ровно, тем проще будет тем, кто целенаправленно прокачивается. 😎
Let's make yourwisdom choice! 😁
#SWE_benchmarking
Давно не писал про будущее программирования. А там бурный процесс вовсю идет!)
В топе SWE-bench аж 5 топовых результатов были за последние 2 недели! И продвижение +7,6% за месяц с небольшим! 😲👏👍
И это было бы выбросом, если бы таких "выбросов" не было несколько за год. В итоге пройден путь от 4,4% в октябре прошлого года до 53% в октябре этого года!!! Еще год такими темпами и бенчмарк надо будет менять на что-то более сложное (что, заметим, во многих областях уже успешно произошло). 😲😲😲
Для тех, кто все пропустил — в SWE-bench измеряется исправление реальных issues (багрепортов) взятых из разных репозиториев гитхаба. В коллекции Verified ровно 500 issues. Задачка отчасти тепличная, поскольку требуются тесты (которые сильно упрощают проверку). Но это все равно круто. А ты %%USERNAME%% какой процент этих 500 issues закроешь и за сколько по времени? Чтобы представлять масштаб проблем — 52% issues размечены уровнем сложности 15 минут — 1 час. 8,4%: 1-4 часа, 0,6% — больше 4 часов. Это грубо 125-500 часов работы грамотного кожаного. Нормально так! До 3 месяцев при 40 часах в неделю.
Одна из серьезных проблем — работа с большими реальными репозиториями со всеми текущими ограничениями современных LLM на длину контекста. И ее прямо на глазах успешно решают!
Ну и в последнее время в ИИ было довольно много инвестиций. Вот топ компаний (отсюда):
OpenAI — $6.6B (крупнейший раунд в истории венчурной индустрии, строит AGI, [агентов и в том числе ИИ-программиста])
xAI — $6B (строит AGI в твиттере)
SSI — $1B (строит добрый AGI)
Anthropic — $4.5B (строит LLM)
Poolside — $500M (строит ИИ-программиста)
Magic — $450M (ИИ-программист)
Cognition — $175M (ИИ-программист)
Sierra — $85M (замена customer support)
Sentient — $85M (модели на блокчейнах)
Внимательный читатель заметит, что в топ-9 проинвестированных 4 строят ИИ-программистов (и на чей же сайт из этого топа идет линк коллекции Verified? 😉). Ну и как вы думаете 44% — это много или мало?
Также внимательный читатель заметит в числе участников SWE таких серьезных товарищей, как:
* Amazon Q Developer Agent
* IBM Research Agent-101
* Alibaba Lingma Agent
* Bytedance MarsCode Agent
Которые (в отличие от стартапов) явно не торопятся каждый релиз в бенчмарк отправлять (но и на месте точно не сидят).
В общем вспоминаем, как зажигал Дженсен "курточка" Хуанг (CEO NVIDIA) "не отдавайте детей учиться программированию, мы заберем у них работу" и-и-и-и-и...? И к какому выводу приходим? 😉
Пост "Программисты всё вымирают и вымирают" все еще на 16-м месте в топе года Хабра, а миллионы леммингов не могут ошибаться. Там советуют расслабиться, сидеть ровно и не кашлять (дословно!)
И это ПРОСТО ПРЕКРАСНО! 👍 (не забудьте посоветовать прочитать эту статью всем знакомым)
Let's make your
#SWE_benchmarking
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍2
Коллеги!
Я не пишу, но это не значит, что ничего не происходит, просто некогда)
А тем временем Настя Анциферова вошла в шотлист премии молодых ученых России в области ИИ! Пруф:
https://ai-awards.ru/award/scientist
(там 7 человек на Россию, здорово, что среди них есть человек с ВМК!)👏 👏 👏
Горячо поздравляю! 💐🎉💐🎉💐🎉💐
Считаю, что тем, кто у нас работает под ее руководством, сильно повезло! 👍👍👍 (это хороший шанс прокачаться)
Продолжаем движение! 😁
Я не пишу, но это не значит, что ничего не происходит, просто некогда)
А тем временем Настя Анциферова вошла в шотлист премии молодых ученых России в области ИИ! Пруф:
https://ai-awards.ru/award/scientist
(там 7 человек на Россию, здорово, что среди них есть человек с ВМК!)
Горячо поздравляю! 💐🎉💐🎉💐🎉💐
Считаю, что тем, кто у нас работает под ее руководством, сильно повезло! 👍👍👍 (это хороший шанс прокачаться)
Продолжаем движение! 😁
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9🔥7❤3
Коллеги!
Ну а я выступаю в четверг на семинаре, посвященном AI-кодекам (крайне перспективная, равно как и спекулятивная тема сегодня, с очень серьезными нерешенными проблемами). Семинар пройдет в Физтехе, ниже анонс. Обещают трансляцию в канале, там же подробности по докладам. Кому интересно — велкам)
Ну а я выступаю в четверг на семинаре, посвященном AI-кодекам (крайне перспективная, равно как и спекулятивная тема сегодня, с очень серьезными нерешенными проблемами). Семинар пройдет в Физтехе, ниже анонс. Обещают трансляцию в канале, там же подробности по докладам. Кому интересно — велкам)
Зовем вас на Научный семинар «AI-кодеки: технологии, перспективы, вызовы»
5 декабря в📍 МФТИ собираемся обсудить, как нейросети перевернули мир сжатия видео и изображений:
– Путь развития технологий от истоков до SOTA, диффузии, random access
– Разбираем реальные кейсы и вызовы.
– Ловим инсайты от лучших экспертов!
Подробности – в карточках🗓 Когда: 5 декабря, 18:00
Регистрация до 4 декабря 15:00 на TimePad
Ссылка на запись и трансляцию в нашем канале @mil_team_partners. Вопросы – там же
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤2🎉1