🎓📱 В вузе Якутии создадут кафедру по информационной безопасности

В Якутии создадут кафедру по информационной безопасности в Институте математики и информатики Северо-Восточного федерального университета. Это решение связано с растущей значимостью кибербезопасности в условиях цифровизации.

#информбезопасность

🏳 Все новости | #Яестьновость | Обсудить

Аферисты используют студентов-программистов из России для создания вирусных кодов, говорится в материалах МВД, с которыми ознакомилось РИА Новости.

Жулики подыскивают студентов IT-специальностей, чтобы те создавали вредоносные программы, взламывали аккаунты или создавали фишинговые сайты.

При этом злоумышленники убеждают будущих программистов, что все это испытательное задание от "работодателя".

Мошенники обещают профессиональный рост и высокие гонорары. При этом ваш код может быть использован для кибератак.

🔹 Подписаться на РИА Новости

О природе галлюцинаций ИИ или как "технари" обучают думающую машину уверенно врать, и что с этим делать.

Современные Llm галлюцинируют. Все пользователи ИИ так или иначе сталкиваются с уверенным ответом модели, содержащим случайное (подчас бредовое) сочетание информации в выдаче. Особенно заметно это в образовании, где для нас так важны точные знания.

Неверные выдачи модели как таковые являются прямым следствием специфики ее архитектуры. Но вот ученые из Georgia Institute of Technology в своем исследовании 📄"Why Language Models Hallucinate" обратили внимание на интересную деталь.

Нам вредят не сами галлюцинации а та уверенность с которой модель их выдает. Модели "не умеют говорить нет" не могут признаться в собственном незнании или недостатке компетености, и именно эта "ложная уверенность" и создает основные проблемы (в основном потому что мы ей слепо верим).

Ложная уверенность модели, считают авторы статьи, является следствием того как именно модели дообучают. Занимаются этим ML DS специалисты (по образованию как правило математики) и вот за каждую верную генерацию модель поощряют (лайками) а за каждую неверную - наказывают. Что же происходит если модель колеблется и выдает неуверенный ответ? - ее не поощряют а иногда наказывают. И происходит так абсолютно везде, потому что у "специалистов высокого класса" в части DS есть четкое понимание того - как правильно.

То есть в результате все модели учатся тому что уверенная выдача с 50% вероятностью дает поощрение а неуверенная, колебание, подтверждение недостатка информации со 100% ВЕРОЯТНОСТЬЮ ПООЩРЕНИЯ НЕ ДАЕТ...

При этом другое крайне интересное исследование доказывает что несмотря на совершенно разное устройство мозга человека и архитектуры модели в вопросах абстрактного мышления они показывают удивительное сходство.

➖Крупные LLM (70B параметров) справлялись со сложной абстрактной задачей почти так же, как люди, тогда как мелкие модели показывали значительно худший результат.
➖ Те же правила, которые вызывали трудности у людей, оказывались трудными и для LLM.
➖ Внутренние состояния LLM группировались по смыслу правил, а не случайным образом: чем более выраженной была группировка, тем лучше модель справлялась.

Что в итоге:

Сложная машинная модель думает очень похоже на человека (как минимум в плане абстрактного мышления). но при дообучении ее "направляют" и формируют совершенно иначе чем человека. Напомню нас с вами учат практически 95% гуманитарии, понимающие то что человеку свойственно колебаться и испытывать неуверенность, а абсолютным знанием обладает лишь Господь Бог.

В своем исследовании авторы статьи приходят к выводу, что вред от галлюцинаций можно снизить если учить модель тому что быть неуверенной, колебаться и честно говорить об этом - нормально.

Пример: модели будут «наказаны» за ложную уверенность и вознаграждены за честное признание неопределённости («не знаю», «вероятно», «есть несколько версий»).

Галлюцинации не исчезнут, так как языковая модель работает по принципу вероятностного распределения слов, но уверенных ложных ответов от ИИ-всезнайки должно быть меньше.

🔤🔤 Правда есть нюанс. Это приведет к тому что мы будем еще больше доверять ии и еще меньше использовать критическое мышление. Может пусть лучше врут и бредят дальше? как вы считаете❓ :))

💢 ИИ и данные в образовании на канале  Дизайн Образования

✔️5 инсайтов от Андрея Комиссарова по итогам вебинара

Сегодня у нас в гостях был эксперт в области цифровой трансформации образования в России – Андрей Комиссаров.

Собрали для вас 5 ключевых выводов:

1️⃣Главный совет по самообучению в области ИИ — начать.
Многие генеративные инструменты сейчас бесплатны и доступны всем, поэтому главное начать пробовать и экспериментировать. Кроме того, очень важно, чтобы у человека априори было развито системное мышление.

2️⃣ Обучение должно измеряться компетенциями, а не NPS и CSI
Эффективность обучения не в том, «понравилось ли», а в том, появилась ли у сотрудника способность к деятельности. Метрики вроде звёздочек и опросов не показывают реального роста.

3️⃣ Будущее образования в праксисе (деятельности), а не в текстах
Современные студенты больше не могут подтверждать знания через тексты (эссе, сочинения и т.п.), потому что их легко генерирует ИИ. Вместо этого нужно решать реальные задачи, где результат виден в действии, а не в словах.

4️⃣Учителя и HR-эксперты не исчезнут, они станут «фасилитаторами понимания»
Даже в эпоху цифровых аватаров живой преподаватель остаётся необходимым, чтобы задавать правильные вопросы, видеть вовлечённость и выявлять глубину понимания, а не просто факт прохождения курса.

5️⃣ Корпоративное обучение должно быть встроено в рабочие процессы
Вместо отдельных курсов микрообучение (микролернинг) в момент необходимости. Например, система замечает, что сотрудник пишет слабый промпт, и тут же даёт короткую инструкцию.

Смотрите вебинар полностью:
Вконтакте
Одноклассники
Рутуб
Дзен

🖱Официальный тг-канал Андрея @LXD_education.
Курс по промпт-инженерии: https://t.me/LXD_education/1776.

🖱Больше полезной информации на канале ООП @openeduspace.

#интервью #вебинар #АндрейКомиссаров #ИИ #HR #геймификация #СергейЖурихин #Открытоеобразовательноепространство