Из интервью с Барбарой Лисков.
Вы достигли профессионального совершеннолетия во время разработки искусственного интеллекта.
Как изменилось представление об искусственном интеллекте и машинном обучении за время вашей карьеры?
Что думаете? Начнем использовать «для всего подряд без разбора»?
Я вот например сегодня опят с курсором прошел уже обычный путь от «безмерной благодарности и радости от быстрой генерации небольших кусков» до «идиот, ты можешь просто мокнуть вот этот конкретный клиент?»
Не может.
Вы достигли профессионального совершеннолетия во время разработки искусственного интеллекта.
Как изменилось представление об искусственном интеллекте и машинном обучении за время вашей карьеры?
Я защитила докторскую диссертацию с Джоном Маккарти в области искусственного интеллекта. Я написала программу для разыгрывания шахматных эндшпилей. Эту тему предложил Джон, потому что я не играла в шахматы. Я прочитала [шахматные] учебники и перевела эти алгоритмы в поле информатики.
В то время, вершиной научной мысли было — сделать так, чтобы программа вела себя так, как поступал бы человек. Сейчас уже дела обстоят иначе.
Сегодня программы на основе машинного обучения в большинстве случаев неплохо справляются со своими задачами, но все же не всегда.
Люди не понимают, почему они работают или не работают. Если я работаю над проблемой и мне нужно точно понять, почему работает алгоритм, я не буду применять машинное обучение.
С другой стороны, один из моих коллег анализирует маммограммы с помощью машинного обучения и находит доказательства того, что рак можно обнаружить намного раньше.
Искусственный интеллект — это скорее прикладная, нежели обособленная дисциплина. Его всегда использовали для чего-то конкретного.
Что думаете? Начнем использовать «для всего подряд без разбора»?
Я вот например сегодня опят с курсором прошел уже обычный путь от «безмерной благодарности и радости от быстрой генерации небольших кусков» до «идиот, ты можешь просто мокнуть вот этот конкретный клиент?»
🗿2👍1🤔1🌭1
Оказывается у меня была УЙМА бустов, потому что я частенько кому то дарил телеграм премиум за последние пару лет.
Ну… забустил канал себе🔍
Накидал новых реакций, чтобы было молодежно и модно!
Ожидайте в сторис мемы💃
Ну… забустил канал себе
Накидал новых реакций, чтобы было молодежно и модно!
Ожидайте в сторис мемы
Please open Telegram to view this post
VIEW IN TELEGRAM
Поздравляю вас с восьмым марта, дорогие подписчицы и подписчики!
Предлагаю вам сегодня вспомнить (или узнать) самых известных и удивительных женщин, которые так или иначе внесли по настоящему значимый вклад в нашу любимую айтишку.
Ада Лавлейс — первая в мире программистка! Она не просто перевела лекции Бэббиджа по аналитической машине с французского на английский, но расширила этот перевод инструкциями, которые по сути и есть программы.
Жаль что машину эту так и не построили👎
Грейс Хоппер — разработала первый компилятор и создала язык COBOL, который до сих пор используется. Именно она ввела термин "баг", когда нашла мотылька, застрявшего в реле компьютера Mark II🪳
Барбара Лисков — я пару раз писал о ней в последние дни. Помимо принципа подстановки Барбара получила премию Тьюринга за вклад в теорию абстракции данных (по сути - интерфейсы).
Радиа Перлман — "мама интернета", потому что разработала STP протокол что решил проблему сетевых петель и сделал возможным функционирование современных компьютерных сетей. Радиа считает это своим самым простым изобретением😱
Фрэнсис Аллен — первая женщина получившая премию Тьюринга (в 2006🫠 ) за за работу в области оптимизации компиляторов. Отдала 45 лет жизни IBM, которая учредила в ее честь премию в 2007.
Лоис Хайбт — в 23 года стала одним из ключевых разработчиков FORTRAN (а чего добился ты в 23?😂 ). Она создала первый синтаксический анализатор для арифметических выражений, популяризировала термин «программная инженерия», и разработала концепцию асинхронного ПО 🤩
И это далеко не все женщины программисты, математики и ученые, которые внесли и продолжают вносить вклад, продвигая человечество к следующей технологической революции!
Любите женщин, поздравляйте женщин и берегите их, за все их старания, взгляд на реальность и заботу о нас.
С праздником, дорогие!🌷 👩💻
Предлагаю вам сегодня вспомнить (или узнать) самых известных и удивительных женщин, которые так или иначе внесли по настоящему значимый вклад в нашу любимую айтишку.
Ада Лавлейс — первая в мире программистка! Она не просто перевела лекции Бэббиджа по аналитической машине с французского на английский, но расширила этот перевод инструкциями, которые по сути и есть программы.
Жаль что машину эту так и не построили
Грейс Хоппер — разработала первый компилятор и создала язык COBOL, который до сих пор используется. Именно она ввела термин "баг", когда нашла мотылька, застрявшего в реле компьютера Mark II
Барбара Лисков — я пару раз писал о ней в последние дни. Помимо принципа подстановки Барбара получила премию Тьюринга за вклад в теорию абстракции данных (по сути - интерфейсы).
Радиа Перлман — "мама интернета", потому что разработала STP протокол что решил проблему сетевых петель и сделал возможным функционирование современных компьютерных сетей. Радиа считает это своим самым простым изобретением
Фрэнсис Аллен — первая женщина получившая премию Тьюринга (в 2006
Лоис Хайбт — в 23 года стала одним из ключевых разработчиков FORTRAN (а чего добился ты в 23?
И это далеко не все женщины программисты, математики и ученые, которые внесли и продолжают вносить вклад, продвигая человечество к следующей технологической революции!
Любите женщин, поздравляйте женщин и берегите их, за все их старания, взгляд на реальность и заботу о нас.
С праздником, дорогие!
Please open Telegram to view this post
VIEW IN TELEGRAM
🌭4 1
Приветствую.
Я несколько дней назад наконец начал изучать первый курс Школы Системного Менеджмента, называется он рациональная работа.
Курс так сказать взлетный, без него дальше обещают совсем не получится - ни системная инженерия, ни интеллект стек (что это - вы можете узнать позже в моих постах, или пойти почитать Анатолия Левенчука в ЖЖ)
Неотъемлемая часть любого плодоносного изучения - это мышление письмом, так что я частенько буду писать по поводу пройденного материала.
Сегодня я изучал и писал про _Собранность_ как фундаментальное мастерство.
Звучит громко, но это очень интересно, и спорить довольно сложно.
По ссылке ~9.5 тысяч знаков на эту тему🔗
---
TLDR;
Без собранности - нормальная работа, в смысле ее результативности практически невозможна. Слово выбранно очень интересное, оно откликается с "осознанность", но это ошибочная дорожка.
Собранность тут скорее рассматривается как первый принцип, основание интеллектуального мастерства находить, выбирать, или даже разрабатывать правильне методы по достижению цели. Ставить эти самые цели, и интегрировать результаты такой работы в реальность.
В общем зацените, там само мастерство тоже разбираем.
😐
Я несколько дней назад наконец начал изучать первый курс Школы Системного Менеджмента, называется он рациональная работа.
Курс так сказать взлетный, без него дальше обещают совсем не получится - ни системная инженерия, ни интеллект стек (что это - вы можете узнать позже в моих постах, или пойти почитать Анатолия Левенчука в ЖЖ)
Неотъемлемая часть любого плодоносного изучения - это мышление письмом, так что я частенько буду писать по поводу пройденного материала.
Сегодня я изучал и писал про _Собранность_ как фундаментальное мастерство.
Звучит громко, но это очень интересно, и спорить довольно сложно.
По ссылке ~9.5 тысяч знаков на эту тему
---
TLDR;
Без собранности - нормальная работа, в смысле ее результативности практически невозможна. Слово выбранно очень интересное, оно откликается с "осознанность", но это ошибочная дорожка.
Собранность тут скорее рассматривается как первый принцип, основание интеллектуального мастерства находить, выбирать, или даже разрабатывать правильне методы по достижению цели. Ставить эти самые цели, и интегрировать результаты такой работы в реальность.
В общем зацените, там само мастерство тоже разбираем.
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegraph
Фундаментальное мастерство
Задумывались ли вы когда-нибудь, чем отличается новичок и мастер? Не важно в какой предметной области. Если вы слышали про 10.000 часов, то наверняка это первое, что пришло вам на ум — количество инвестированного времени в какую-то деятельность. В целом,…
За прошедшую неделю меня несколько раз спросили – а не наркоман ли я часом? какую LLM я жмав в cursor и неужели оно правда моросит?
Ну, если коротко: жмав куда надо, и да – моросит.
Более подробно – читать тут.
В посте я снова обьясняю свою позицию, нисколько не отрицая и не умоляя все прелести от работы с LLM.
Ток то куда не глянь – везде одними моделями пользуешься. Гугл хоть пока и не издох, но на две трети вопросов я иду сразу в Perplexity, например, и только потом и если нужно – в гулу-гулу.
😮 Кстати, по поводу Perplexity. У них оказуется апиха довольно дешевая, я собираюсь с ней поэсперементировать, хочу попробовать специлизированные микро-поисковые движки наколеночные проверить.
Если у вас есть опыт работы с этим API - напишите пару строк в комменты, буду признателен😘
Ну, если коротко: жмав куда надо, и да – моросит.
Более подробно – читать тут.
В посте я снова обьясняю свою позицию, нисколько не отрицая и не умоляя все прелести от работы с LLM.
Ток то куда не глянь – везде одними моделями пользуешься. Гугл хоть пока и не издох, но на две трети вопросов я иду сразу в Perplexity, например, и только потом и если нужно – в гулу-гулу.
Если у вас есть опыт работы с этим API - напишите пару строк в комменты, буду признателен
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegraph
Пожалуйста, думайте!
Когда я ругаю LLM, а в частности программирование с LLM, народ частенько задумывается. То ли не согласны со мной, то ли думают что я далек от прогрессивного мира LLM driven development, не умею в prompt "engineering" – не знаю 🤷♂️ Пару раз меня в личку уже…
Тыак, добрейший вечерочек (или что у вас там.)
Я написал, а вы почитайте; В коментах можно разводить срач!
Там в общем в продолжение по СИ, но вообще про "Базу" для программиста.
Неожиданно нашел (неожиданно?), продвигаясь по курсу, формулировки и слова, которые очень хорошо отражают мои субьектинвые ощущения и наблюдения касаемо этой самой "базы".
Ну и что есть база вообще тоже понимание формируется, а то так, какая то каша в голове была.
Пойду чай варить.
Я написал, а вы почитайте; В коментах можно разводить срач!
Там в общем в продолжение по СИ, но вообще про "Базу" для программиста.
Неожиданно нашел (неожиданно?), продвигаясь по курсу, формулировки и слова, которые очень хорошо отражают мои субьектинвые ощущения и наблюдения касаемо этой самой "базы".
Ну и что есть база вообще тоже понимание формируется, а то так, какая то каша в голове была.
Пойду чай варить.
Telegraph
Три поросенка и фундаментальная база
Можно сколько угодно спорить о: Нужна ли вышка программисту или нет. Нужна ли математика или нет. Нужны ли алгоритмы и структуры данных или нет. Рептилоид ли Цукурберг. По мне, тут спорить не о чем, т.к. вопросы эти поставлены некорректно ❌ Во-первых, вообще…
В 1999 в Японии на ядерном объекте Токаймура чуть не жахнуло 💥
Это не АЭС, но там производили компоненты топлива для Японских АЭС.
Не жахнуло, но произошла критическая авария (самая серьезная в Японии на тот момент) – 2 человека погибло, и 667 облучило (не уверен насколько подсчеты верны, может и больше.)🕯
Эффективные менеджеры-управленцы решили ускорить пайплайн, ну вот прост почему бы и нет.
До этого на заводе строго следовали лицензированной японским Управлением науки и технологий процессу - мешали компоненты в буферной емкости.
Емкость на то и буферная, чтобы компоненты там задерживались, и в управлении явно не идиоты сидели.
Итак, эффективные менджеры нашни боттлнек и решили ускорить процесс, приказали убрать буферную емкость и постановили смешивать закись-окись украна в ручную в десяти литровых ведрах и сливать в большой столитровый контейнер (тот перед которым был "боттлнек").
Пиздец! 😖
Люди которые принимали это решение, мало того что не подумали о том, что система сконструирована так не со злым умыслом, и не просто как следствие инженерной душной души, но еще основывались на такой идейке – "мы все равно производим слабо обогащенный уран, так что точно не жахнет! Врядли у нас будут заказы на другой уран! Погнали!"🤑
MONEY!
30 сентября 1999 года на Токаймуре обрабатывали заказ с сырьем высокой степени обогащения.
30 сентября 1999 года на Токаймуре работала смена неопытных рабочих.
...
История эта хоть и кажется имеющей мало отношения к нашим IT реалиям, но имеет.
"Эффективный менеджмент", когда его целью является увеличение скорости выпуска/заработка любой ценой эффективным называть как минимум не корректно.
Мы можем сказать что в IT вроде бы как с ураном не работают, и врядли кого-то убить можно, но это опять оторвано от контекста, и рассуждения такие сами по себе проблема, потому что проистекают из недостатка коллективной (и индивидуальной) ответственности + собранности в индустрии.
Заваливая команды 20-тью параллельными задачами, все из которых в приоритетах high и critical, мы ускоряем не скорость продукции, а скорость генерации технического долга, инцидентов, боттлнеков и "текучки".
Осуждать мы не будем, было и было, и все с ними понятно.
А вот о важности формальных моделей и зачем, почему они на самом деле нужны я напишу намного подробнее завтра.
Это не АЭС, но там производили компоненты топлива для Японских АЭС.
Не жахнуло, но произошла критическая авария (самая серьезная в Японии на тот момент) – 2 человека погибло, и 667 облучило (не уверен насколько подсчеты верны, может и больше.)
Эффективные менеджеры-управленцы решили ускорить пайплайн, ну вот прост почему бы и нет.
До этого на заводе строго следовали лицензированной японским Управлением науки и технологий процессу - мешали компоненты в буферной емкости.
Емкость на то и буферная, чтобы компоненты там задерживались, и в управлении явно не идиоты сидели.
Итак, эффективные менджеры нашни боттлнек и решили ускорить процесс, приказали убрать буферную емкость и постановили смешивать закись-окись украна в ручную в десяти литровых ведрах и сливать в большой столитровый контейнер (тот перед которым был "боттлнек").
Люди которые принимали это решение, мало того что не подумали о том, что система сконструирована так не со злым умыслом, и не просто как следствие инженерной душной души, но еще основывались на такой идейке – "мы все равно производим слабо обогащенный уран, так что точно не жахнет! Врядли у нас будут заказы на другой уран! Погнали!"
MONEY!
30 сентября 1999 года на Токаймуре обрабатывали заказ с сырьем высокой степени обогащения.
30 сентября 1999 года на Токаймуре работала смена неопытных рабочих.
...
История эта хоть и кажется имеющей мало отношения к нашим IT реалиям, но имеет.
"Эффективный менеджмент", когда его целью является увеличение скорости выпуска/заработка любой ценой эффективным называть как минимум не корректно.
Мы можем сказать что в IT вроде бы как с ураном не работают, и врядли кого-то убить можно, но это опять оторвано от контекста, и рассуждения такие сами по себе проблема, потому что проистекают из недостатка коллективной (и индивидуальной) ответственности + собранности в индустрии.
Заваливая команды 20-тью параллельными задачами, все из которых в приоритетах high и critical, мы ускоряем не скорость продукции, а скорость генерации технического долга, инцидентов, боттлнеков и "текучки".
Осуждать мы не будем, было и было, и все с ними понятно.
А вот о важности формальных моделей и зачем, почему они на самом деле нужны я напишу намного подробнее завтра.
Please open Telegram to view this post
VIEW IN TELEGRAM
world-nuclear.org
Tokaimura Criticality Accident 1999 - World Nuclear Association
On 30 September 1999 three workers received high doses of radiation in a Japanese plant preparing fuel for an experimental reactor. Two of the doses proved fatal. The accident was caused by bringing together too much uranium enriched to a relatively high…
Привет! Что-то я чуть было не сдулся, но потом как вспомнил что обещал вчера тему продолжить. А слова надо держать.
Сдувался потому что как-то писал-писал, потом перечитал написанное, перечитал материал с курса и... понял что я все перепутал 🙂 И модель, и представление, и вообще все.
Вычитал и переписал нестыковки, стало получше, но все еще сложна.
Вот вроде бы простые такие вещи рассматриваем... вроде бы всем взрослым людям итак понятно должно быть. Ага, щас.
Анатолий Левенчук об этом часто предупреждал, так что норм. К концу курса рациональное мышление мы по идее распутаться должны, а там и с гордо поднятой головой пойдем уже во все тяжкие системной инженерии!
Напомню что обещанно мной было продолжить разбирательство на тему моделей, что это такое и зачем (с долей лукаства, на самом деле только подбираемся, но очень надобные для понимания вещи вбиваем в голову.)
🔗 Жмай 🔗
Очень открыт к обсуждению в комментариях😊
Сдувался потому что как-то писал-писал, потом перечитал написанное, перечитал материал с курса и... понял что я все перепутал 🙂 И модель, и представление, и вообще все.
Вычитал и переписал нестыковки, стало получше, но все еще сложна.
Вот вроде бы простые такие вещи рассматриваем... вроде бы всем взрослым людям итак понятно должно быть. Ага, щас.
Анатолий Левенчук об этом часто предупреждал, так что норм. К концу курса рациональное мышление мы по идее распутаться должны, а там и с гордо поднятой головой пойдем уже во все тяжкие системной инженерии!
Напомню что обещанно мной было продолжить разбирательство на тему моделей, что это такое и зачем (с долей лукаства, на самом деле только подбираемся, но очень надобные для понимания вещи вбиваем в голову.)
Очень открыт к обсуждению в комментариях
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegraph
Отличаем модели и физический мир
Давайте подумаем, зачем нужны модели, и что такое вообще модель? Недавно я писал о собранности и мастерстве собранности. Начиная с сегодняшнего материала мы будем двигаться в сторону более прикладных аспектов мастерства собранной работы. Но для начала надо…
🌭2 1
У меня еще на самом деле один вопрос-опрос. Я смотрю тут в средней по 35-45 просмотров, а это прям достаточно внимания чтобы еще более ответственно к контенту на канале подойти.
Опопосевать и тупо репостить скучные новости я не планирую.
Но в целом готов формат расширять, если новости вам интересны - так тому и быть, но уж извините заранее если будет больше "мышления письмом" о них, чем рядовой репост "ыыы бугага смотрите кот танцует / у человека окно сознания 2.5 секунды ОШАЛЕТЬ!" и тд.
Опопосевать и тупо репостить скучные новости я не планирую.
Но в целом готов формат расширять, если новости вам интересны - так тому и быть, но уж извините заранее если будет больше "мышления письмом" о них, чем рядовой репост "ыыы бугага смотрите кот танцует / у человека окно сознания 2.5 секунды ОШАЛЕТЬ!" и тд.
🌭3
Итак, мультипул на ваш интерес 🎹
Можно жмать на несколько, мне главное понять что интересно и какое соотношение.
Если чего то нет вариантах - пиши в комменты же!
Можно жмать на несколько, мне главное понять что интересно и какое соотношение.
Если чего то нет вариантах - пиши в комменты же!
Anonymous Poll
63%
Системная инженерия топ, продолжаем! 💻
63%
Не хватает контента как раньше - хочу про Software Design и прикладное чуть побольше 😭
16%
Даешь LLM/ML/AI/IT Cutting Edge новости!!! 🤬
32%
Мемы 🤔
37%
Карьерные рекоммендации / продуктивность (более прикладное и попроще, а то вот этот ваш Левенчук...)
🌭2
Я вот ради упражнения обращаю сейчас чуть больше внимания на всякие индустрийные статейки, которые вроде бы рассматривают какую то проблему.
Раньше многие из них я просто отсканировав наискосок выбрасывал в мусор, без осознания почему – складывалось субъективное представление что там полезной информации мало 🫨
Почему, теперь стало более формально понятным :)
Статейки большие, раздутые, картинками напиханные. А по сути толчение воды в ступе.
Осознание разрыва, о котором вчера я писал, в них— околонулевое.
Предлагаемое решение проблемы такое же «оторванное».
Там где про какие то метрики пишут, ситуация вроде бы лучше, но выводы опять подозрительные, за рамки головы писателя редко выходят. Намека на работу с представлениями коллег, других агентов - тоже мало.
Ну и че там с инженерией?🤦♂️
Раньше многие из них я просто отсканировав наискосок выбрасывал в мусор, без осознания почему – складывалось субъективное представление что там полезной информации мало 🫨
Почему, теперь стало более формально понятным :)
Статейки большие, раздутые, картинками напиханные. А по сути толчение воды в ступе.
Осознание разрыва, о котором вчера я писал, в них— околонулевое.
Предлагаемое решение проблемы такое же «оторванное».
Там где про какие то метрики пишут, ситуация вроде бы лучше, но выводы опять подозрительные, за рамки головы писателя редко выходят. Намека на работу с представлениями коллег, других агентов - тоже мало.
Ну и че там с инженерией?
Please open Telegram to view this post
VIEW IN TELEGRAM
VibeCodding это оскорбление чувств думающих и ценящих свое время людей.
Я тут таки попробовал на повышенной сложности в это СНОВА.
В чем заключалась эта сложность:
Во-первых, как я говорил ранее – я попробовал метод Харпера который вам репостил, но чуток расширил в OOAD, Design by Contract, чтобы более формальные инстурукции получались.
Тут кстати вроде бы не плохие спеки нагенерил Sonet!
Во-вторых – я взял язык и экосистему которую вообще никогда не трогал как разработчик.
Надо ли говорить что получилось?😳
Ставьте Патрика Бейтмана если хотите продолжение истории.
Я тут таки попробовал на повышенной сложности в это СНОВА.
В чем заключалась эта сложность:
Во-первых, как я говорил ранее – я попробовал метод Харпера который вам репостил, но чуток расширил в OOAD, Design by Contract, чтобы более формальные инстурукции получались.
Во-вторых – я взял язык и экосистему которую вообще никогда не трогал как разработчик.
Надо ли говорить что получилось?
Ставьте Патрика Бейтмана если хотите продолжение истории.
Please open Telegram to view this post
VIEW IN TELEGRAM
Ну таки вот она история про VibeCodding с утра:
Прчитать целиком про удивительный и немногообещающий эксперимент Ивана первый раз в жизни "покодить" на языке программирования Swift, который до этого он в глаза не видел можно ТУТ
Можно, конечно, сразу проспекулировать на тему:
О да оттож оно понятно, Вань, что это за глупость такая, зачем на языке который не знаешь то а?
Я уже говорил – чтобы прощупать пределы, которые прощупать можно экспериментально.
Вот если бы оно с таких крутых инструкций формальных написало плюс-минус сразу что-то работающее, на ЛЮБОМ языке, тогда бы мы поговорили и про Вайб, и про замену всех программистов LLM'ами и прочий бред с желто-коричневых медиа 🙂
Прчитать целиком про удивительный и немногообещающий эксперимент Ивана первый раз в жизни "покодить" на языке программирования Swift, который до этого он в глаза не видел можно ТУТ
Можно, конечно, сразу проспекулировать на тему:
О да оттож оно понятно, Вань, что это за глупость такая, зачем на языке который не знаешь то а?
Я уже говорил – чтобы прощупать пределы, которые прощупать можно экспериментально.
Вот если бы оно с таких крутых инструкций формальных написало плюс-минус сразу что-то работающее, на ЛЮБОМ языке, тогда бы мы поговорили и про Вайб, и про замену всех программистов LLM'ами и прочий бред с желто-коричневых медиа 🙂
Telegraph
Vibe, етить его, codding
Записывает мне вчера мой друг с густой шевелюрой голосовое сообщение. Говорит – "я сижу монтирую видео, и кликая мышкой издаю звуки ртом типа скдыщь-бдыщ-шмяк, вот прикольно было бы приложуху такую сделать." Ну, посмеялись. А утром сегодня я подумал - а что?…
🌭1
Чувак в Threads мне говорит, что Claude находит
в коде хуже чем ChatGPT.
Ну, это уже уровень LLM кринж-оппортунизма недостижимый даже для меня!
P.S. он фронтендер 😬
логические баги
в коде хуже чем ChatGPT.
Ну, это уже уровень LLM кринж-оппортунизма недостижимый даже для меня!
Please open Telegram to view this post
VIEW IN TELEGRAM
Задумываетесь ли вы когда нибудь рефлексивно? Например используя метакогнитивную эвристику «что я знаю? И почему я думаю что я это знаю?»
Как часто? Осознаете ли эмоции вовремя, или они вами рулят?
Как часто? Осознаете ли эмоции вовремя, или они вами рулят?
Anonymous Poll
26%
Что? 🤪
32%
Иногда применяю, не получается вовремя затормозить всегда когда надо 👀
26%
Часто применяю, ежедневно как минимум раз «смотрю в свою голову» 🍵
16%
Этот мир абсолютно понятен ⚰️
🌭1 1
Я наконец дочитал фанфик Элиезера Юдковского – Гарри Поттер и методы Рационального Мышления.
Тяжело называть эту книгу фанфиком. Для меня это тот самый Гарри Поттер каким он должен быть (особенно с колокольни Ивана 31 лет, а не 13)
Мне было трудно ее читать, не потому что она читается сложно – напротив. Я не хотел чтобы эта книга заканчивалась :)
В каком то смысле она и не закончилась, потому что из под пера Элизера вышло еще много чего, и он здравствует. Следующая - Rationality: From AI To Zombies, ну и весь lesswrong.com☺️
Невозможно называть ГПиМРМ художественным произведением, хотя и написано исключительно художественным языком. Это кладезь рефлексии и вполне себе entry point куда то… в более рациональное место, в портал научного мышления.
ГПиМРМ – тот Гарри Поттер которого не хочется бросать читать
Я так и не дочитал, еще в давние школьные годы, Гарри Поттера, бросил где то на принце полукровке, уж очень показалось затянутым и вообще жалко было Сириуса :)
Я настоятельно рекомендую познакомиться с этой книгой всем, а так же с LessWrong, и с “самим Элизером“
Элизер, кстати – автодидакт. Высшего образования у него нет :)
А еще это один из немногих людей чье мнение про AI, LLM, и наверное мнение вообще, мне действительно интересно.
Безумно благодарен человек, который меня на эту книгу и движуху навел, впрочем я благодарен ему был и так, ибо это далеко не первый и бесценный подарок🙏
Тяжело называть эту книгу фанфиком. Для меня это тот самый Гарри Поттер каким он должен быть (особенно с колокольни Ивана 31 лет, а не 13)
Мне было трудно ее читать, не потому что она читается сложно – напротив. Я не хотел чтобы эта книга заканчивалась :)
В каком то смысле она и не закончилась, потому что из под пера Элизера вышло еще много чего, и он здравствует. Следующая - Rationality: From AI To Zombies, ну и весь lesswrong.com
Невозможно называть ГПиМРМ художественным произведением, хотя и написано исключительно художественным языком. Это кладезь рефлексии и вполне себе entry point куда то… в более рациональное место, в портал научного мышления.
ГПиМРМ – тот Гарри Поттер которого не хочется бросать читать
Я так и не дочитал, еще в давние школьные годы, Гарри Поттера, бросил где то на принце полукровке, уж очень показалось затянутым и вообще жалко было Сириуса :)
Я настоятельно рекомендую познакомиться с этой книгой всем, а так же с LessWrong, и с “самим Элизером“
Элизер, кстати – автодидакт. Высшего образования у него нет :)
А еще это один из немногих людей чье мнение про AI, LLM, и наверное мнение вообще, мне действительно интересно.
Безумно благодарен человек, который меня на эту книгу и движуху навел, впрочем я благодарен ему был и так, ибо это далеко не первый и бесценный подарок
Please open Telegram to view this post
VIEW IN TELEGRAM
С гордостью заявляю – я в своей карьере ни разу не удалил базу данных случайно.
Даже локальную для разработки.
Все свои базы я всегда удаляю в состоянии максимальной осознаности🤣
Даже локальную для разработки.
Все свои базы я всегда удаляю в состоянии максимальной осознаности
Please open Telegram to view this post
VIEW IN TELEGRAM
Обожаю Антропик.
Не только за крутые модели, а еще и за крутые исследования и статьи, написанные еще и языком вполне человеческим🗒
Последняя работа по аудиту моделей со скрытым умыслом вообще огонь.
Модели со скрытым умыслом, это такие модели которые эту свою цель не явным образом преследуют.
Это такие модели у которых в виду хренового обучения эти скрытые цели появляются, выглядеть это будет как воспроизводимые откровенно ошибочные ответы на категорию вопросов, натуральные биасы которые можно эксплуатировать.
А еще эти биасы можно «злоумышленно» обучить.
Потенциал тут большой, от информационной войны до злого вызова функций, так что исследование очень хорошее и правильное.
Короче, провели Антропик такой вот аудит, по канонам инфосеков - красная и синяя команда.
Красная команда наобучала моделей с биасами, используя reward models, которые давали «не правильный reward”🥳
А синие команды должны были в слепую их искать (ну или не очень в слепую.)
У синих были разные вводные, кому то было разрешено смотреть в датасет обучения (ez катка), кому то поведенческие допросы устраивать, а кому то залезть моделям “в башку” с помощью sparse autoencoders (это отдельная крутая штука которую разработал в Антропик, в статье про аудит есть линк на бумагу)
А кому то… дали доступ только к API.
Результат такой что через доступ API хренушки вы эти biases / скрытые цели распознаете.
Тревожно, особенно если (когда) обучать модели станет намного проще в смысле требований к железу.
Не стоит так же забывать про APT группировки, например что стоит Китаю…
а погодите, ничего😎
Их пробивные модели на предмет биасов сразу на мемы расползаются после релизов…
ЧЕЙ ТАЙВАНЬ, а???
Ну шутки шутками, а так то стрем.
Во тут оригинал, и все в нем ссылки на оригинальные документы, проваливайтесь.
Не только за крутые модели, а еще и за крутые исследования и статьи, написанные еще и языком вполне человеческим
Последняя работа по аудиту моделей со скрытым умыслом вообще огонь.
Модели со скрытым умыслом, это такие модели которые эту свою цель не явным образом преследуют.
Это такие модели у которых в виду хренового обучения эти скрытые цели появляются, выглядеть это будет как воспроизводимые откровенно ошибочные ответы на категорию вопросов, натуральные биасы которые можно эксплуатировать.
А еще эти биасы можно «злоумышленно» обучить.
Потенциал тут большой, от информационной войны до злого вызова функций, так что исследование очень хорошее и правильное.
Короче, провели Антропик такой вот аудит, по канонам инфосеков - красная и синяя команда.
Красная команда наобучала моделей с биасами, используя reward models, которые давали «не правильный reward”
А синие команды должны были в слепую их искать (ну или не очень в слепую.)
У синих были разные вводные, кому то было разрешено смотреть в датасет обучения (ez катка), кому то поведенческие допросы устраивать, а кому то залезть моделям “в башку” с помощью sparse autoencoders (это отдельная крутая штука которую разработал в Антропик, в статье про аудит есть линк на бумагу)
А кому то… дали доступ только к API.
Результат такой что через доступ API хренушки вы эти biases / скрытые цели распознаете.
Тревожно, особенно если (когда) обучать модели станет намного проще в смысле требований к железу.
Не стоит так же забывать про APT группировки, например что стоит Китаю…
а погодите, ничего
Их пробивные модели на предмет биасов сразу на мемы расползаются после релизов…
ЧЕЙ ТАЙВАНЬ, а???
Ну шутки шутками, а так то стрем.
Во тут оригинал, и все в нем ссылки на оригинальные документы, проваливайтесь.
Please open Telegram to view this post
VIEW IN TELEGRAM
Anthropic
Auditing language models for hidden objectives
A collaboration between Anthropic's Alignment Science and Interpretability teams
🌭1