Сиолошная
43.6K subscribers
717 photos
122 videos
1 file
875 links
Канал SeeAll'а с новостями (и мыслями о них) из мира NLP, VR и космоса.

Более подробно смотри в первом сообщении в канале (оно закреплено). А еще у нас есть чат! Заходи: https://t.me/+i_XzLucdtRJlYWUy
Download Telegram
Сиолошная
Ну вот только поговорили...как вдруг OpenAI анонсировали, что запускают фонд на 10 грантов по $100'000 на создание прототипов демократического процесса управления ИИ. Цель — профинансировать эксперименты с методами сбора детального фидбека ото всех о том,…
И ещё одна инициатива, "Cybersecurity grant program"!

OpenAI запускает программу грантов на кибербезопасность на сумму $1 млн с целью усовершенствования мер кибербезопасности, основанных на ИИ. Цели программы включают обеспечение специалистов из сферы кибербезопасности передовыми средствами ИИ, количественное измерение эффективности ИИ в этой области и повышение уровня дискуссии на стыке двух наук.

В качестве идей для проектов предлагаются такие вещи, как:
— Сбор и разметка данных для обучения агентов (в контексте кибербезопасности)
— Обнаружение и смягчение социальной инженерии и её последствий
— Автоматизация отработки инцидентов
— Определение уязвимостей в исходном кодеи
— Разработка или улучшение защищенных вычислений на GPU
— Помощь пользователям в понимании и привитии лучших практик защиты от кибератак

OpenAI призывает авторов проектов делать их ориентированными на максимальную общественную пользу, с акцентом на "оборонительную" стратегию в кибербезопасности, нежели "атакующую" (не хотят давать автономным системам власть, хех).

Ссылка
Обладают ли Большие Языковые Модели моделью мира? Ну, в переносном смысле не знаю, а в прямом — да! По крайней мере, так мне кажется после прочтения статьи "GPT4GEO: How a Language Model Sees the World's Geography", где авторы из University of Cambridge и еще пары мест попытались проанилизировать географические знания модели GPT-4.

С помощью промптов, заставляющих модель выдавать координаты, цифры или текстовые инструкции было сделано множество экспериментов, начиная отрисовкий линий метрополитена и заканчивая задачками на смены часовых поясов при перелетах. И всё это — без доступа к интернету!

Первый пример, собственно, мне и понравился больше всего — его вы можете видеть на прикрепленном изображении. Видно, что модель достаточно точно воссоздала метрополитен Гонконга: какие-то линии прорисованы до мельчайших деталей геометрии, а какие-то даже не учитывают все станции.

Основная причина, по которой я захотел поделиться этим, заключается в моем желании выразить простую идею, что сейчас для экспериментов с LLM не нужны гигансткие бюджеты, так как модели теринровать и не нужно: можно обойтись смекалкой, придерживаться клевой идеи, копать вглубь и придумывать, как почелленджить модель. Главное найти ответ на вопрос "а чо еще потыкать у модели?".
Сиолошная
Обладают ли Большие Языковые Модели моделью мира? Ну, в переносном смысле не знаю, а в прямом — да! По крайней мере, так мне кажется после прочтения статьи "GPT4GEO: How a Language Model Sees the World's Geography", где авторы из University of Cambridge и…
Не менее интересны и примеры, в которых просили для отдельного типа транспорта написать маршрут от точки А к точке Б. Если присмотритесь, то увидите, что отображены и маршруты, предложенные Google Maps — и они почти в точности совпадают для публичного транспорта!

Модель, стало быть, отличный гид по крупным городам! Зачем переплачивать?)
Forwarded from Трендоскоп Lab (Александр)
Планы OpenAI на ближайшее будущее

Сэм Альтман на днях дал интервью разработчикам, вот что там интересного:

- Основной ботлнек у OpenAI сейчас — острая нехватка GPU. Из-за этого многие краткосрочные планы откладываются. Как всегда, от золотой лихорадки больше всего выигрывают продавцы «лопат»)

- Роадмап сервисов на этот год:
(i) более дешёвая и быстрая GPT-4;
(ii) увеличенное контекстное окно, возможно даже до 1М токенов;
(iii) API для файнтюнинга моделей;
(iv) Stateful API — «память» для истории диалога, чтобы GPT не приходилось каждый раз проходиться по всему чату и тратить токены.

- Главная фишка GPT-4 - мультимодальность - откладывается на следующий год, опять же из-за дефицита GPU.

- Плагины ChatGPT пока не имеют product-market fit. Поэтому в ближайшее время их не планируют включать в API.

- Обещают не копировать успешные продукты на базе их API. Фокусируются на ChatGPT, как на умном помощнике для работы — а остальные GPT-юзкейсы оставят сторонним разрабам.
Вспомнил про то, как полгода назад отвечал на сообщение:

> Я пытался найти какой-нибудь стрим с прогером, ну типа парное программирование для одиноких людей. Несколько раз искал причем. Все что находил - девушку с декольте болтающую по посторонние темы с открытым визуал код.
Типа 4-5 зителей <было бы идеально>

Я тогда написал (ответ слегка отредактирован для облегчения восприятия, но без изменения смысла):

https://www.twitch.tv/georgehotz

Короче, кто не в курсе — это американский хакер, ставший известным благодаря снятию блокировки со смартфона iPhone, что позволило использовать его с другими операторами сотовой связи кроме AT&T. Кроме того известен взломом Sony PlayStation 3 и последовавшим после этого судебным иском со стороны компании Sony (он даже написал про эту песню, лол).

Последние месяцев 9 он пишет свой бэкэнд для нейронок на питоне (все на гите в опенсорсе). В этом есть две ценности, на мой взгляд, которые будут полезны людям, у которых <5 лет опыта в индустрии:
1) он крепкий Software Engineer (SWE), а не Machine Learning Engineer, поэтому он сначала продумывает до мелочей дизайн, интерфейсы, все до идеала просчитывает, и свои мысли описывает. Есть чему поучиться, и это очень ценно
2) он крепкий SWE, и стоит поучитьcя у него отладке кода, написаню тестов и тому, как он решает проблемы. Этот человек в топ-1% по навыкам кодинга 💯, скорее даже 0.01%, и при этом он делает то, чего я часто не вижу у вопрошающих людей в Slack/телеграм чатах/у стажеров на работе. Он видит ошибку И СРАЗУ ЕЕ ГУГЛИТ, НЕ СТЕСНЯЯСЬ. И, внезапно, находит решение 😱. Я не знаю, почему люди этого не делают, быть может думают, что умные и сами разберутся. Но, в моем понимании, видя то, как другие профессионалы решают проблемы, может быть это уйдет.

Всем очень рекомендую посмотреть хотя бы 2-3 часа (лучше мотать первый час, там он обычно только вкатывается в процесс), и потом понять для себя, будет ли полезно.

Видосы можно найти тут https://www.youtube.com/c/georgehotzarchive/videos. А ссылку на твич-стрим я приложил в самом начале, он прямо сейчас ведет трансляцию, пытается перенести на свой фреймворк модель Whisper для перевода записи голоса в текст (модель от OpenAI, кстати, для которой доступен и код, и веса).
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Борис опять
#личное
# Over, Under

Я различаю в жизни два состояния. Ты или над кривой, что я называю over, или под кривой, то есть under.

Что за кривая? Кто в детстве играл в Warcraft 3, тот помнит, что в конце матча можно посмотреть статистику и увидеть кривую накопления ресурсов и победных очков. По оси Х время, по оси Y очки. В жизни мне представляется аналогичная кривая совокупных победных очков среди твоей когорты людей. Твоя личная кривая может находится или над, или под.

Когда ты над кривой жизнь пытается догнать тебя. Это состояние когда ты превосходишь собственные ожидания. Вокруг тебя только выборы из хорошо и еще лучше. Тратишь мало сил, получаешь много отклика. Много свободного времени не в ущерб яркости жизни. У тебя больше денег, свободы, впечатлений или чего-то еще, что ты ценишь, чем в среднем у похожих людей. По моему опыту нахождение в зоне over имеет накопительный эффект, помогая открываться от кривой все дальше и дальше. Если у тебя есть свобода ты можешь вкладываться в долгосрочные вещи. Ты можешь рисковать. Вложения в долгосрочные и рискованные вещи дают нелинейный выхлоп. В таком состоянии я написал статью про ковид, одновременно хорошо зарабатывая, наслаждаясь жизнью и имея столько свободного времени, что мог изучать карточные трюки. Количество денег опережало затраты настолько, что я экспериментировал с личными ассистентами (пытаясь обменять деньги на время) и с попытками платить людям за прототипы продуктов (пытаясь обменять деньги на возможности). Over порождает over.

Если же ты under, то есть под кривой, то ты пытаешься догнать жизнь. Делаешь ради выхлопа с мультипликатором меньше единицы. Проблемы накапливаются быстрее, чем ты успеваешь их разгребать. Нет пространства для креативного или рискованного, ведь все занято срочным и необходимым. В этом состоянии даже возможности воспринимаются как тяжелые обязанности и лишняя нагрузка, потому что места для них в голове нет. Это состояние так же имеет накопительный эффект. Тут сложный процент хреначит тебе по почкам и другим уязвимым местам будь-здоров. Неразрешенные проблемы накапливаются, откладываются и превращаются из мух в слонов. Например, я уже больше месяца не могу заполнить Ireland Tax Exemption Form, который от меня требует Interactive Brokers, что скорее всего приведет к потере доходности от накоплений. Откладывание походов к врачу превращается в хронические проблемы. Отношения остывают, ведь у тебя не хватает сил проявлять искреннее внимание к людям. Under порождает under.

Воспринимаю жизнь как постоянную гонку с кривой. Кривая растет нелинейно. Сегодня ты over, подрасслабился, а завтра уже under и пытаешься дотянуться до кривой. Примечательно, что с увеличением количества денег и других ресурсов легче не становится: со временем запросы и потребности растут. Если же ты обгоняешь кривую очень сильно, то начинаешь сравнивать себя с другими людьми, заришься уже на кривую другого масштаба, и вот ты снова under. Я понимаю, что это достигаторская оптика, в которой не особо много счастья. Но что поделаешь: сейчас я в глубоком under, а из этой позиции познать дзен-буддизм и принять реальность очень тяжело. По крайней мере я так не умею. Моя реакция на такую ситуацию это принять челенж, отнестись к происходящему как к игре, попытаться раскачать обстановку, выскочить, обогнать кривую.
Наткнулся в твиттере на пример того, как ControlNet применяют для превращения (почти) любых рисунков в QR-код, отсканировав который можно перейти по реально работающей ссылке. Собственно, можете попробовать и сами :)

На reddit можно найти еще 8 примеров с другими картинками (пару из них скину в комментарии для вашего удобства), а в оригинальном посте на одной из китайских платформ, где автор запостил свой процесс разработки - еще пару десятков.

Правда, работает у меня на Samsung дай бог каждый второй QR-код. Однако приятели с iPhone говорят, что считываются правильно почти все.

В общем, очень красивое применение технологии смешивания двух картинок (черно-белый QR-код и произвольное изображение), однозначно привлекающее внимание мимопроходящих.

UPD: в комментарии еще скинули твиттер-тред с объяснением принципа работы QR-кода, как там что кодируется и почему.
I believe that in 50 years’ time it will be possible to make computers play the imitation game so well
that an average interrogator will have no more than 70% chance of making the right identification
after 5 minutes of questioning.

– Alan Turing, 1950

В последние полгода как-то стыдно вспоминать про классический тест Тьюринга. Во-первых, не кажется, что он является качественным индикатором появления AI, а во-вторых ChatGPT/GPT-4 так далеко зашли по пути интеграции в сообщества (более 300 миллионов уникальных посетителей на сайте!), что кому-то кажется, что машины могут всё, а иному — что он легко отличит сгенерированные ответы от реальных.

Вашему вниманию предлагается статья "Human or Not?🤖🤖 A gamefied approach to the Turing Test".

В течение месяца в специально подготовленную веб-игру сыграло более 1,5 миллиона пользователей. Было предложено анонимно початиться на протяжении двух минут либо с другим человеком, либо с языковой моделью типа GPT (которой нужно было вести себя как человек).

Задача игроков заключалась в том, чтобы правильно угадать, разговаривают ли они с человеком или с машиной. Этот крупнейший на сегодняшний день тест в стиле Тьюринга выявил несколько интересных фактов. Например, в целом пользователи правильно угадывали личность своих партнеров только в 68% игр. А в отдельном подмножестве чатов, в которых пользователи сталкивались с ботом, у пользователей был еще более низкий уровень правильного угадывания — 60% (то есть ненамного выше, чем подбрасывание монетки 50/50). Плюс, люди были немного предвзяты, так как знали, что потенциально могут общаться с машиной (а про шумиху про ЕСКУСТВЕНЫЙ ИНТЕЛЕКТ вокруг нас и говорить не буду).

Понятно, что это в некотором смысле ограниченный эксперимент, и его нужно расширять (за 2 минуты много ли успеешь написать? 4-5 сообщений, и только), но сами цифорки интересные.

На картинке: примеры того, как люди пытались дурить друг друга и AI-шку.
Please open Telegram to view this post
VIEW IN TELEGRAM
Вчера вышла Diablo IV — продолжение культовой серии, возвращающее нас в Санктуарий (название вымышленного мира) спустя более чем 10 лет после "тройки".

У критиков игра получила хорошие оценки (88-93 балла на Metacritic, в зависимости от платформы), а от игроков на предрелизных тестах слышал много положительного, хоть и жаловались на отсутствие новизы и свежих идей. Но в целом очень рад за серию, так как у разработчиков сейчас не самая лучшая репутация, последние релизы испортили впечталения.

Вообще компания-издатель Blizzard славится своими cinematic-роликами, они всегда сделаны очень качественно, с большим бюджетом. Вот мой самый любимый из текущей релизной линейки (3 минуты). Это спокойно могло быть открывающей сценой в Голливудском блокбастере!

Комментарии под роликом (и тут) дают понять ширину игровой аудитории, которая является целевой:
— I'm 44 this year and I distinctly remember seeing original Diablo on demo <...>
— I'm 43 years old, and have been a Diablo fan since day one. <...>

Когда-то и мы будем вспоминать о чём-то из молодости, что дарило нам вау-ощущения и эмоции...

В комментариях ⬇️💬 делитесь своими воспоминаниями о том, как гоняли в "двойку", представляя себе вместо пикселей реальные пещеры, полные опасностей. А если опробовали 4ку, то тем более!
Please open Telegram to view this post
VIEW IN TELEGRAM
Последнюю недельку в рамках улучшения навыков разговорного английского и уточнения своих менеджерских взглядов начал смотреть видео с Jen-Hsun "Jensen" Huang — CEO Nvidia, компании, которая на прошлой неделе скакнула в цене на 25% на фоне хайпа по AI и перешагнула оценку в $1T (таких дорогих компаний всего 7-8 в мире).

Очень мне импонирует его стиль подачи, способ объяснений и идеи.
Началось всё вот с этого shorts, где Jensen за 20 секунд без технических деталей объяснил, чем компания вообще занимается. Причем, это прям его vision – они не делают видеокарты, они разрабатывают технологии ускорения вычислений, для того чтобы мир мог решать задачи, которые врядли получилось бы решить другим способом. Он не приводит это как пример, однако ясно, что GPU нужны в том числе и для обучения AI-ассистентов вроде ChatGPT. А если посмотреть на другие продукты Nvidia, которые помогают продавать железки — с дуба рухнуть можно от полноты и насыщенности: от симуляций погоды до генерации синтетических данных при обучении автопилотов.

Вот пара кусочков, которые хорошо сложены:
1) Advice for Students, или кто такой инженер, и почему навык решения проблем (включая их декомпозицию) по жизни это навык крайне важный — не важно СЕО ты или пишешь низкоуровневый код. Очень важно понимать проблему, не стесняться переформулировать её, в самом деле понимая, что собой проблема представляет. После этого, вероятно, проблема будет решаться легче.
2) Employee Selection Affects Culture, или про то, как важно правильно отбирать кандидатов и определять их близость к культуре компании (которая идет от СЕО). Насколько их ценности сходятся с вашими, насколько горят глаза заниматься вашими задачами и решать проблемы, быть командным игроком. Jensen делится, что они делают предложение о работе 10% людей, которых собеседуют (12 лет назад, сейчас цифра может быть другой), и из них 95% принимает оффер. А людей, которые остаются работать, обеспечивают потрясающими проектами, большим кол-вом ресурсов и командой таких же заряженых спецов.
3) How a CEO Spends Time, или что СЕО должен заниматься стратегией и задачами с далеким горизонтом влияния, а не мелкими рутинными задачками тут и там. При этом важно оставаться в касании с командой, общаться с людьми на митингах, на обеде в кафешке и так далее. Это помогает распространять культуру (см. пункт 2).

Полная часовая лекция в Stanford 10-летней давности: тут.

А в комментарии ⬇️💬 кидайте свои любимые отрывки интервью с клевыми чуваками, которые вам нравятся и которых вы готовы пересматривать по несколько раз.
Please open Telegram to view this post
VIEW IN TELEGRAM
Сиолошная
Последнюю недельку в рамках улучшения навыков разговорного английского и уточнения своих менеджерских взглядов начал смотреть видео с Jen-Hsun "Jensen" Huang — CEO Nvidia, компании, которая на прошлой неделе скакнула в цене на 25% на фоне хайпа по AI и перешагнула…
Jensen Huang'а, кстати, в народе зовут "куртка", потому что последние лет 8, если не больше, он проводит презентации и делает выступления в кожаной куртке 🐶

Тем ценнее те частички интервью, что я скинул выше - там он еще не приоделся в модный шмот!
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Сиолошная
Вчера вышла Diablo IV — продолжение культовой серии, возвращающее нас в Санктуарий (название вымышленного мира) спустя более чем 10 лет после "тройки". У критиков игра получила хорошие оценки (88-93 балла на Metacritic, в зависимости от платформы), а от…
А еще на WWDC позавчера Apple, среди прочего, представили Game Porting Toolkit — инструмент для запуска игр на основе DirectX 12 с Windows на устройствах линейки Mac с M-чипами (не для Intel).

Люди с Reddit подсуетелись, и запустили уже кучу современнейших игр: от Cyberpunk 2077 до только что вышедшей Diablo IV. Так как чип M2 Max сам по себе очень мощный (сравним со средними видеокартами прошлого поколения), то этого должно с головой хватать для многих проектов. Однако не все так радужно — инструмент переноса игр пока не настолько продвинут, и некоторые системные ограничения обойти не может, а это влияет на частоту кадров (например, нет разницы в производительности между запуском на низких и высоких настройках, хотя так, ясное дело, быть не должно). Но через полгодика авось допилят до вполне жизнеспособного состояния.
В той же Diablo IV на макисмальных настройках 60-80 кадров в секунду, весьма солидно.

А еще Apple хвастались, что прокачали поддержку геймпадов от PlayStation и Xbox, мол, задержка будет минимальной. В общем, всё для гейминга подготовили - просто бери и покупай ноутбук за $4000! 🫣
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
На неделе компания Magic.dev анонсировала модель LTM-1 (Long-Term Memory network): большую языковую модель с поддержкой контекста в 5'000'000 токенов

Нет, это не ошибка, пять миллионов. У GPT-4 есть версия на 32'000 токенов, конкурент OpenAI предлагает модель Claude с поддержкой окна контекста 100'000 - в 50 раз меньше, чем LTM-1. Сценарий использования у модели — это написание кода и помощь разработчикам.

Вот тут и тут можно посмотреть примеры юзкейсов. Однако меня это не сильно впечатлило — с помощью правильного промпта и эвристик в целом получалось то же самое (см. промпт GitHub Copilot тут).

Проект интересен по другой причине. AI Software Engineer, как это называет компания Magic.dev, впечатляет, но по настоящему такой длинный контекст раскроется в других областях. Подумайте, что будет дальше:
— Целые проекты в промптах (большие наборы функций на все случаи жизни)
— Инструкции для модели длинной в книгу, с описанием всех тонкостей
— Подстановка K примеров выполнения схожей задачи, где K равно не 10-30, как сейчас, а 10'000
— При этом каждый пример может быть по 30 страниц - это тоже влезет в промпт!

Те, кто заявлял о неминуемой смерти промпт-инженеринга до того, как появились модели с длинным контекстом, скорее всего просто обладали слабым воображением! Мы по сути еще и не начали писать (и генерировать!) промпты на полную.

И немного о компании: открылись в 2022м году, подняли раунд $23M (в том числе от соавтора GitHub Copilot, лол), нанимают инженеров, в том числе низкоуровневы - потому что нужно делать очень специфичные решения для масштабирования. К слову, LTM-1 хоть и видит больше контекста, чем GPT, но имеет меньше параметров, чем современные топовые модели, что делает её менее способной. А зная, насколько сильно масштабирование модели улучшает производительность GPT, можно помечтать о том, во что превратится и этот монстр!

Пока доступ к модели только по спискам, встать в очередь можно тут: https://magic.dev/waitlist
Фух, спасибо, что эти ваши GPT при тренировке выучиваются быть Helpful Ассистентами! Реально выручил!

(ситуация конечно кек)

Источник: тут (мне приятель скинул)