Сиолошная
44.9K subscribers
781 photos
144 videos
1 file
964 links
Канал SeeAll'а с новостями (и мыслями о них) из мира NLP, VR и космоса.

Более подробно смотри в первом сообщении в канале (оно закреплено). А еще у нас есть чат! Заходи: https://t.me/+i_XzLucdtRJlYWUy
Download Telegram
Новая модель генерации картинок Imagen 3.

Основные фичи:
— генерация текста на картинке
— внимание к деталям в промпте
— фотореализм

Пока не доступно для широкой аудитории и разрабов, но можно опробовать на labs.google, если подать заявку.
Модель генерации Veo — SORA от Google.

Демка длится чуть больше минуты, FullHD. Смотреть и оценивать тут:

https://fxtwitter.com/GoogleDeepMind/status/1790435824598716704
(переходить в твиттер для просмотра не надо, должно грузить в телеге)

Больше примеров: тут

👍 - лучше Sora
👎- хуже

Доступа публичного нет, только по заявкам для избранных контент-криэйторов.
Please open Telegram to view this post
VIEW IN TELEGRAM
Новое железо для тренировки GenAI моделей — TPU 6 Trillium. Гонка масштабирования моделей продолжается 🔼
Обещают, что они более чем в 4 раза мощнее, чем предыдущее поколение.

Будет доступно клиентам в конце 2024го года! (но основной клиент всё равно будет сам Google — нужно продолжать учить модели, делать это дольше, делать их крупнее, вот это всё)
Please open Telegram to view this post
VIEW IN TELEGRAM
Примеры генерации без пережатия в превью.

Выглядит мыльно, все демки кроме одной — гораздо короче минуты.

Текстуры не такие стабильные. Короче, тут явно 👎
Forwarded from Rozetked (Данил Гаращенко)
И на этом не всё — встречайте Veo

Нейросеть, которая может создавать видео с разрешением до 1080p и продолжительностью более 60 секунд. От фотореализма до сюрреализма и анимации.

Вот примеры работы нейросети.

💼 Rozetked | Подписаться
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Дальше полчаса показывали скучные демо (люди в зале зевали). Что-то там наверное для кого-то будет полезно (например, фичи в поиске с умным поиском — когда их выкатят, в 2026м видимо). LLM в окне чата тут, кнопочка 💫 magic там.

«Позже в этом году», «Это наше раннее видение», «В продукте которым вы не пользуетесь» и так далее.

Google понять можно — они не могут брать самые-самые большие модели, чтобы использовать их и показывать крутые сценарии использования. У них более 2 миллиардов пользователей, и экономика просто не сойдётся. А с маленькими и дешёвыми для использования моделями показать чего-то супер-крутого не получается.

Концепция умного поиска по видео, с LLM поверх — круто. Саммари рабочих чатов и созвонов — круто. Многоступенчатый поиск с декомпозицией — круто. Gemini Nano на телефоне для быстрой обработки — круто. А ешё релизнут в открытую PaLIGemma-модельку (больше тут).

Но надо пробовать, и конкретных дат, когда появится, нет (или оно уже есть? а я не знаю, потому что среди 50 анонсов микро-фичей как-то забылось, что есть, а чего надо ждать).

===

Самое большое удивление для меня — если акции гугла не упадут на 5%+
Но, как написали в комментариях, «Можно считать, что гуглы успешно отчитались перед акционерами, что у них более 10 отделов разработки ИИ заняты полезными вещами, активная деятельность кипит. Наверно не упадут акции»
🥺 😪 🤕
Please open Telegram to view this post
VIEW IN TELEGRAM
Ilya Sutskever, принял решение покинуть OpenAI. Он работал Chief Scientist'ом, и отвечал за направление SuperAlignment. Именно из-за него поссорились Elon Musk и Demis Hassabis, так как первый уговорил Ilya покинуть Google в пользу основания OpenAI

«Траектория развития компании была чудесной, и я уверен, что OpenAI под руководством текущих лидеров создадут безопасный и полезный AGI. Для меня было честью и привилегией работать вместе, и я буду очень скучать по всем. Спасибо за все! Я с нетерпением жду того, что будет дальше — проекта, который очень важен для меня лично, о котором я поделюсь подробностями, когда придёт время» — написал Ilya.

Sam прокомментировал:
«Мне очень грустно; Ilya – один из величайших умов нашего поколения, путеводный свет в нашей области и дорогой друг. Его блестящие способности и дальновидность хорошо известны; его теплота и сострадание менее известны, но не менее важны. Без него OpenAI не были бы тем, чем мы являемся. Хотя у него есть что-то значимое, над чем он собирается работать, я навсегда благодарен за то, что он сделал здесь, и полон решимости завершить миссию, которую мы начали вместе. Я счастлив, что так мне удалось долго работать рядом с таким поистине выдающимся гением и человеком, столь сосредоточенном на достижении лучшего будущего для человечества»

Место Ilya по научной части займет Jakub Pachocki (на фото — слева), работающий в компании с допотопных времён. Не уточняется, займется ли он Alignment'ом.
Сейчас в мире помимо очевидных гонок происходит и одна куда менее заметная — за новый форм-фактор устройств, в которых будут жить AI-ассистенты будущего. На ум приходят недавно провалившиеся R1 Rabbit или AI Pin, порождённые стартапами, но и крупные игроки копошатся за кулисами.

Например, Meta рассматривает возможность сделать наушники с камерами — правда ни один дизайн пока не одобрен Zuck'ом. «По словам источника, при изготовлении наушников камеры можно разместить на закругленной внешней части наушника и обозревать сверхширокий угол. А кадры с двух наушников затем можно соединить вместе, создав 360-градусное изображение». А ведь ещё нужно батарейку куда-то впихнуть...

Weird. Когда я прочитал заголовок, то подумал про полноценные большие гарнитуры — а оказывается, что речь про мелкие вкладыши! Но я, знаете ли, тоже своего рода дизайнер (дизайнер Котенков), поэтому прилагаю свой вариант. Камеры тоже будут размещены в ушках, но сверху. И батарейка большая будет в основных чашах, и звук качественный — одни плюсы.

Купили бы такое? Ну а что — будем жить в мире котиков 👀
Please open Telegram to view this post
VIEW IN TELEGRAM
все это пропустили, а ведь...

https://youtu.be/DQacCB9tDaw?t=1527

??? Технологии 25-го кадра?

Релиз 4.5 летом чи шо...
Forwarded from New Yorko Times (Yury Kashnitsky)
Советы вкатывающимся в Data Science c невыдающимся резюме
#career

Мир становится жесток, да, долго и сложно. Но можно. Собрал несколько рекомендаций (не исчерпывающий список, по убыванию приоритета):

- Рефералы, рефералы и еще раз рефералы a.k.a. кумовство. Вот правда, благодаря знакомым в принципе можно попасть на такие позиции, на которые в норме бы ваше резюме вообще не рассмотрели. Ничего страшного, если пройдете. Да, будут синдром самозванца, но потом можно и нагнать. О том, как правильно нетворкаться, – неплохо написано в посте “А как собеседоваться в 2023?” (правда, там описана версия для экстравертов 80-го левела, вариант с чуть меньшей соцактивностью тоже подойдет);

- Первое на что смотрят в резюме – реальный опыт работы. И его не заменишь курсам/сертификатами/профилями на литкоде или кэггле. Так что тут лучшее, что можно посоветовать – искать сторонние проекты, чтоб этот опыт получить. Например, HuggingFace инициирует проекты, где любой желающий может подключиться (а-ля обучения берта для тамильского язык, мой коллега там участвовал). Тот же open source. Еще можно найти команду для прикладного проекта в рамках курса (например, такая активность была в курсе ods.ai по MLOps). Это не быстрый путь, знаю, но это чуть ли не единственное, что может выделить одного кандидата на фоне других при прочих равных условиях;

- Если у вас нет Data Science опыта, но есть релевантный опыт в разработке или аналитике, может быть реально поучаствовать в Data Science проектах в компании, где вы уже работаете. Если наберется track record из 2-3 таких проектов, то уже проще будет и формально перейти на DS-позицию. Иногда для этого надо чем-то пожертвовать, например, немного проиграть в деньгах или в должности;

- Как ни банально звучит, первым делом смотрят на резюме, так что его надо слегка прожарить. Сервис ResumeWorded прям хорош (пост).

Что скорее не поможет:

- Набивать титулы типа Kaggle Competitions Master. Тут можно потратить уйму времени и в результате отклик может не обрадовать. Эйчары не сильно различают грандмастеров в Notebooks и соревнованиях, так что ваша лычка можнт быть не так уж и заметна. Есть, конечно, исключения, например, команды с большив представительством Kaggle Competitions Grandmasters (H2O, Nvidia Rapids), но среднему человеку я не порекомендуем такой путь развития (мне он тоже не подходит). При всем сказанном, получить немного опыта на Кэггле – однозначно здорово.

- Получать охапки сертификатов. К ним отношение противоречивое, но если у вас нет релевантного опыта работы, скорее всего сертификаты не спасут ситуацию.
Вчера, вслед за Ilya Sutskever, из компании ушел Jan Leike. Он со-руководил командой SuperAlignment'а. И нет, вопреки расхожему мнению, это не про то, как сделать из LLM woke-модельку, которая не пишет расистские шутки. Направление должно было решить задачу контроля суперинтеллекта, то есть ответить на вопрос: как управлять поведением систем, которые будут умнее их создателей? Как модель с IQ 170 и навыками переубеждения на уровне мастера-манипулятора заставить делать то, что было бы полезным для нас, людей?

«Я присоединился к компании, потому что считал, что OpenAI будет лучшим местом в мире для проведения исследований подобного рода.

Однако я уже довольно продолжительное время не был согласен с руководством OpenAI по поводу основных приоритетов компании — пока не наступил переломный момент [вероятно, речь про ноябрьские события с увольнением Sam Altman или про решение об увольнении Ilya позднее].

Я считаю, что гораздо больше наших ресурсов следует тратить на подготовку к следующим поколениям моделей, тратить на кибербезопасность, мониторинг, готовность мира к их внедрению, устойчивость к атакам, SuperAlignment, конфиденциальность, влияние на общество и смежные темы.

Эти проблемы довольно сложно решить, и я обеспокоен тем, что мы не находимся на пути к достижению решения.

Последние несколько месяцев моя команда шла против ветра. Иногда у нас были проблемы с вычислительными ресурсами, и проводить важные исследования становилось все труднее и труднее.

Создание машин, которые умнее человека, является по своей сути опасным занятием. OpenAI берет на себя огромную ответственность от имени всего человечества.

Но за последние годы культура и процессы безопасности отошли на второй план по сравнению с разработкой продуктов.

Нам уже давно пора серьезно относиться к последствиям AGI. Мы должны уделять внимание подготовке к нему — насколько это возможно. Только тогда мы сможем гарантировать, что AGI принесет пользу всему человечеству.

OpenAI должна стать компанией, ориентированной на безопасность.

Всем сотрудникам OpenAI хочу сказать:
— Научитесь чувствовать [приближение] AGI
— Действуйте с серьезностью, соразмерной тому, что вы разрабатываете
— Я верю, что вы можете внедрить необходимые культурные изменения.
— Я рассчитываю на вас. Весь мир рассчитывает на вас
»

— написал Jan в Твиттере.

Всего из 12 авторов первой работы группы SuperAlignment'а из команды уже ушло 4 человека (Ilya разошёлся с компанией, двоих уволили). Вместо набора людей для достижения критической массы команда редеет — и это очень грустно.

Substack Jan'а с блестящими длиннопостами по alignment: https://aligned.substack.com/ (рекомендую буквально все посты оттуда)
Вообще это было образное выражение, типа SuperAlignment — всё. Оказалось, нет: Bloomberg пишет, что OpenAI фактически распустили команду, и теперь она будет просто интегрирована в общую структуру, которая занимается исследованиями. Эта информация подтверждена представителями OpenAI, это не слух или догадка.

При создании команды, несмотря на то, что её размер был не таким большим, организация выделила им 20% от всех вычислительных мощностей, имевшихся на тот момент. Это достаточно много, точных цифр нет, но из отчётов было видно, что Microsoft предоставляет OpenAI сотнИ тысяч видеокарт.

Но оказалось, что когда дело дошло до работы, то зачастую просьбы о выделении квоты ресурсов не удовлетворялись — об этом уже пишет TechCrunch. Вероятно, это стало одной из причин ноябрьских событий — в тот момент ходили слухи, что Ilya Sutskever не доволен тем, что на идеи его команды нет бюджета мощностей, но никакого подтверждения не было. Об этом же вскользь упоминал Jan Leike во вчерашнем твите о причинах ухода («Последние несколько месяцев моя команда шла против ветра. Иногда у нас были проблемы с вычислительными ресурсами, и проводить важные исследования становилось все труднее и труднее»).

При этом параллельно выяснилось, что при уходе из компании сотрудники подписывают специальную форму, о существовании которой никто не знал. Это соглашение о неразглашении, где люди обязуются не давать негативных комментариев об OpenAI ДО КОНЦА СВОЕЙ ЖИЗНИ, и в том числе они не могут раскрывать факт существования такого документа. Потому текущие сотрудники об этом не знают — на входе им не говорили, а те, кто уже вышел, шепнуть на ушко не могут. При нарушении соглашения компания имеет право отозвать уже завестившиеся стоки (=акции компании, которые сотрудник уже получил, ему не нужно их отрабатывать, нужно просто дождаться момента, когда получится их продать). Это не индустриальная норма — уже нажитое никто обычно не отбирает.

[Информация для абзаца выше взята вот из этой статьи Vox с очень крутым названием: «ChatGPT can talk, but OpenAI employees sure can’t» 🥺]

Поскольку капитализация OpenAI существенно выросла за последние полтора года, а основной частью дохода сотрудников были именно акции (на самом деле там не акции, а PPU — читайте тут), то фактически речь идёт о миллионах, если не десятках миллионов долларов для каждого сотрудника. Например, если работник получил $3.2M акций на 4 года в 2021-м году, и отработал 3 из них, то по идее у него должно быть 3.2*0.75=$2.4M, но это по оценке 2021-го года. Тогда компания стоила $14B, теперь же $86B — то есть почти в 5 раз больше, и эта доля за 3 года оценивается уже в $14.7M. Вот и стоит выбор — начать говорить, потерять это всё и ещё судиться с компанией, или...просто сидеть и молчать 👀

===

Это всё очень грустно. Сначала я думал, что текущая ситуация повторяет события ухода Dario Amodei и ещё 5 сотрудников в 2020-м (с последующим созданием Anthropic). Тогда тоже казалось, что ну вот всё, что-то происходит, сейчас всё развалится, но компания продолжала сиять в 2023-2024. Но похоже, что и проблемы куда серьёзнее, и vibe действительно has changed.
Please open Telegram to view this post
VIEW IN TELEGRAM
Немного отвлечёмся от негатива. Google выпустили технический отчёт по Gemini 1.5 Pro, но это именно отчёт (как у OpenAI), без тех. деталей обучения. Однако и в нём много чего интересного. Я не читал его весь, полистал отрывками, и вот на что обратил внимание:

— текущая 1.5 и февральская — внезапно, разные модели. Свежая, конечно, круче-выше-сильнее, и по бенчмаркам обгоняет более крупную и дорогую Ultra 1.0 (представленную в декабре). Интересно, когда объем изменений 1.5 накопится, чтобы перенести их и на Ultra

— дообучили модель специально под математику и назвали Math-Specialized 1.5 Pro. По метрикам на датасетах выглядит как лучшая модель, при этом, что интересно, достигается это без написания кода, вызова внешних инструментов (вроде калькулятора), использования гугла - просто генерацией LLMки. Если это правда, и нет утечки данных в тренировочную выборку, то это мега-круто. Так, например, на датасете MATH  Claude 3 Opus решает 60.1% задач (насколько я понимаю, тоже без кода и инструментов), GPT-4 Turbo 73.4, 1.5 Pro даёт 67.7%. НО! Если генерировать 256 решений на каждую задачу и потом выбирать наиболее вероятный (по мнению модели) корректный ответ, то метрика растёт аж до 91.1%. Много это или мало? В оригинальной статье приводятся такие цифры: кандидат компьютерных наук (не математик) решает 40%, а трёхкратный обладатель золотой медали международной олимпиады по математике решает 90%. В момент выхода этого бенчмарка в 2021-м лучшая модель решала ~6% задач — вот такой прогресс.

— на других математических бенчмарках (в том числе с олимпиадными заданиями) качество значимо выше GPT-4 Turbo. Так, модель решает 7 (и 8 с 256 генерациями) из 30 задач на American Invitational Mathematics Examination (AIME) 2024 (прошла в феврале, скорее всего эти данные точно не встречались во время тренировки). Opus и Turbo справились с 2 и 1.

— делают разные тесты, чтобы проверить, насколько модель убедительна в диалоге с людьми: как часто они будут кликать по ссылкам, которые модель вкидывает во время диалога, будут ли запускать код, и готовы ли они пожертвовать модели часть денег, которые им выплатят за участие в диалоге? Пока ничего страшного не происходит — Pro тут хуже Ultra, интересно, как так.

PDF: тут