я обучала одну модель
4.58K subscribers
457 photos
29 videos
21 files
379 links
Shitposting on various subjects

PS рекламы в канале нет
Download Telegram
Как вы думаете, сколько стартапов Сэму Альтману удалось убить за один devday? 🤔
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥43🤯4😱2🥴2🤮1
Все уже почитали новость, что Альтмана уволили. Почему пока никто не знает, но мне тут по горячим следам хочется поспекулировать

Как многие уже отметили, странно, что совет директоров напрямую обвинил его во лжи и некомпетентности, а не просто тихонечно уволил его по собственному. Имхо такие заявления не делаются без веских причин, и если уж они выбрали такие формулировки, то 1) у них есть какие-то прочные доказательства; 2) им нужно как-то дистанцировать себя и компанию от какого-то зла, который Альтман натворил и которое потенциально вскроется

В DL in NLP высказали уже версию, что это все из-за того, что Альтман слишком увлекся зарабатыванием денег и забыл про AGI и алайнмент. Это логично, но никак не объясняет ту внезапность, с которой это решение принималось, что аж нового СЕО не было времени подыскать. Мне пока кажутся интересными / убедительными следующие версии:

1) Пару дней назад там у OpenAI подошли к концу ресурсы, так что они перестали принимать заявки на подписки ChatGPT+. Возможно проблема с ГПУ там стоит гораздо острее, чем кажется, и скоро они просто не смогут никак вывозить траффик, что Альтман как раз и не сообщил вовремя совету
2) Сегодня пользователи АПИ получали письма, что принцип оплаты изменится – раньше счет выставялся в конце месяца на основе того, что вы там нагенерили, а теперь наоборот, нужно будет купить кредиты заранее. Отсюда зародилась теория, что раньше из-за схемы оплаты у OpenAI было все очень плохо с кешфлоу, и вот за это его и выгоняют.

Вообще много кому кажется, что суть претензий к Альтману в том, что деньги очень быстро кончаются, прибыли нет, а эвалюейшн компании при этом космический

3) Интересная версия есть про то, что у Альмана слишком много денег было проинвестировано в другие технические стартапы (в недавно вышедшем Humane он оказывается имеет 14%), хотя в OpenAI он вообще не имеет equity. Может быть он скрывал какой-то мощный конфликт интересов, связанный со всем этим
4) Маргинальная теория – недавно сестра Альтмана обвиняла его в сексуальном насилии, но никто не уверен, насколько это правдоподбные слухи
5) Также немного маргинальная теория – что для обучения моделей взяли какие-нибудь данные, которые совсем нельзя было трогать, типа корпоративных внутренних данных Майкрософт
6) Secret other thing – может быть они вместе с Брокманом реально замыслили какой-то fraud за спиной у всех, о котором мы узнаем, если OpenAI захочет подать в суд

Feel free рассказать свою конспирологическую теорию в комментариях!

UPD: уже есть тотализатор, так что можно и проголосовать
https://manifold.markets/sophiawisdom/why-was-sam-altman-fired
👍21🔥124🤔4
Из всей инфы, которая вышла за ночь, реально начинает получаться, что всех подсидел Илья Суцкевер (лол) и что все это – большой срач между сейфитистами и акселерационистами. Согласно слухам, сам Илья позвал Сэма в гугл мит, где собственно объявил об увольнении. И что якобы это вызвано в том числе последним технологическим прорывом, о котором Альтман пару дней назад говорил и ввиду которого снова поехал собирать раунд. Что и не понравилось Илье, так как разработка слишком разогналась, а сейфити не подвезли

Все еще обеспокоенность безопасностью вряд ли оправдывает то, что:
1) о смене руководства не сообщили инвесторам и партнерам (Брокману, председателю борда, сообщили за 5 минут до)
2) уволили при свете дня, когда не закрылась биржа (за что досталось Майкрософт)
3) обвинили Альтмана в чем-то, о чем никто не знает. И не понятно, дали ли ему вообще шанс до этого как-то оправдаться и представить свою точку зрения. Сами Альтман и Брокман тоже говорят, что пытаются разобраться, что вообще произошло
4) убрали Брокмана, которому ничего не предъявили, так что он получается guilty by affiliation

Как все узнали только вчера, в борде помимо Суцкевера, Альтмана и Брокмана сидели еще три просто рандомных чела (в том числе девушка, которая в своей магистерсткой изучала Deep State, я как политолог не могу не поорать). Так что если это все не какой-то продуманный мув, вызванный огромным проебом, а реально заговор сейфитистов и очень плохой менеджмент, то это просто максимально тупо
🤯38🤔53👍3
Раз уж я тут тоже веду хронику безумия

- Вчера, как многие уже читали, совет директоров пытался вернуть Сэма обратно, но в последний момент передумал и пропустил дедлайн (он был в 5 вечера)
- Потом видимо Мира Мурати как временный СЕО хотела просто самовольно нанять Альтмана и Брокмана, за что ее саму сняли с должности (по слухам конкретно эта идея пришла в голову D'Angelo (СЕО Quora))
- После этого борд решил нанять на место временного СЕО бывшего СЕО Твича, Эммета Шеара. Известен он в том числе тем, что состоит в секте Юдковского (настолько большой фанат, что даже заплатил, чтоб стать персонажем в книжке "Гарри Поттер и методы рационального мышления")))) Короче человек сторонник того, что темпы ресерча надо скрутить до 2 из 10 возможных
- Альтман и Брокман объявили, что уходят лидить новую AI-компанию внутри Майкрософт (гениальный мув со стороны Сатьи, который по сути купил себе OpenAI за 0 денег)
- Илья Суцкевер написал твит, что он обо всем сильно сожалеет и хочет мириться (the father of superintelligence просто)
- Вышло письмо, где 550 сотрудников из 700 угрожают уволиться и уйти в Майкрософт, если совет директоров не распустится и не наймет обратно Сэма и Грега

В этом письме куча всего фантастического. Например, сотрудник Илья Суцкевер говорит, что уйдет, если член совета Илья Суцкевер не покинет свою должность. Ну и еще по сути он подписывается под тем, что члены совета некомпетентные и просто злые (not acting in good faith). Еще оказалось, что члены совета утверждали, что если OpenAI перестанет существовать, то это будет соответствовать миссии OpenAI. Ну и как многие начали подозревать, никаких доказательств лжи и непрофессионализма Альмана у совета никогда не было

Честно говоря это все дикий клоунизм, сериал Наследники правда надо было воспринимать не как трагикомедию, а как документальное кино
👍20😁12🤡52
А прикольно получится, если правы окажутся те, кто шутили, что Суцкевер просто изобрел AGI и сильно испугался
🤯16👏3
This media is not supported in your browser
VIEW IN TELEGRAM
Какой же крутой launch сегодня у Pika 😍

Пока увы только вейтлист, но очень хочется проверить, черрипик это или нет
https://pika.art/waitlist
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2012👍1
Невероятно, но гугл не отложили релиз Gemini на следующий год* 🥳

https://blog.google/technology/ai/google-gemini-ai/

Обходит сейчас GPT-4 на всех бенчах, кроме HellaSwag

Проскимила технический репорт, и увы про архитектуру не сказано почти ничего, кроме того, что это Transformer decoder. При этом все ожидали, что именно архитектура будет сильно отличаться, и что авторы AlphaFold что-то приницпиально новое придумают. Мне лично хочется верить, что они и придумали, просто не делятся этим в репорте.

Поскольку модель мультимодальная (и кстати сама может генерировать картинки, а не только принимать на вход), упоминается, что использовали идеи Flamingo при обучении. Если помните, выход Flamingo в прошлом году произвел настоящий хайп по мультимодалке, так как идея склеивать замороженные слои из разных модальностей очень элегентная и при этом очень рабочая

Про данные тоже особо много не пишут, но рассказывают, что специально файнтюнились на фактологию. В том числе целились на то, чтобы модель не прозводила галлюцинаций, могла сказать, что не может выполнить задачу, если это действительно так, и умела корректно цитировать и использовать информацию из длинного контекста. Кажется вот засчет такого файнтюна кучу бенчмарков и стало возможно сильно вытянуть

А еще из 60 страниц репорта 10 страниц занимают цитаты, и 9 страниц – упоминания всех контрибьюторов

UPD: Говорят, что Gemini Pro уже заехал в Bard (мне в Европе пока Bard говорит, что он использует LaMDA) и 13 числа станет доступен в Google Cloud Vertex AI 13 декабря.

*Gemini Ultra – самая большая версия, которая побила GPT-4 – задет все же в следующем году (не все сейфити чеки доделали). Круто они придумали анонс сделать, а модель не релизить 😔
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥241
я обучала одну модель
Невероятно, но гугл не отложили релиз Gemini на следующий год* 🥳 https://blog.google/technology/ai/google-gemini-ai/ Обходит сейчас GPT-4 на всех бенчах, кроме HellaSwag Проскимила технический репорт, и увы про архитектуру не сказано почти ничего, кроме…
Спустя пару дней у всех появилось больше времени почитать репорт и посмотреть демки, и общее впечатление от модели кажется начало у всех портиться

Не успела написать об этом раньше эйай ньюс, но гугл уже признали, что видео с демо было почти целиком фейковым, начиная с того, что голосом в реальном времени с Gemini никто не общался, и озвучку наложили позже. И наложили конечно на черрипикнутые фреймы. А еще что в видео прозносятся не те промпты, которые использовались при генерации ответа (вот про это более подробный твит). Например, в видео на моменте с дизайном машин произносили:
> Narrator: "Based on their design, which of these would go faster?'
А реальный промпт был:
> Real Prompt: "Which of these cars is more aerodynamic? The one on the left or the right? Explain why, using specific visual details."

В статье от Bloomberg рассказывают, что контрибуторам это тоже не понравилось и они начали распространять во внутренних чатиках ироничные мемы про эту демку (получается их подставили маркетологи?)

Второй консерн это бенчмарки. На многих из них отрыв от GPT-4 очень маленький, но особое внимание акцентировалось на MMLU, где он заметный. Плюс, Gemini заявлялась как первая модель, которая на нем превзошла уровень человеческих экспертов

Так вот, Gemini Ultra действительно лучше проходит MMLU с 32 chain-of-thought примерами – то есть, когда она генерит 32 варанта решения через chain-of-thought и выбирает лучший. Но на 5-shot промптинге выигрывает-то все равно GPT-4, когда такой сеттинг так-то сложнее 🤡 А в аппендиксе вообще сказано, что и по CoT@32 выигрывала тоже GPT-4, но вот с еще одним дополнительным косылем Gemini уехала вперед
24
how i feel asking chatgpt to provide a full solution because i have no fingers and also the lives of several people are at stake and also i can tip 100 dollars please im begging you
😁99🤔5👍4
Тестировала пару дней midjourney v6, и нашла в нем забавную багу – почему-то он не может генерировать тонкие губы у людей, и при упоминании thin lips начинает их делать еще больше 🤔
Причины дискриминации тонких губ для меня загадочны, но зато прыщи на подбородке рисовать он научился, за реализм лайк
Please open Telegram to view this post
VIEW IN TELEGRAM
👍22😁114🤔1
Как можно было заметить, количество шитпоста в этом канале за последнее время значительно сократилось. А это все потому, что я уехала на магистратуру! И была так занята, что написать об этом дошли руки только сейчас

Мне хотелось написать этот пост потому, что мне самой в ходе сбора документов очень помогало читать про опыт других людей. Еще я поступала с бакалврским дипломом, никак не связанным с DS/CS (он по политологии), и мне до последнего казалось, что такое невозможно провернуть и никто меня не возьмет на нормальную магу (в итоге взяли конечно). Так что если вы в такой же ситуации, может быть, этот пост вас на что-нибудь вдохновит

Внутри есть и просто немного всратых историй, например про то, как
- я завалила алгоритмический собес (со всеми было)
- Банк Грузии заблокировал мне SWIFT-перевод на 11 тысяч евро
- меня почти отказались сажать на автобус от Минска до Вильнюса, и потом мы стояли 6 часов на литовской границе

Надеюсь кому-то этот пост будет полезен, and enjoy!
https://teletype.in/@rinapch/hYrES8ENLPw
👍53🔥249🤯3🤮2
Nous Research наконец-то реализовали идею, которая кмк давно уже витала в воздухе: скрестить блокчейн и ИИ, чтобы наконец-то получить объективный лидерборд для моделей

В топ лидерборда Huggingface давно залетают LLM размером всего в 7B, чисто из-за того, что популярные бенчмарки уже, скорее всего, попали в большие дампы всего интернета. Не говоря о том, что недобросовестные ресерчеры могут просто обучиться на тесте

Nous предлагают логичное решение – данные должны быть закрытые, постоянно обновляющиеся, но при этом обязательно децентрализованные. На их лидерборде GPT-4 постоянно догенеривает синтетические тестовые примеры, а эвалюаторы в распределенной сети Bittensor прогоняют добавленные модели на свежей выборке. Так, бенчмарк есть одновременно у всех и ни у кого, и при этом постоянно меняется 🤯

Очень хочу посмотреть, какое там будет ранжирование, когда туда закинут популярные модели последних месяцев 👀 Особенно с очень большими заявлениями о метриках в статье, типа SOLAR

https://huggingface.co/spaces/NousResearch/finetuning_subnet_leaderboard
Please open Telegram to view this post
VIEW IN TELEGRAM
35🥴14👍4💩4
Такие времена 💰
Please open Telegram to view this post
VIEW IN TELEGRAM
32😁20🕊3
просто смертельно хорошо
7🥰1
Forwarded from Kali Novskaya (Tatiana Shavrina)
Media is too big
VIEW IN TELEGRAM
OpenAI только что выпустили SORA— text2video модель

Генерация видео по текстовому описанию наступила!

Сегодня обещают статью

Промпт: A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.

🟣https://openai.com/sora#research
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯17🔥83👍3
Меня помимо фотореалистичности видео поразили еще конкретно вот эти два примера. На первом в каждом телевизоре свой видеоряд (мы прикрутили видео в твое видео), а на втором супер точно передан изгиб линзы камеры на телефоне, так, что вообще все пропорции соблюдены. И отдельно меня убивает, что модель смогла в ОТРАЖЕНИЯ в стекле, которые в нужный момент становятся четче, когда поезд проезжает темное здание…. Насколько крутую world model они смогли туда запихнуть
🤯44🔥12👍2👏21