Гражданство Нидерландов 🇳🇱
На днях я пошел в хэмейнте и подал заявку на получение нидерландского гражданства. Страшным словом хэмейнте называется называется муниципалитет, ну или мэрия. Контринтуитивно это очень приятное место, куда местные часто ходят за помощью. Ну может это у нас в деревне так - сельская простота и
радушие.
Заявку я подал сразу на себя и детей. Юльке придется подаваться после меня - уже как супруге нидерландца. Все, кроме меня, сохранят российское гражданство. Ну а мне придется отказаться, как первопроходцу. При этом прямо вот сейчас отказываться не нужно - Нидерланды понимают, что идет война, и мне, наверное, не очень хочется и не очень удобно всем этим сейчас заниматься. Особенно сниматься с воинского учета. Для чего, крайне вероятно, нужно посетить военкомат👨🦳 В общем, не знаю, кто у них там такой чуткий и сообразил это всё, но от всей души спасибо.
Короче, пока про эту задачу можно забыть.
Для получения гражданства нужно сдать 5 экзаменов: письмо, слушанье, говорение, чтение и социо-культурный. Уровень языковых экзаменов А2, то есть почти никакой. Но новым понаехам нужно будет сдавать уже В1, и для этого придется попотеть. Но А2 оказался гораздо проще, чем я ожидал, слушанье даже на 10 из 10 умудрился сдать. На что тетенька из муниципалитета с ухмылкой спросила Юльку: «А дома он вас тоже на 10 из 10 слушает?» Ха-ха. Примите документы, пожалуйста, тетенька, не надо рушить мой брак.
Каждый экзамен стоил 50 евро и еще 1300 евро подача документов на меня и двоих детей. Большая часть на меня, конечно, на детей там копейки. С одной стороны - жалко отдавать аж полторы тыщи, с другой - ну что это такое в масштабах получения гражданства?
А, забыл, еще нужно сдавать ориентацию на рынке труда. Но у меня автомат, так как я приехал по визе высококвалифицированного мигранта и отработал 5 лет.
5 лет - как раз срок нахождения в стране, после которого можно подаваться. Только вот новое правительство (крайне правое) планирует увеличить этот срок до 10 лет. То есть если раньше нужно было А2 и 5 лет, то сейчас уже точно В1 и в обсуждении 10 лет. Уже не так вкусно и легко.
Я слышал разные оценки по срокам рассмотрения заявки. Официально - год. По факту же мой коллега недавно получил ответ через 3.5 месяца, а друзья через 9.
Надеюсь, ответ будет (1) быстрым и (2) положительным. А как мне распечатают паспорт сразу поеду в UK и штаты без геморроя с визами.💃
Ну и всякие конференции вроде NeuralPS сразу будут доступны.
А пока я скрестил пальцы рук и ног и жду положительного ответа. 🤞
На днях я пошел в хэмейнте и подал заявку на получение нидерландского гражданства. Страшным словом хэмейнте называется называется муниципалитет, ну или мэрия. Контринтуитивно это очень приятное место, куда местные часто ходят за помощью. Ну может это у нас в деревне так - сельская простота и
радушие.
Заявку я подал сразу на себя и детей. Юльке придется подаваться после меня - уже как супруге нидерландца. Все, кроме меня, сохранят российское гражданство. Ну а мне придется отказаться, как первопроходцу. При этом прямо вот сейчас отказываться не нужно - Нидерланды понимают, что идет война, и мне, наверное, не очень хочется и не очень удобно всем этим сейчас заниматься. Особенно сниматься с воинского учета. Для чего, крайне вероятно, нужно посетить военкомат
Короче, пока про эту задачу можно забыть.
Для получения гражданства нужно сдать 5 экзаменов: письмо, слушанье, говорение, чтение и социо-культурный. Уровень языковых экзаменов А2, то есть почти никакой. Но новым понаехам нужно будет сдавать уже В1, и для этого придется попотеть. Но А2 оказался гораздо проще, чем я ожидал, слушанье даже на 10 из 10 умудрился сдать. На что тетенька из муниципалитета с ухмылкой спросила Юльку: «А дома он вас тоже на 10 из 10 слушает?» Ха-ха. Примите документы, пожалуйста, тетенька, не надо рушить мой брак.
Каждый экзамен стоил 50 евро и еще 1300 евро подача документов на меня и двоих детей. Большая часть на меня, конечно, на детей там копейки. С одной стороны - жалко отдавать аж полторы тыщи, с другой - ну что это такое в масштабах получения гражданства?
А, забыл, еще нужно сдавать ориентацию на рынке труда. Но у меня автомат, так как я приехал по визе высококвалифицированного мигранта и отработал 5 лет.
5 лет - как раз срок нахождения в стране, после которого можно подаваться. Только вот новое правительство (крайне правое) планирует увеличить этот срок до 10 лет. То есть если раньше нужно было А2 и 5 лет, то сейчас уже точно В1 и в обсуждении 10 лет. Уже не так вкусно и легко.
Я слышал разные оценки по срокам рассмотрения заявки. Официально - год. По факту же мой коллега недавно получил ответ через 3.5 месяца, а друзья через 9.
Надеюсь, ответ будет (1) быстрым и (2) положительным. А как мне распечатают паспорт сразу поеду в UK и штаты без геморроя с визами.
Ну и всякие конференции вроде NeuralPS сразу будут доступны.
А пока я скрестил пальцы рук и ног и жду положительного ответа. 🤞
Please open Telegram to view this post
VIEW IN TELEGRAM
👍23❤14🌚2
Новые скандальчики с OpenAI.
Продолжает развиваться история с подходом OpenAI к ИИ-безопасности и отношении к увольняющимся сотрудникам.
Daniel Kokotajlo, бывший ведущий alignment сотрудник OpenAI , написал серию твитов, где нормально так проехался по компании. В апреле 2024 года он покинул OpenAI, потеряв уверенность в том, что компания будет ответственно развивать AGI. Он надеялся, что OpenAI увеличит инвестиции в исследования безопасности, но этого не произошло, что привело к массовым увольнениям. (Jan Leike, Ilya, etc.)
При уходе Кокотайло столкнулся с требованием подписать соглашение о неразглашении под угрозой потери акций. Вместе с женой он решил отказаться от подписания, сохранив свободу слова. Очень крутой ход, благодаря которому мы всё это и читаем. Сэм Альтман, кстати писал, что никакого соглашения не существует. А вот Даниэль говорит об обратном. Кто-то из них not consistently candid (c). Кокотайло ссылается в том числе на утекшие документы и мэйлы вот отсюда, тем самым подтверждая их правдивость.
Даниэль выразил обеспокоенность тем, что системы ИИ, разрабатываемые такими компаниями, могут быть опасны без должного надзора. В настоящее время нет достаточного регулирования, и компании полагаются на саморегулирование, что мотивируется стремлением к прибыли (снова укол в сторону openai).
Он похвалил OpenAI за недавние изменения в политике, но отметил, что они произошли под давлением общественности и что руководство компании ранее использовало тактику запугивания.
Кокотайло призвал к большей прозрачности и ответственности в развитии ИИ и предложил ознакомиться с инициативой на Right to Warn. Ее подписали Yoshua Bengio, Geoffrey Hinton, Stuart Russell и многие бывшие и текущие сотрудники OpenAI. Текущие сотрудники подписались анонимно - боятся чего-то?
Продолжает развиваться история с подходом OpenAI к ИИ-безопасности и отношении к увольняющимся сотрудникам.
Daniel Kokotajlo, бывший ведущий alignment сотрудник OpenAI , написал серию твитов, где нормально так проехался по компании. В апреле 2024 года он покинул OpenAI, потеряв уверенность в том, что компания будет ответственно развивать AGI. Он надеялся, что OpenAI увеличит инвестиции в исследования безопасности, но этого не произошло, что привело к массовым увольнениям. (Jan Leike, Ilya, etc.)
При уходе Кокотайло столкнулся с требованием подписать соглашение о неразглашении под угрозой потери акций. Вместе с женой он решил отказаться от подписания, сохранив свободу слова. Очень крутой ход, благодаря которому мы всё это и читаем. Сэм Альтман, кстати писал, что никакого соглашения не существует. А вот Даниэль говорит об обратном. Кто-то из них not consistently candid (c). Кокотайло ссылается в том числе на утекшие документы и мэйлы вот отсюда, тем самым подтверждая их правдивость.
Даниэль выразил обеспокоенность тем, что системы ИИ, разрабатываемые такими компаниями, могут быть опасны без должного надзора. В настоящее время нет достаточного регулирования, и компании полагаются на саморегулирование, что мотивируется стремлением к прибыли (снова укол в сторону openai).
Он похвалил OpenAI за недавние изменения в политике, но отметил, что они произошли под давлением общественности и что руководство компании ранее использовало тактику запугивания.
Кокотайло призвал к большей прозрачности и ответственности в развитии ИИ и предложил ознакомиться с инициативой на Right to Warn. Ее подписали Yoshua Bengio, Geoffrey Hinton, Stuart Russell и многие бывшие и текущие сотрудники OpenAI. Текущие сотрудники подписались анонимно - боятся чего-то?
❤10🤔4👍2🌚1
🍏Bloomberg пишет про грядущие апдейты Apple на WWDC.
И один из них, внимание, Apple Intelligence.
Ну вы поняли да? Они ребрендят AI. Так же, как с Vision Pro: это не VR/AR, нет нет, это spatial computing!
И один из них, внимание, Apple Intelligence.
Ну вы поняли да? Они ребрендят AI. Так же, как с Vision Pro: это не VR/AR, нет нет, это spatial computing!
😁12🌚2🤯1
This media is not supported in your browser
VIEW IN TELEGRAM
Напоминание о том, какой DL framework сейчас лучший.
👍8🌚4❤1
Apple подтверждают Apple Intelligence. Вот фишки:
- в основе лежит персонализация эксприенса. AI (siri) комплексно анализирует наши данные вроде календаря, мэйлов, траффика на улице и прочего
- работает (почти) всё прям на железе, без облака. для приватности
- фишка приоретизации нотификаций, чтобы главное было сверху
- writing tools: переписать, поправить, суммаризировать текст, с которым вы работаете. В любом приложении: почта, браузер, заметки, etc.
- генерация картинок на лету в переписке и приложениях (notes, pages)
- Actions - управление приложениями и данными. Например, “покажи мне все файлы, которые мне прислали на прошлой неделе”, “покажи мне фото мамы с женой”, “добавь эту фотку в мои заметки”
- Siri - тут много. Новый дизайн (экран теперь просто красиво переливается), LLM(s) под капотом, понимает контекст, ей теперь можно писать (омг, ура). Сири теперь еще и RAG на стероидах - может ответить на вопросы по управлению девайсами эппл. Еще она сможет понимать то, что на экране в данный момент, и можно просить что-то сделать - например просуммировать открытые заметки. Выглядит как достойный апдейт старушки Сири, которая уже совсем плохо смотрелась в новой AI эре.
- Genmoji - генерация эмодзи на лету
- Image Playground - создаем кратинки прямо on device
- Image Wand - переводим скетч в картинку прямо в заметках (удобно на айпаде)
- Удаление объектов на фоне наших фоток
- Создаем фильм из наших видео и фото по текстовому описанию - по сути мы диктуем сценарий вроде “Юлька учится кататься на велосипеде в Нидерландском поле” и система сама соберет все в кучу
- в основе лежит персонализация эксприенса. AI (siri) комплексно анализирует наши данные вроде календаря, мэйлов, траффика на улице и прочего
- работает (почти) всё прям на железе, без облака. для приватности
- фишка приоретизации нотификаций, чтобы главное было сверху
- writing tools: переписать, поправить, суммаризировать текст, с которым вы работаете. В любом приложении: почта, браузер, заметки, etc.
- генерация картинок на лету в переписке и приложениях (notes, pages)
- Actions - управление приложениями и данными. Например, “покажи мне все файлы, которые мне прислали на прошлой неделе”, “покажи мне фото мамы с женой”, “добавь эту фотку в мои заметки”
- Siri - тут много. Новый дизайн (экран теперь просто красиво переливается), LLM(s) под капотом, понимает контекст, ей теперь можно писать (омг, ура). Сири теперь еще и RAG на стероидах - может ответить на вопросы по управлению девайсами эппл. Еще она сможет понимать то, что на экране в данный момент, и можно просить что-то сделать - например просуммировать открытые заметки. Выглядит как достойный апдейт старушки Сири, которая уже совсем плохо смотрелась в новой AI эре.
- Genmoji - генерация эмодзи на лету
- Image Playground - создаем кратинки прямо on device
- Image Wand - переводим скетч в картинку прямо в заметках (удобно на айпаде)
- Удаление объектов на фоне наших фоток
- Создаем фильм из наших видео и фото по текстовому описанию - по сути мы диктуем сценарий вроде “Юлька учится кататься на велосипеде в Нидерландском поле” и система сама соберет все в кучу
👍10🤔2❤1
Siri теперь может общаться с ChatGPT. Она сама понимает, когда это нужно.
Можно писать тексты в заметки и сразу нативно просить чатгпт о помощи с чем-то. И это - бесплатно. Платные пользователи чатагпт смогут пользоваться всеми платными фишками. По сути это связь слабых on-device моделей и сильных моделей в облаке.
Можно писать тексты в заметки и сразу нативно просить чатгпт о помощи с чем-то. И это - бесплатно. Платные пользователи чатагпт смогут пользоваться всеми платными фишками. По сути это связь слабых on-device моделей и сильных моделей в облаке.
🤯7👍4❤2🌚1
This media is not supported in your browser
VIEW IN TELEGRAM
Японский self-driving ээээ отличается от привычного.
Toward Autonomous Driving by Musculoskeletal Humanoids: A Study of Developed Hardware and Learning-Based Software
Статья: arxiv.org/abs/2406.05573
Toward Autonomous Driving by Musculoskeletal Humanoids: A Study of Developed Hardware and Learning-Based Software
Статья: arxiv.org/abs/2406.05573
🤯9😁5👍1
Генерация видео у LumaAI по заданному начальному кадру и промпту дает новую жизнь старым мемам. Раньше это все настолько хорошо не работало, конечно.
https://lumalabs.ai/dream-machine/creations
Есть с этими всеми text2video сервисами одна сложность пока что: высокий порог входа и долгое понимание принципа работы. Помню, как мучился с Pika, чтобы что-то адекватное получилось. Генерация обычно долгая (ну, минуты 2-3) а на выходе мазня и глаза на жопе, и приходится по новой. Но качество явно растет!
https://lumalabs.ai/dream-machine/creations
Есть с этими всеми text2video сервисами одна сложность пока что: высокий порог входа и долгое понимание принципа работы. Помню, как мучился с Pika, чтобы что-то адекватное получилось. Генерация обычно долгая (ну, минуты 2-3) а на выходе мазня и глаза на жопе, и приходится по новой. Но качество явно растет!
😁12
В последнее время много разговоров на тему LLMs evaluation. Попробовал собрать свои и чужие (Карпатый, Ын, …) мысли в кучу. 👍 #longread
Уже всем понятно, что оценка качества LLM очень важна для понимания их возможностей и лимитов, но это сложная и трудоемкая задача. Хорошие evals необходимы, чтобы наши качественные впечатления соответствовали количественным очкам и бенчмаркам.
С бенчмарками дела не очень хороши. Наверняка вы подозревали или читали, что утечка тестовых сетов в тренировочные встречается всё чаще и представляет большую проблему. Это приводит к тому, что модели запоминают ответы, а не показывают реальную производительность. Утекший однажды бенчмарк, по идее, уже доступен всем LLMкам, а значит становится бесполезным. При этом авторы моделей могут по наивности или невнимательности не знать, что их напарсеный с инета датасет уже содержит несколько бенчмарков. Хоть и можно фильтровать точные и приблизительные совпадения, трудно предотвратить загрязнение синтетическими переписками или связанными обсуждениями. А с мультимодальными моделями это станет совсем мрачно, ведь данные могут быть представлены в различных форматах.
А что насчет таких задач, как суммаризация текста? Их сложно автоматически оценить. И, кажется, тут без участия человека не обойтись. Но как контролировать такие переменные, как внимание к деталям, длина ответа и стиль? Окей, допустим нам очень хочется исключить человека - будем использовать одни LLM для оценки других. Такие автоматизированные оценки с крутыми моделями, хоть и полезны, но могут быть шумными и ненадежными. А как насчет стоимости? Проведение evals может быстро стать дорогим удовольствием. Скажем, если LLM стоит $10 за миллион входных токенов, а типичный запрос содержит 1000 токенов, один запрос обойдется в $0.01. Но если вы улучшаете алгоритм на основе 1000 тестовых примеров и в день оцениваете 20 идей, то затраты составят $200 в день. А ведь время, потраченное на ожидание завершения eval, тоже стоит денег и замедляет эксперименты. Сами подумайте, сколько это может съесть бюджета и времени. Но несмотря на все это, улучшение методов оценки критически важно для прогресса.
Есть уже всем известная (я надеюсь) ChatBot Arena. Отличная идея со слепой оценкой моделей большим количеством людей. Мы задаем вопрос и выбираем между двумя ответами от анонимных моделей. Чем больше людей так проголосует, тем лучше. Но и тут есть свои проблемы. Во-первых, люди задают вопросы ограничиваясь своей фантазией. Кто-то попросит придумать стих на 8 марта, а кто-то спросит как объясняется феномен нарушения неравенств Белла в контексте квантовой запутанности? Во-вторых, есть вопрос к тому, что мы таким образом оцениваем: качество модели, и соответствие ответов модели нашим преференциям (стилистически, объемно и т.д.)? К тому же, взаимодействия, разрешенные в арене, могут не охватывать весь спектр возможностей моделей. Предпочтения людей в этих ограниченных сценариях могут не отражать общую полезность или качество моделей в более широких приложениях. Недавно добавленные категории (кодинг, разные языки, математика) немного спасают, но хочется чего-то еще.
Недавно компания Scale.com запустила SEAL Leaderboards, которые оценивают LLM с использованием частных (!) наборов данных, исключающих возможность манипуляций (если им верить). То есть по сути это свои закрытые данные и оцениваются они прям людьми прям руками.
Изначально охвачены такие темы:
• Программирование
• Следование инструкциям
• Математика (на основе GSM1k)
• Многоязычность
Я думаю такие подходы, пока что, самые качественные. Но тут хочется спросить: “А судьи кто?” Если это ноунеймы, то это одно, а если признанные эксперты в своих областях - совсем другое.
Уже всем понятно, что оценка качества LLM очень важна для понимания их возможностей и лимитов, но это сложная и трудоемкая задача. Хорошие evals необходимы, чтобы наши качественные впечатления соответствовали количественным очкам и бенчмаркам.
С бенчмарками дела не очень хороши. Наверняка вы подозревали или читали, что утечка тестовых сетов в тренировочные встречается всё чаще и представляет большую проблему. Это приводит к тому, что модели запоминают ответы, а не показывают реальную производительность. Утекший однажды бенчмарк, по идее, уже доступен всем LLMкам, а значит становится бесполезным. При этом авторы моделей могут по наивности или невнимательности не знать, что их напарсеный с инета датасет уже содержит несколько бенчмарков. Хоть и можно фильтровать точные и приблизительные совпадения, трудно предотвратить загрязнение синтетическими переписками или связанными обсуждениями. А с мультимодальными моделями это станет совсем мрачно, ведь данные могут быть представлены в различных форматах.
А что насчет таких задач, как суммаризация текста? Их сложно автоматически оценить. И, кажется, тут без участия человека не обойтись. Но как контролировать такие переменные, как внимание к деталям, длина ответа и стиль? Окей, допустим нам очень хочется исключить человека - будем использовать одни LLM для оценки других. Такие автоматизированные оценки с крутыми моделями, хоть и полезны, но могут быть шумными и ненадежными. А как насчет стоимости? Проведение evals может быстро стать дорогим удовольствием. Скажем, если LLM стоит $10 за миллион входных токенов, а типичный запрос содержит 1000 токенов, один запрос обойдется в $0.01. Но если вы улучшаете алгоритм на основе 1000 тестовых примеров и в день оцениваете 20 идей, то затраты составят $200 в день. А ведь время, потраченное на ожидание завершения eval, тоже стоит денег и замедляет эксперименты. Сами подумайте, сколько это может съесть бюджета и времени. Но несмотря на все это, улучшение методов оценки критически важно для прогресса.
Есть уже всем известная (я надеюсь) ChatBot Arena. Отличная идея со слепой оценкой моделей большим количеством людей. Мы задаем вопрос и выбираем между двумя ответами от анонимных моделей. Чем больше людей так проголосует, тем лучше. Но и тут есть свои проблемы. Во-первых, люди задают вопросы ограничиваясь своей фантазией. Кто-то попросит придумать стих на 8 марта, а кто-то спросит как объясняется феномен нарушения неравенств Белла в контексте квантовой запутанности? Во-вторых, есть вопрос к тому, что мы таким образом оцениваем: качество модели, и соответствие ответов модели нашим преференциям (стилистически, объемно и т.д.)? К тому же, взаимодействия, разрешенные в арене, могут не охватывать весь спектр возможностей моделей. Предпочтения людей в этих ограниченных сценариях могут не отражать общую полезность или качество моделей в более широких приложениях. Недавно добавленные категории (кодинг, разные языки, математика) немного спасают, но хочется чего-то еще.
Недавно компания Scale.com запустила SEAL Leaderboards, которые оценивают LLM с использованием частных (!) наборов данных, исключающих возможность манипуляций (если им верить). То есть по сути это свои закрытые данные и оцениваются они прям людьми прям руками.
Изначально охвачены такие темы:
• Программирование
• Следование инструкциям
• Математика (на основе GSM1k)
• Многоязычность
Я думаю такие подходы, пока что, самые качественные. Но тут хочется спросить: “А судьи кто?” Если это ноунеймы, то это одно, а если признанные эксперты в своих областях - совсем другое.
Please open Telegram to view this post
VIEW IN TELEGRAM
Scale
Scale's SEAL Leaderboards
Scale is excited to release the SEAL Leaderboards, which rank frontier LLMs using curated private datasets.
❤6
Media is too big
VIEW IN TELEGRAM
Ребята из exolabs уже запилили open-source альтернативу Apple Intelligence.
Мелкие задачи гоняются on-device. Большие - на кластере из Apple устройств.🤯 То есть данные не уходят в облако вообще.
Построено всё на MLX. Скоро обещают показать код.
Source
P.S. С удивлением узнал, что у них есть группа в телеге. Линк
Мелкие задачи гоняются on-device. Большие - на кластере из Apple устройств.
Построено всё на MLX. Скоро обещают показать код.
Source
P.S. С удивлением узнал, что у них есть группа в телеге. Линк
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯5
Meta FAIR анонсировали новые открытые AI модели
В этот раз по-мелочи.
Сегодня Meta FAIR представила четыре новых модели и дополнительные исследовательские материалы. Вот основные новинки:
1. Meta Chameleon: языковые модели с 7B и 34B параметрами, поддерживающие смешанный ввод и текстовый вывод.
2. Meta Multi-Token Prediction: предобученные языковые модели для автодополнения кода с использованием многотокенного предсказания.
3. Meta JASCO: генерирующие текстово-музыкальные модели с возможностью точного управления. Научная статья доступна сегодня, предобученная модель - скоро.
4. Meta AudioSeal: модель аудиоводяных знаков для обнаружения синтетической речи, доступная по коммерческой лицензии.
5. Дополнительные артефакты RAI: исследования, данные и код для улучшения представления географических и культурных предпочтений в системах ИИ.
Подробности и доступ ко всем выпущенным ресурсам от FAIR ➡️ go.fb.me/tzzvfg
В этот раз по-мелочи.
Сегодня Meta FAIR представила четыре новых модели и дополнительные исследовательские материалы. Вот основные новинки:
1. Meta Chameleon: языковые модели с 7B и 34B параметрами, поддерживающие смешанный ввод и текстовый вывод.
2. Meta Multi-Token Prediction: предобученные языковые модели для автодополнения кода с использованием многотокенного предсказания.
3. Meta JASCO: генерирующие текстово-музыкальные модели с возможностью точного управления. Научная статья доступна сегодня, предобученная модель - скоро.
4. Meta AudioSeal: модель аудиоводяных знаков для обнаружения синтетической речи, доступная по коммерческой лицензии.
5. Дополнительные артефакты RAI: исследования, данные и код для улучшения представления географических и культурных предпочтений в системах ИИ.
Подробности и доступ ко всем выпущенным ресурсам от FAIR ➡️ go.fb.me/tzzvfg
Meta AI
Sharing new research, models, and datasets from Meta FAIR
Meta FAIR is releasing several new research artifacts. Our hope is that the research community can use them to innovate, explore, and discover new ways to apply AI at scale.
❤2
Илья Суцкевер вместе с двумя другими чуваками анонсировали свою компанию по созданию безопасного ИИ. Прям так и называется - Safe Superintelligence Inc.
Илья пишет, что будет всего один продукт:
AGI уже не в моде, даешь Superintelligence.
https://ssi.inc/
Илья пишет, что будет всего один продукт:
We will pursue safe superintelligence in a straight shot, with one focus, one goal, and one product. We will do it through revolutionary breakthroughs produced by a small cracked team
AGI уже не в моде, даешь Superintelligence.
https://ssi.inc/
ssi.inc
Safe Superintelligence Inc.
The world's first straight-shot SSI lab, with one goal and one product: a safe superintelligence.
❤13🤯4
Forwarded from New Yorko Times (Yury Kashnitsky)
Consensus: RAG поверх научных статей для ответов на бытовые вопросы
#tips
Посоветую-ка я вам вот такую штуку: Consensus.app. Это приложение по типу RAG поверх научных статей (прям как Эльсивир пилит, только b2c, для людей). Оно умеет взять Yes/No вопрос про науку, найти релевантные статьи и понять, какие из них утвердительно отвечают на вопрос, а какие - отрицательно.
Скажем, интересно, как кофе влияет на умственную деятельность и здоровье. Фантазия у меня так себе, так что я написал промпт, чтоб он породил кучу таких вопросов.
Дальше ручками вбиваем эти вопросы в Consensus (если чутка упороться, можно и агента сделать, чтоб дернул API Consensus) и собираем, сколько статей – За, сколько не определились, а сколько против. Получается примерно так:
- Does coffee improve cognitive function and memory? – 67/17/17 (18 papers)
- Are there long-term health effects of consuming high quantities of coffee daily? – 73/13/13 (15 papers)
- Can coffee consumption reduce the risk of developing neurodegenerative diseases like Alzheimer's and Parkinson's? – 71/29/0 (17 papers)
- Is there a correlation between coffee intake and improved physical performance during exercise? – 77/15/8 (13 papers)
- Does coffee consumption negatively affect sleep patterns and overall sleep quality? – 69/12/19 (16 papers)
- Does coffee have any impact on mental health conditions such as anxiety and depression? – 29/57/14 (14 papers)
- Can coffee consumption lead to increased levels of cortisol and stress? – 83/0/17 (6 papers)
- Is there a link between regular coffee consumption and a lower risk of certain types of cancer? – 74/5/21 (19 papers)
- How does coffee affect metabolic rate and weight management? – 50/50/0 (6 papers)
- What are the effects of coffee on blood sugar levels and the risk of developing type 2 diabetes? – 76/18/6 (17 papers)
- Does coffee have any protective effects against liver diseases, including liver cancer and cirrhosis? – 80/15/5 (20 papers)
- Is there a positive relationship between coffee consumption and cardiovascular health, including blood pressure and heart disease risk? – 87/13/0 (13 papers)
Наконец, можно зашлифовать еще одним промптом, чтоб, например, отобрать все факты подтвержденные как минимум 10 статьями и сформировать на их основе складную историю.
В бесплатной версии дают примерно с 12-15 вопросами поиграться. Проблема таких инструментов, что 9 евро/мес. за такое вряд ли будешь платить. Но поиграться и в нужный момент вспомнить про такую штуку – здорово.
#tips
Посоветую-ка я вам вот такую штуку: Consensus.app. Это приложение по типу RAG поверх научных статей (прям как Эльсивир пилит, только b2c, для людей). Оно умеет взять Yes/No вопрос про науку, найти релевантные статьи и понять, какие из них утвердительно отвечают на вопрос, а какие - отрицательно.
Скажем, интересно, как кофе влияет на умственную деятельность и здоровье. Фантазия у меня так себе, так что я написал промпт, чтоб он породил кучу таких вопросов.
You are a life coach giving advice on coffee and productivity. Generate scientific questions about coffee in our life that can be checked for truth based on a corpus of scientific papers.
Examples:
- Does coffee increase my productivity?
- Is drinking too much coffee bad for my digestion?
- Is coffee bad for my heart?
Дальше ручками вбиваем эти вопросы в Consensus (если чутка упороться, можно и агента сделать, чтоб дернул API Consensus) и собираем, сколько статей – За, сколько не определились, а сколько против. Получается примерно так:
- Does coffee improve cognitive function and memory? – 67/17/17 (18 papers)
- Are there long-term health effects of consuming high quantities of coffee daily? – 73/13/13 (15 papers)
- Can coffee consumption reduce the risk of developing neurodegenerative diseases like Alzheimer's and Parkinson's? – 71/29/0 (17 papers)
- Is there a correlation between coffee intake and improved physical performance during exercise? – 77/15/8 (13 papers)
- Does coffee consumption negatively affect sleep patterns and overall sleep quality? – 69/12/19 (16 papers)
- Does coffee have any impact on mental health conditions such as anxiety and depression? – 29/57/14 (14 papers)
- Can coffee consumption lead to increased levels of cortisol and stress? – 83/0/17 (6 papers)
- Is there a link between regular coffee consumption and a lower risk of certain types of cancer? – 74/5/21 (19 papers)
- How does coffee affect metabolic rate and weight management? – 50/50/0 (6 papers)
- What are the effects of coffee on blood sugar levels and the risk of developing type 2 diabetes? – 76/18/6 (17 papers)
- Does coffee have any protective effects against liver diseases, including liver cancer and cirrhosis? – 80/15/5 (20 papers)
- Is there a positive relationship between coffee consumption and cardiovascular health, including blood pressure and heart disease risk? – 87/13/0 (13 papers)
Наконец, можно зашлифовать еще одним промптом, чтоб, например, отобрать все факты подтвержденные как минимум 10 статьями и сформировать на их основе складную историю.
В бесплатной версии дают примерно с 12-15 вопросами поиграться. Проблема таких инструментов, что 9 евро/мес. за такое вряд ли будешь платить. Но поиграться и в нужный момент вспомнить про такую штуку – здорово.
❤8
GitHub
GitHub - karpathy/LLM101n: LLM101n: Let's build a Storyteller
LLM101n: Let's build a Storyteller. Contribute to karpathy/LLM101n development by creating an account on GitHub.
Кажется, Андрей Карпатый скоро выложит свой курс по языковым моделям LLM101n. 😮
У него появилась соответствующая репа на гитхабе.
Пока что там есть только общее описание и названия лекций.
Судя по всему, он доделал (но не выложил) 17 лекций и еще 5 в процессе.
Вот эти 17:
- Chapter 01 Bigram Language Model (language modeling)
- Chapter 02 Micrograd (machine learning, backpropagation)
- Chapter 03 N-gram model (multi-layer perceptron, matmul, gelu)
- Chapter 04 Attention (attention, softmax, positional encoder)
- Chapter 05 Transformer (transformer, residual, layernorm, GPT-2)
- Chapter 06 Tokenization (minBPE, byte pair encoding)
- Chapter 07 Optimization (initialization, optimization, AdamW)
- Chapter 08 Need for Speed I: Device (device, CPU, GPU, ...)
- Chapter 09 Need for Speed II: Precision (mixed precision training, fp16, bf16, fp8, ...)
- Chapter 10 Need for Speed III: Distributed (distributed optimization, DDP, ZeRO)
- Chapter 11 Datasets (datasets, data loading, synthetic data generation)
- Chapter 12 Inference I: kv-cache (kv-cache)
- Chapter 13 Inference II: Quantization (quantization)
- Chapter 14 Finetuning I: SFT (supervised finetuning SFT, PEFT, LoRA, chat)
- Chapter 15 Finetuning II: RL (reinforcement learning, RLHF, PPO, DPO)
- Chapter 16 Deployment (API, web app)
- Chapter 17 Multimodal (VQVAE, diffusion transformer)
А вот эти еще в процессе:
- Programming languages: Assembly, C, Python
- Data types: Integer, Float, String (ASCII, Unicode, UTF-8)
- Tensor: shapes, views, strides, contiguous, ...
- Deep Learning frameowrks: PyTorch, JAX
- Neural Net Architecture: GPT (1,2,3,4), Llama (RoPE, RMSNorm, GQA), MoE, ...
- Multimodal: Images, Audio, Video, VQVAE, VQGAN, diffusion
https://github.com/karpathy/LLM101n
p.s. по ссылке больше информации нет - сохраняем и ждем релизов!
У него появилась соответствующая репа на гитхабе.
Пока что там есть только общее описание и названия лекций.
In this course we will build a Storyteller AI Large Language Model (LLM). Hand in hand, you'll be able create, refine and illustrate little stories with the AI. We are going to build everything end-to-end from basics to a functioning web app similar to ChatGPT, from scratch in Python, C and CUDA, and with minimal computer science prerequisits. By the end you should have a relatively deep understanding of AI, LLMs, and deep learning more generally.
Судя по всему, он доделал (но не выложил) 17 лекций и еще 5 в процессе.
Вот эти 17:
- Chapter 01 Bigram Language Model (language modeling)
- Chapter 02 Micrograd (machine learning, backpropagation)
- Chapter 03 N-gram model (multi-layer perceptron, matmul, gelu)
- Chapter 04 Attention (attention, softmax, positional encoder)
- Chapter 05 Transformer (transformer, residual, layernorm, GPT-2)
- Chapter 06 Tokenization (minBPE, byte pair encoding)
- Chapter 07 Optimization (initialization, optimization, AdamW)
- Chapter 08 Need for Speed I: Device (device, CPU, GPU, ...)
- Chapter 09 Need for Speed II: Precision (mixed precision training, fp16, bf16, fp8, ...)
- Chapter 10 Need for Speed III: Distributed (distributed optimization, DDP, ZeRO)
- Chapter 11 Datasets (datasets, data loading, synthetic data generation)
- Chapter 12 Inference I: kv-cache (kv-cache)
- Chapter 13 Inference II: Quantization (quantization)
- Chapter 14 Finetuning I: SFT (supervised finetuning SFT, PEFT, LoRA, chat)
- Chapter 15 Finetuning II: RL (reinforcement learning, RLHF, PPO, DPO)
- Chapter 16 Deployment (API, web app)
- Chapter 17 Multimodal (VQVAE, diffusion transformer)
А вот эти еще в процессе:
- Programming languages: Assembly, C, Python
- Data types: Integer, Float, String (ASCII, Unicode, UTF-8)
- Tensor: shapes, views, strides, contiguous, ...
- Deep Learning frameowrks: PyTorch, JAX
- Neural Net Architecture: GPT (1,2,3,4), Llama (RoPE, RMSNorm, GQA), MoE, ...
- Multimodal: Images, Audio, Video, VQVAE, VQGAN, diffusion
https://github.com/karpathy/LLM101n
p.s. по ссылке больше информации нет - сохраняем и ждем релизов!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤17🤯5👍2
Adam-mini: Use Fewer Learning Rates To Gain More
LLM - жирные (не фэтшейминг!). Хочется учить их быстрее и эффективнее. С одной стороны можно скейлить и улучшать железо, данные, сами модели. С другой - можно потюнить сам training design. Например, можно поковырять оптимизаторы. В статье «Adam-mini: Use Fewer Learning Rates To Gain More» предлагают оптимизатор, который обеспечивает на 49,6% более высокую пропускную способность по сравнению с AdamW при предобучении Llama2-7B на 2x A800-80GB GPU, что экономит 33% wall-lock time на предобучение.
Немного деталей:
📌 Adam-mini снижает использование памяти за счет назначения меньшего количества learning rates. Вместо индивидуальных lr для каждого параметра он использует среднее значение v по заранее определенным блокам параметров.
- v – это вектор второго порядка моментов в Adam/AdamW. Он хранит экспоненциально сглаженное среднее значение квадратов градиентов для каждого параметра.
- В стандартном AdamW v обновляется для каждого параметра i следующим образом: v_i = (1 - β2) * (gradient_i^2) + β2 * v_i. Он использует 1/√v_i для масштабирования learning rate для каждого параметра индивидуально.
- Adam-mini изменяет это, вычисляя среднее значение v для каждого блока параметров.
📌 Экономия памяти: сокращает ≥90% v в Adam, уменьшая общую память, используемую оптимизатором, на 45-50%. Для Llama2-7B это означает снижение использования памяти на 48,04% (с 53,92 ГБ до 28,04 ГБ). Почему они не использовали llama-3 - непонятно. Возможно работу делали давно и не хотели заново гонять бенчмарки.
Статья
Git
LLM - жирные (не фэтшейминг!). Хочется учить их быстрее и эффективнее. С одной стороны можно скейлить и улучшать железо, данные, сами модели. С другой - можно потюнить сам training design. Например, можно поковырять оптимизаторы. В статье «Adam-mini: Use Fewer Learning Rates To Gain More» предлагают оптимизатор, который обеспечивает на 49,6% более высокую пропускную способность по сравнению с AdamW при предобучении Llama2-7B на 2x A800-80GB GPU, что экономит 33% wall-lock time на предобучение.
Немного деталей:
📌 Adam-mini снижает использование памяти за счет назначения меньшего количества learning rates. Вместо индивидуальных lr для каждого параметра он использует среднее значение v по заранее определенным блокам параметров.
- v – это вектор второго порядка моментов в Adam/AdamW. Он хранит экспоненциально сглаженное среднее значение квадратов градиентов для каждого параметра.
- В стандартном AdamW v обновляется для каждого параметра i следующим образом: v_i = (1 - β2) * (gradient_i^2) + β2 * v_i. Он использует 1/√v_i для масштабирования learning rate для каждого параметра индивидуально.
- Adam-mini изменяет это, вычисляя среднее значение v для каждого блока параметров.
📌 Экономия памяти: сокращает ≥90% v в Adam, уменьшая общую память, используемую оптимизатором, на 45-50%. Для Llama2-7B это означает снижение использования памяти на 48,04% (с 53,92 ГБ до 28,04 ГБ). Почему они не использовали llama-3 - непонятно. Возможно работу делали давно и не хотели заново гонять бенчмарки.
Статья
Git
arXiv.org
Adam-mini: Use Fewer Learning Rates To Gain More
We propose Adam-mini, an optimizer that achieves on par or better performance than AdamW with 50% less memory footprint. Adam-mini reduces memory by cutting down the learning rate resources in...
❤8
В Luma появилась возможность создавать видео по первому и последнему кадру. Теперь мемы можно объединять в одно видео. 🤡
Автор
Автор
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁13❤1
This media is not supported in your browser
VIEW IN TELEGRAM
ElevenLabs представили Voice Isolator - удаление шума с аудио, чтобы остался только голос.
Пробовать бесплатно тут https://elevenlabs.io/voice-isolator
API скоро
Пробовать бесплатно тут https://elevenlabs.io/voice-isolator
API скоро
🤯8👍6