Data Secrets
"Я не буду вдаваться в подробности о данных, на которых обучалась модель" CTO OpenAI, Мира Мурати, дала интервью журналистке из Wall Street Journal. Та спросила Миру о том, на каких данных обучалась SORA, на что CTO ответила просто "на публично доступных".…
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥66😁24👍9❤5
Большая вещь: Maisa представили KPU (Knowledge Processing Unit) для улучшения способности LLM рассуждать
По сути это обертка для LLM, которая состоит из так называемого мыслителя, исполнителя и виртуального контекстного окна.
Мыслитель, опираясь на выходы LLM, организует пошаговый план решения задачи пользователя. Исполнитель выполняет команды мыслителя и возвращает ему же результаты для перепланировки. А последняя компонента как бы обеспечивает оптимальное «общение» между этими двумя.
Архитектура не только изящная, но и, судя по бенчмаркам, очень многообещающая. Особенно повышает способности модели решать сложные многоэтапные задачи (в том числе математические и алгоритмические).
По сути это обертка для LLM, которая состоит из так называемого мыслителя, исполнителя и виртуального контекстного окна.
Мыслитель, опираясь на выходы LLM, организует пошаговый план решения задачи пользователя. Исполнитель выполняет команды мыслителя и возвращает ему же результаты для перепланировки. А последняя компонента как бы обеспечивает оптимальное «общение» между этими двумя.
Архитектура не только изящная, но и, судя по бенчмаркам, очень многообещающая. Особенно повышает способности модели решать сложные многоэтапные задачи (в том числе математические и алгоритмические).
🔥47👍8🥰8❤🔥3❤1
🗿103🫡29😁27👍5😨3🤯2👾2❤1☃1
rules_of_ml.pdf
449.5 KB
Что почитать на выходных: руководство от Google "Как делать ML"
Это Best Practices ML System Design бигтеха, священные скрижали «как делать нужно» и «как делать не нужно». Не обращайте внимание на то, что документу много лет. Он все еще как новый (и в некоторых моментах даже более актуальный, чем современные письмена).
Для тех, кто готов преисполниться
Это Best Practices ML System Design бигтеха, священные скрижали «как делать нужно» и «как делать не нужно». Не обращайте внимание на то, что документу много лет. Он все еще как новый (и в некоторых моментах даже более актуальный, чем современные письмена).
Для тех, кто готов преисполниться
❤60👍18🔥8
В Google Maps только что вышло огромное количество AI-обновлений. В комплекте:
– Иммерсивный вид карт. Помогает на основе снимков со спутника сгенерировать ваш маршрут в 3D и пройти по нему.
– Исследование объектов в real-time. Включаешь камеру, наводишь на что-либо, а карты рассказывают тебе, что это за место, какие в доме есть заведения и прочее.
– Расширенная навигация и advanced подсказки в пути.
– Запросы в поиске на естественном языке. Например: «найди место поблизости с винтажным вайбом».
– Иммерсивный вид карт. Помогает на основе снимков со спутника сгенерировать ваш маршрут в 3D и пройти по нему.
– Исследование объектов в real-time. Включаешь камеру, наводишь на что-либо, а карты рассказывают тебе, что это за место, какие в доме есть заведения и прочее.
– Расширенная навигация и advanced подсказки в пути.
– Запросы в поиске на естественном языке. Например: «найди место поблизости с винтажным вайбом».
👍49🔥15❤7❤🔥1
Data Secrets
Илон Маск пообещал выкатить свою LLM в опенсурс. Видимо, решил подать положительный пример OpenAI (на которых, напоминаем, он подал в суд за то, что они якобы нарушили исходные заповеди компании и перестали быть “Open”).
Please open Telegram to view this post
VIEW IN TELEGRAM
😁76🔥23🤯7😈4
Где лучше всего учиться ML в Росиии? Конечно же в Школе Анализа Данных от Яндекса.
Но вот проблема: чтобы попасть туда, нужна сильная математическая база и скилл щелкать олимпиадное программирование.
Со всеми теми, кто не хочет упустить возможность усилить свои знания, делимся школой Shad Helper, которая готовит к поступлению в ШАД.
Очень скоро, 25 марта, у них стартует 13-месячная программа под руководством сильной команды (преподаватели кандидаты и доктора из МГУ, МФТИ, ВШЭ). Стоимость – 5999 в неделю, остановить обучение можно в любой момент. В комплекте также система скидок за хорошую успеваемость, чат-бот для студентов и регулярные домашние задания с менторской проверкой.
Остались вопросы? Подключайся к ребятам на вебинар 21 марта в 19:00, чтобы узнать больше про курс и подготовку к ШАД.
Но вот проблема: чтобы попасть туда, нужна сильная математическая база и скилл щелкать олимпиадное программирование.
Со всеми теми, кто не хочет упустить возможность усилить свои знания, делимся школой Shad Helper, которая готовит к поступлению в ШАД.
Очень скоро, 25 марта, у них стартует 13-месячная программа под руководством сильной команды (преподаватели кандидаты и доктора из МГУ, МФТИ, ВШЭ). Стоимость – 5999 в неделю, остановить обучение можно в любой момент. В комплекте также система скидок за хорошую успеваемость, чат-бот для студентов и регулярные домашние задания с менторской проверкой.
Остались вопросы? Подключайся к ребятам на вебинар 21 марта в 19:00, чтобы узнать больше про курс и подготовку к ШАД.
🤯33🙈10🫡9🤨5❤2😁2
Традиционно, воскресно, и в этот раз не очень очевидно. Задача!
Кто готов попробовать свои силы?
В группе первокурсников n человек и они видят друг друга впервые. А в парке аттракционов сегодня дают скидку, если приходит компания ровно из k друзей, среди которых каждый дружит с каждым.
Дружба между любой парой однокурсников независимо возникает с вероятностью р. Ваня, один из первокурсников, хочет пойти на аттракционы со скидкой.
Каким в среднем количеством способов он может это сделать?
Кто готов попробовать свои силы?
👍17❤3
Data Secrets
Как и обещали, Grok появился в опенсурс 😬
Ладно-ладно, теперь серьезно. X.ai выложили веса и код Grok-1. Оказалось, что это опять-таки Mixture of Experts. Поражает только размер: 314 млрд параметров. Для сравнения, в Gemini Pro 100 млрд.
GitHub | HuggingFace
GitHub | HuggingFace
👍31🔥14🤯7❤5
Data Secrets
Ладно-ладно, теперь серьезно. X.ai выложили веса и код Grok-1. Оказалось, что это опять-таки Mixture of Experts. Поражает только размер: 314 млрд параметров. Для сравнения, в Gemini Pro 100 млрд. GitHub | HuggingFace
Разобрали modal.py этого чуда и готовы погрузить вас в архитектуру. Итак, Grok-1 Илона Маска – это:
– 314В параметров, 86В активных. Mixture of Experts, 8 экспертов, 2 активных (то есть по 2 на токен).
– Вместо позиционных эмбеддингов используются Rotary эмбеддинги размерностью 6144.
– Размер словаря токенизатора: 131 072 (в GPT-4, кстати, примерно столько же).
– 64 слоя в трансформере, каждый с декодером (мультихэд внимание + denseblock). Размерность ключей – 128.
– Длина контекста – 8192 токена (bf16).
– 8-битное квантование весов, то есть ~ 314Гб.
Лицензия – Apache 2.0. Вот такие дела.
– 314В параметров, 86В активных. Mixture of Experts, 8 экспертов, 2 активных (то есть по 2 на токен).
– Вместо позиционных эмбеддингов используются Rotary эмбеддинги размерностью 6144.
– Размер словаря токенизатора: 131 072 (в GPT-4, кстати, примерно столько же).
– 64 слоя в трансформере, каждый с декодером (мультихэд внимание + denseblock). Размерность ключей – 128.
– Длина контекста – 8192 токена (bf16).
– 8-битное квантование весов, то есть ~ 314Гб.
Лицензия – Apache 2.0. Вот такие дела.
🎉64🔥16👍10❤2🤨1
erid: LjN8KbxG8
Построение DWH в Yandex Cloud: кейс крупной логистической компании
21 марта в 16.00
На вебинаре эксперты iiii Tech и Yandex Cloud совместно с клиентом Рулог поделятся кейсом, как в рамках локализации отчетности развернуть DWH (КХД) на Yandex Cloud.
Расскажем о:
- современном стеке аналитических инструментов
- бесшовной миграции с международных облачных платформ
- о проекте построения DWH (КХД) на основе дата-контрактов
Вебинар будет полезен CDO, CTO, руководителям направлений по работе с данными, архитекторам данных, аналитиками и дата-инженерам.
Спикеры:
Георгий Цыганков,
руководитель направления BI
Андрей Суренский,
архитектор по работе с партнёрами Yandex Cloud
Венера Никитина, бизнес-аналитик логистической компании Рулог
Зарегистрироваться можно по ссылке
Построение DWH в Yandex Cloud: кейс крупной логистической компании
21 марта в 16.00
На вебинаре эксперты iiii Tech и Yandex Cloud совместно с клиентом Рулог поделятся кейсом, как в рамках локализации отчетности развернуть DWH (КХД) на Yandex Cloud.
Расскажем о:
- современном стеке аналитических инструментов
- бесшовной миграции с международных облачных платформ
- о проекте построения DWH (КХД) на основе дата-контрактов
Вебинар будет полезен CDO, CTO, руководителям направлений по работе с данными, архитекторам данных, аналитиками и дата-инженерам.
Спикеры:
Георгий Цыганков,
руководитель направления BI
Андрей Суренский,
архитектор по работе с партнёрами Yandex Cloud
Венера Никитина, бизнес-аналитик логистической компании Рулог
Зарегистрироваться можно по ссылке
🗿5👍1
Сегодня много движа со стороны Apple. Видимо вспомнили, что скоро выпускать новый IPhone, ну а выпустить без ИИ на борту будет как-то не трендово.
🌟 По данным обозревателя Bloomberg Марка Гурмана, Apple планирует получить у Google лицензию на использование Gemini. Компания хочет добавить ИИ-функции в iOS уже в этом году.
А также пошел слушок, что Apple обсуждала с OpenAI возможность использования их ИИ-модели.
🌟 У техно-гиганта в работе еще одна модель MM1 (статья). Умеет считать объекты на картинке и описывать их, анализирует участки изображения и извлекает текст, может проводить простые математические операции, посчитать примерный вес и размеры айтема.
🌟 В начале года Apple тихо купила стартап Darwin AI вместе с десятком их сотрудников. Главное направление разработок там – делать LLM легче и быстрее (идеально для смартфонов).
В таких реалиях особенно забавно вспоминать о том, что Apple сократила свою ML-команду в размере более 100 человек, которая как раз занималась разработкой Siri.
А также пошел слушок, что Apple обсуждала с OpenAI возможность использования их ИИ-модели.
В таких реалиях особенно забавно вспоминать о том, что Apple сократила свою ML-команду в размере более 100 человек, которая как раз занималась разработкой Siri.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍26🔥7🫡5😁2❤1
Forwarded from XOR
Сам Гейтс до сих пор не нашёл баланс в использовании ИИ. Он отмечает, что с некоторыми задачами нейросети справляются блестяще, но другие делают хуже любого человека. А ещё искусственный интеллект плохо играет в судоку и не может сделать людей счастливыми.
@xor_journal
Please open Telegram to view this post
VIEW IN TELEGRAM
👍35🔥9😁4
Nvidia представила свою новую крышесносно-мощную видеокарту Blackwell
Она в 5(!) раз быстрее предыдущей Hopper, которая кстати вышла всего год назад (ну ничего себе экспонента, да?). Уже известно, что чип будут использовать в OpenAI, Google, Microsoft и Tesla.
Для больших языковых обещают снижение затрат на инференс в 25 раз! А еще Хуанг предложил собирать чипы в кластеры по 100 тысяч ускорителей. Просто представьте, какая это мощь и насколько может изменить индустрию ИИ.
Не зря Альтман и остальные верят, что именно за чипами будущее. Новой эре быть!
Она в 5(!) раз быстрее предыдущей Hopper, которая кстати вышла всего год назад (ну ничего себе экспонента, да?). Уже известно, что чип будут использовать в OpenAI, Google, Microsoft и Tesla.
Для больших языковых обещают снижение затрат на инференс в 25 раз! А еще Хуанг предложил собирать чипы в кластеры по 100 тысяч ускорителей. Просто представьте, какая это мощь и насколько может изменить индустрию ИИ.
Не зря Альтман и остальные верят, что именно за чипами будущее. Новой эре быть!
🔥51👍9😁5🙈1
Data Secrets
Реалии современной науки * статья с картинки 1; статья с картинки 2
Лучше не становится: Google Scholar туда же…
Эх, ну хоть бы промптить нормально научились
Эх, ну хоть бы промптить нормально научились
😁59😨6👌3❤1👍1🤯1