Work & Beer Balance
В следующие лет 5 я ожидаю увидеть интересную ситуацию - представьте что станет возможным купить платку для установки в ПК на которой будет написано - GPT-6 Astra. И ей не нужны будут горы оперативной памяти или мощный процессор, но при этом она позволит вам…
Каждый раз вычислительным блокам нужно снова читать огромный объём весов из памяти (которые не поменялись) чтобы произвести вычисления для следующего токена. И так снова и снова.
Ну вы поняли - узкое место не скорость вычислений, а пропускная способность между памятью и вычислительными блоками. По эффективности это похоже на наполнение ванной чайной ложкой.
В Taalas придумали как решить проблему принципиально, и хранить на кремнии сразу веса модели, и электрически прямо на этом кремнии воспроизвести процесс вычисления (на одном транзисторе и параметр хранится и на нем же умножение с ним выполняется ). Нет постоянных обращений к памяти - нет проблемы пропускной способности!
Причем процесс такого "запекания" модели в чип удалось сократить до 2х месяцев. И хотя сейчас llama зашивается сильно квантизированной (3-6 бит) следующее поколение с большим количеством битов уже на подходе.
А это значит что в перспективе ближайших лет мы вполне можем увидеть обвал стоимости токена для своего рода "LTS моделей". Т.е. за совсем свеженькую надо будет платить как и раньше, а вот за пол года "полежавшую" в несколько раз (если не степеней) меньше, и на скоростях которые мне даже представить тяжело
Глядишь и опертивку можно будет по старой цене купить которая уже не нужна будет в таких обьемах...
Чуть не забыл - вот тут можно пощупать эту запеченную в кремнии модель онлайн: https://chatjimmy.ai
Ну вы поняли - узкое место не скорость вычислений, а пропускная способность между памятью и вычислительными блоками. По эффективности это похоже на наполнение ванной чайной ложкой.
В Taalas придумали как решить проблему принципиально, и хранить на кремнии сразу веса модели, и электрически прямо на этом кремнии воспроизвести процесс вычисления (на одном транзисторе и параметр хранится и на нем же умножение с ним выполняется ). Нет постоянных обращений к памяти - нет проблемы пропускной способности!
Причем процесс такого "запекания" модели в чип удалось сократить до 2х месяцев. И хотя сейчас llama зашивается сильно квантизированной (3-6 бит) следующее поколение с большим количеством битов уже на подходе.
А это значит что в перспективе ближайших лет мы вполне можем увидеть обвал стоимости токена для своего рода "LTS моделей". Т.е. за совсем свеженькую надо будет платить как и раньше, а вот за пол года "полежавшую" в несколько раз (если не степеней) меньше, и на скоростях которые мне даже представить тяжело
Глядишь и опертивку можно будет по старой цене купить которая уже не нужна будет в таких обьемах...
Чуть не забыл - вот тут можно пощупать эту запеченную в кремнии модель онлайн: https://chatjimmy.ai
chatjimmy.ai
chat jimmy
chat jimmy LLM web interface
👍10
Есть такая LLM модель о который вы скорее всего не слышали, но она заслуживает вашего внимания - Apertus.
Интересна она по нескольким причинам:
Во первых это действительно новая с нуля обученная модель а не модфикация glm или дипсика которые дестиляции клоды и gpt.
Во вторых, в противостоянии США и Китая появился новый игрок - Европа (EPFL, ETH Zürich и Swiss National Supercomputing Centre, модели тренируют на суперкомпьютере Alps в Лугано).
В третьих - это самая открытая модель - в опенсорсе не только веса, но и информация о всех датасетах на которой ее тренеровали, рецепеты и детали процесса обучения. Лицензия тоже достаточно свободная (Apache 2.0)
С датасетами тут особо заморочились - используются только полностью открытые training data, стараются соблюдать opt-out владельцев контента и специально применяют методы для уменьшения memorization, т.е. модель запоминает факты, закономерности, стиль, но не конкретные фрагменты. А это значит что нарушить авторское право используя эту модель шансов намного меньше чем с другими моделями
А что умеет? Она нативно-мультимодальная, т.е. умеет в текст, картинки, звук в обе стороны. thinking mode, tool use тоже на борту.
P.S. Надо будет проверить, может это будет единственная модель в мире которая умеет переводить на шотландский?
Интересна она по нескольким причинам:
Во первых это действительно новая с нуля обученная модель а не модфикация glm или дипсика которые дестиляции клоды и gpt.
Во вторых, в противостоянии США и Китая появился новый игрок - Европа (EPFL, ETH Zürich и Swiss National Supercomputing Centre, модели тренируют на суперкомпьютере Alps в Лугано).
В третьих - это самая открытая модель - в опенсорсе не только веса, но и информация о всех датасетах на которой ее тренеровали, рецепеты и детали процесса обучения. Лицензия тоже достаточно свободная (Apache 2.0)
С датасетами тут особо заморочились - используются только полностью открытые training data, стараются соблюдать opt-out владельцев контента и специально применяют методы для уменьшения memorization, т.е. модель запоминает факты, закономерности, стиль, но не конкретные фрагменты. А это значит что нарушить авторское право используя эту модель шансов намного меньше чем с другими моделями
А что умеет? Она нативно-мультимодальная, т.е. умеет в текст, картинки, звук в обе стороны. thinking mode, tool use тоже на борту.
P.S. Надо будет проверить, может это будет единственная модель в мире которая умеет переводить на шотландский?
YouTube
Подросток научил нейронку неправильному шотландскому
новости, новости сегодня, новости дня, главные новости сегодня, гла...
👏4👍1
Work & Beer Balance
Есть такая LLM модель о который вы скорее всего не слышали, но она заслуживает вашего внимания - Apertus. Интересна она по нескольким причинам: Во первых это действительно новая с нуля обученная модель а не модфикация glm или дипсика которые дестиляции клоды…
Насколько она умная?
В реальном RAG-сервисе ZüriCityGPT на реальном пользовательском трафике Apertus 1.5 70B получил средний score 3.99 против 4.81 у GPT-5.6 Luna.
Но вот что интересно, 2 октября 2026 опубликуют результаты бенчей маленькой Apertus 1.5 8B (MMLU-Pro, GSM8K, IFEval, LongBench, GPQA, MATH-500, AIME и MGSM + несколько релаьных бизнес задач) и уже анонсировали что среди моделей 7–9B Apertus 1.5 оказался сильнейшим среди протестированных open-моделей
В реальном RAG-сервисе ZüriCityGPT на реальном пользовательском трафике Apertus 1.5 70B получил средний score 3.99 против 4.81 у GPT-5.6 Luna.
Но вот что интересно, 2 октября 2026 опубликуют результаты бенчей маленькой Apertus 1.5 8B (MMLU-Pro, GSM8K, IFEval, LongBench, GPQA, MATH-500, AIME и MGSM + несколько релаьных бизнес задач) и уже анонсировали что среди моделей 7–9B Apertus 1.5 оказался сильнейшим среди протестированных open-моделей
❤5
Work & Beer Balance
Насколько она умная? В реальном RAG-сервисе ZüriCityGPT на реальном пользовательском трафике Apertus 1.5 70B получил средний score 3.99 против 4.81 у GPT-5.6 Luna. Но вот что интересно, 2 октября 2026 опубликуют результаты бенчей маленькой Apertus 1.5 8B…
Ну и если вы пользуетесь продутами Proton - VPN или почтой, то вам будет интересно узнать что их LLM чатик lumo как раз таки использует Apertus (правда еще версии 1.0 пока)
lumo.proton.me
Lumo: Privacy-first AI assistant where chats stay confidential
Meet Lumo, the zero-access encrypted AI assistant by Proton that does not track or record your conversations. Ask me anything — it's confidential
👍1
👨💻 Фронтенд с AI: что можно делегировать агентам
5 октября, стартует конференция Podlodka Frontend Crew — сезон о том, как применять AI во фронтенд-разработке на практике.
Участники конференции узнают:
• Как находить prompt injection и противостоять таким атакам;
• Какие подходы помогают повысить доверие к результатам агентской разработки;
• Как проводить ревью кода, созданного AI-агентами;
• Как AI помогает упростить починку багов.
В программе ещё много практических кейсов. Также нужно отметить, что у конференции очень удобный формат. Это пять дней Zoom-сессий по утрам и вечерам и закрытое Telegram-комьюнити, где можно обсудить новый опыт и узнать от единомышленников то, что не догадаешься спросить у своей LLM.
Приходите, чтобы разобраться, какие задачи уже можно делегировать AI, где важно сохранять контроль и как выстроить системную работу с AI в команде или проекте.
🔗 Программа и билеты: https://podlodka.io/fecrew
Скидка для моих подписчиков по промокодуworkbeer
5 октября, стартует конференция Podlodka Frontend Crew — сезон о том, как применять AI во фронтенд-разработке на практике.
Участники конференции узнают:
• Как находить prompt injection и противостоять таким атакам;
• Какие подходы помогают повысить доверие к результатам агентской разработки;
• Как проводить ревью кода, созданного AI-агентами;
• Как AI помогает упростить починку багов.
В программе ещё много практических кейсов. Также нужно отметить, что у конференции очень удобный формат. Это пять дней Zoom-сессий по утрам и вечерам и закрытое Telegram-комьюнити, где можно обсудить новый опыт и узнать от единомышленников то, что не догадаешься спросить у своей LLM.
Приходите, чтобы разобраться, какие задачи уже можно делегировать AI, где важно сохранять контроль и как выстроить системную работу с AI в команде или проекте.
🔗 Программа и билеты: https://podlodka.io/fecrew
Скидка для моих подписчиков по промокоду
❤🔥2
Ищу нового хозяина для своего Starlabs Starlight 12.5" Linux планшета (хочу поменять его на Framework 12).
Состояние идеальное, ни скола ни царапинки, в комплекте:
- тканевый чехол
- чехол-клавиатура с тачпадом
- активный стилус
- 2m type-c кабель (USB 5.0)
- брендированная usb-a / usb-c флешка
- 65W type-c блок питания.
Кроме того что-он linux-first есть еще пару особенностей отличающих его от других планшетов:
- это планшет на x86 (Intel N150) а не arm.
- этот планшет разборный и есть офф гайд как это делать, если например вы вдруг захотите поменять акб или заменить память планкой побольше
- кроме сменяемой 512GB на борту у него есть слот для micro-sd
- аж целых два type-c порта, micro-hdmi и jack 3.5
- хороший яркий сенсорный 2k экран (2880x1920)
- 16GB RAM
Новый он стоит 1,409$ (правда это уже перевыпуск на чуть лучшем N350, с чуть худшим экраном 2160x1440), я его отдам за 750$
Состояние идеальное, ни скола ни царапинки, в комплекте:
- тканевый чехол
- чехол-клавиатура с тачпадом
- активный стилус
- 2m type-c кабель (USB 5.0)
- брендированная usb-a / usb-c флешка
- 65W type-c блок питания.
Кроме того что-он linux-first есть еще пару особенностей отличающих его от других планшетов:
- это планшет на x86 (Intel N150) а не arm.
- этот планшет разборный и есть офф гайд как это делать, если например вы вдруг захотите поменять акб или заменить память планкой побольше
- кроме сменяемой 512GB на борту у него есть слот для micro-sd
- аж целых два type-c порта, micro-hdmi и jack 3.5
- хороший яркий сенсорный 2k экран (2880x1920)
- 16GB RAM
Новый он стоит 1,409$ (правда это уже перевыпуск на чуть лучшем N350, с чуть худшим экраном 2160x1440), я его отдам за 750$
🔥3