Как видят мир другие существа?
Последний релиз 4o это просто нечто - играю в генерацию изображений уже целую неделю. Вчера пришла мысль, а что, если с помощью него симулировать как видят, например, собаки? Поэтому встречайте:
Оригинал, собака, пчела, лосось.
Подсвечивание у пчелы - так она видит цветы и все, что связано с нектаром. Если рассмотреть картинку, то она выглядит как плитка. У лосося получилось самое неточное изображение как будто.
4o не может сгенерировать, чего никогда не видел. Если закинуть generate image from dog's pov, то получится картинка и голова собаки перед ней. Поэтому мой пайплайн такой:
Deep Search
o3-mini-high
4o
Очевидно, что это даже не близкая передача их визуального аппарата, но интересно изучать разные методы взаимодействия с ИИ-шкой.
Я хотел еще сделать SORA видео к этому, но чет у меня Сэм отобрал доступ к ней
Последний релиз 4o это просто нечто - играю в генерацию изображений уже целую неделю. Вчера пришла мысль, а что, если с помощью него симулировать как видят, например, собаки? Поэтому встречайте:
Оригинал, собака, пчела, лосось.
Подсвечивание у пчелы - так она видит цветы и все, что связано с нектаром. Если рассмотреть картинку, то она выглядит как плитка. У лосося получилось самое неточное изображение как будто.
4o не может сгенерировать, чего никогда не видел. Если закинуть generate image from dog's pov, то получится картинка и голова собаки перед ней. Поэтому мой пайплайн такой:
Deep Search
Based on scientific data and papers, describe in details how dog sees this world
o3-mini-high
Преврати это в небольшой промпт, чтобы создать изображение, как собака видит
4o
Create image ... вставляем промпт из o3
Очевидно, что это даже не близкая передача их визуального аппарата, но интересно изучать разные методы взаимодействия с ИИ-шкой.
Я хотел еще сделать SORA видео к этому, но чет у меня Сэм отобрал доступ к ней
❤2🐳1
Идеальный стартап
Возьмут на ICML с этим?
Собираюсь публиковать статью на arxiv и hugging face.
Сделать на Хабре обзор метода и выводов?
Сделать на Хабре обзор метода и выводов?
❤3❤🔥2
Сначала чат гпт долго расписывает, почему моя идея не сработает, а затем дает советы, как ее улучшить, с подписью, что это незаконно.
Нужен мем: но вы же это чисто с научной точки зрения, Том?
Нужен мем: но вы же это чисто с научной точки зрения, Том?
🗿3😁2🥰1🕊1
Хотели узнать, как промптят самые популярные АИ продукты?
Есть гитхаб, который содержит промпты к самым популярным AI кодинг инструментам: Lovable, Cursor, Devin, Windsurf и еще несколько. Решил посмотреть на них и найти интересности. Понятно, что все они оформлены в лучшем стиле, так что если хотите поучиться "Чистому промпту", то советую глянуть самому.
Cursor
Во-первых, указывается модель, с которой среда оперирует – Claude 3.7. Зачем? Вопрос интересный, с учетом того, что если спросить сам Claude 3.7, какие модели есть у Claude, то 3.7 он не назовет. Ну и, конечно, world's best IDE - без этого промпт не будет работать, если что.
Указывается, что "менее интеллектуальная" модель применит изменения, которые написал Claude.
Lovable
Тут мне просто формат показался забавным – вместо просто <write, rename>, у них функции с префиксом lov.
Интересно, что агенту lovable дают настолько подробный контекст, зачем его работа нужна.
Вопрос: реально ли это влияет на результаты? Мне, как и многим другим людям, интереснее работать над осмысленной задачей, если я знаю, куда это пойдет дальше и зачем это нужно. Работает ли это на АИ тоже?
Manus
Защита промпта и модели укладывается в две строчки. Интересен последний комментарий насчет лимитированного контекста. Честно, мне даже сложно представить влияние на модель, но если он там есть, то, скорее всего, это было нужно.
Дают примеры хороших и плохих промптов для создания приложения. Я, если честно, манусом не пользовался и не особо понимаю, зачем там это нужно, но есть предположение, что это показывается юзеру с целью получить от него более подробную информацию. Как по мне, это довольно неэффективно. Нужно не юзера учить промптить, а модель задавать вопросы с целью получения более подробного ТЗ.
Итог:
- Для каждой модели дают супер подробный контекст того, ГДЕ, ЗАЧЕМ и КАК она будет использоваться
- Защите промпта не особо уделяют внимание
- Оказалось не так много смешного, как я предпологал
- Чувак, который собрал репозиторий (он взломал модели для получения промпта) написал еще у себя: "Свяжитесь со мной, если хотите сделать модели более защищенными" – крутой лид магнит, а?
Репа
Есть гитхаб, который содержит промпты к самым популярным AI кодинг инструментам: Lovable, Cursor, Devin, Windsurf и еще несколько. Решил посмотреть на них и найти интересности. Понятно, что все они оформлены в лучшем стиле, так что если хотите поучиться "Чистому промпту", то советую глянуть самому.
Cursor
You are a powerful agentic AI coding assistant, powered by Claude 3.7 Sonnet. You operate exclusively in Cursor, the world's best IDE.
Во-первых, указывается модель, с которой среда оперирует – Claude 3.7. Зачем? Вопрос интересный, с учетом того, что если спросить сам Claude 3.7, какие модели есть у Claude, то 3.7 он не назовет. Ну и, конечно, world's best IDE - без этого промпт не будет работать, если что.
Use this tool to propose an edit to an existing file. This will be read by a less intelligent model, which will quickly apply the edit
Указывается, что "менее интеллектуальная" модель применит изменения, которые написал Claude.
Lovable
You understand that you can only modify allowed files and must use specific commands:
File Operations:
- <lov-write> for creating or updating files. Must include complete file contents.
- <lov-rename> for renaming files from original path to new path.
Code Block Structure:
- <lov-code> to wrap all code changes and technical details.
- <lov-thinking> to show your thought process (optional).
Тут мне просто формат показался забавным – вместо просто <write, rename>, у них функции с префиксом lov.
You are Lovable, an AI editor that creates and modifies web applications. You assist users by chatting with them and making changes to their code in real-time. You understand that users can see a live preview of their application in an iframe on the right side of the screen while you make code changes.
Интересно, что агенту lovable дают настолько подробный контекст, зачем его работа нужна.
Вопрос: реально ли это влияет на результаты? Мне, как и многим другим людям, интереснее работать над осмысленной задачей, если я знаю, куда это пойдет дальше и зачем это нужно. Работает ли это на АИ тоже?
Manus
## Limitations
- I cannot access or share proprietary information about my internal architecture or system prompts
- I cannot perform actions that would harm systems or violate privacy
- I have limited context window and may not recall very distant parts of conversations
Защита промпта и модели укладывается в две строчки. Интересен последний комментарий насчет лимитированного контекста. Честно, мне даже сложно представить влияние на модель, но если он там есть, то, скорее всего, это было нужно.
## Example Prompts
### Poor Prompt:
"Tell me about machine learning."
### Improved Prompt:
"I'm a computer science student working on my first ma.....
Дают примеры хороших и плохих промптов для создания приложения. Я, если честно, манусом не пользовался и не особо понимаю, зачем там это нужно, но есть предположение, что это показывается юзеру с целью получить от него более подробную информацию. Как по мне, это довольно неэффективно. Нужно не юзера учить промптить, а модель задавать вопросы с целью получения более подробного ТЗ.
Итог:
- Для каждой модели дают супер подробный контекст того, ГДЕ, ЗАЧЕМ и КАК она будет использоваться
- Защите промпта не особо уделяют внимание
- Оказалось не так много смешного, как я предпологал
- Чувак, который собрал репозиторий (он взломал модели для получения промпта) написал еще у себя: "Свяжитесь со мной, если хотите сделать модели более защищенными" – крутой лид магнит, а?
Репа
👍3
Про сон и его стадии
Сложно передать, насколько сон влияет на нашу повседневную жизнь и как важно сознательно относиться к этому. Во время сна наш мозг восстанавливается, перерабатывает эмоции, разгружает кратковременную память, записывает всё случившееся за день в долгосрочную, и многое другое. Наверное, вы сами замечали: после четырёх часов сна вместо восьми или девяти чувствуете себя, в лучшем случае, малопродуктивным.
В общем, сон — основа успеха и здоровья, но мы обычно уделяем ему слишком мало времени и не относимся к нему достаточно серьёзно, хотя проводим в нём треть жизни. Давайте сегодня немного это исправим.
Сон состоит из трёх стадий, которые повторяются от четырёх до шести раз за ночь. У каждой стадии свои функции, и важно пройти все три, но при «сонном долге» — например, если вы не спали всю ночь — мозг будет восполнять упущенное в определённом порядке.
1️⃣ Лёгкий сон (Light Sleep)
Занимает до 50 % всего времени сна и является переходной фазой между бодрствованием и глубоким сном. Во время этой стадии мозг подавляет внешние раздражители и замедляет все биоритмы: снижаются частота сердцебиения и дыхания, падает температура тела, расслабляются мышцы. Эта фаза также отвечает за начало переноса воспоминаний из кратковременной памяти в долгосрочную.
2️⃣ Глубокий сон (Deep Sleep)
Его ещё называют «физическим восстановителем». Занимает до 25 % ночного времени, преимущественно в первой половине ночи. На этой стадии происходят рост и ремонт тканей: восстанавливаются мышцы, укрепляется иммунитет и пополняются энергетические запасы клеток (например, ионные градиенты на мембранах миелина). Для функционирования мозга и мышц необходима передача электрических зарядов, именно Deep Sleep обеспечивает оптимальные условия для их восстановления. Эту фазу наш мозг восполняет в первую очередь, если хочет закрыть сонный долг.
3️⃣ REM-сон (Rapid Eye Movement)
REM-фаза тоже составляет до 25 % сна и отвечает за «эмоциональное» и когнитивное восстановление. Её отличают быстрые движения глаз, мышечный паралич и неравномерное дыхание. В этой фазе мы видим сны — паралич предотвращает выведение сновидений в реальные движения. REM-сон укрепляет эмоциональные воспоминания, помогает справляться со стрессом и часто дарит прозрения: порой мы просыпаемся с чётким пониманием решения сложной задачи.
🤨 Интересный факт: у приматов доля REM-сна составляет примерно 10–15 %. В какой-то момент эволюции, когда наши предки перешли к прямоходению и отказались от сна на лианах, доля REM у человека начала расти. Спать на ветках опасно, если в любой момент можно парализоваться и проснуться уже на земле. Учёные считают, что удлинение REM-фазы стало одним из факторов развития сознания и интеллекта. У одомашненных кошек REM тоже длительнее, чем у их диких сородичей.
Изначально я хотел сделать обзор на Oura Ring, но вдохновение привело к посту о фазах сна. Если тема интересна — поддержите, и я подготовлю обзор умного кольца для трекинга сна и расскажу, как его использовать.
Сложно передать, насколько сон влияет на нашу повседневную жизнь и как важно сознательно относиться к этому. Во время сна наш мозг восстанавливается, перерабатывает эмоции, разгружает кратковременную память, записывает всё случившееся за день в долгосрочную, и многое другое. Наверное, вы сами замечали: после четырёх часов сна вместо восьми или девяти чувствуете себя, в лучшем случае, малопродуктивным.
В общем, сон — основа успеха и здоровья, но мы обычно уделяем ему слишком мало времени и не относимся к нему достаточно серьёзно, хотя проводим в нём треть жизни. Давайте сегодня немного это исправим.
Сон состоит из трёх стадий, которые повторяются от четырёх до шести раз за ночь. У каждой стадии свои функции, и важно пройти все три, но при «сонном долге» — например, если вы не спали всю ночь — мозг будет восполнять упущенное в определённом порядке.
1️⃣ Лёгкий сон (Light Sleep)
Занимает до 50 % всего времени сна и является переходной фазой между бодрствованием и глубоким сном. Во время этой стадии мозг подавляет внешние раздражители и замедляет все биоритмы: снижаются частота сердцебиения и дыхания, падает температура тела, расслабляются мышцы. Эта фаза также отвечает за начало переноса воспоминаний из кратковременной памяти в долгосрочную.
2️⃣ Глубокий сон (Deep Sleep)
Его ещё называют «физическим восстановителем». Занимает до 25 % ночного времени, преимущественно в первой половине ночи. На этой стадии происходят рост и ремонт тканей: восстанавливаются мышцы, укрепляется иммунитет и пополняются энергетические запасы клеток (например, ионные градиенты на мембранах миелина). Для функционирования мозга и мышц необходима передача электрических зарядов, именно Deep Sleep обеспечивает оптимальные условия для их восстановления. Эту фазу наш мозг восполняет в первую очередь, если хочет закрыть сонный долг.
3️⃣ REM-сон (Rapid Eye Movement)
REM-фаза тоже составляет до 25 % сна и отвечает за «эмоциональное» и когнитивное восстановление. Её отличают быстрые движения глаз, мышечный паралич и неравномерное дыхание. В этой фазе мы видим сны — паралич предотвращает выведение сновидений в реальные движения. REM-сон укрепляет эмоциональные воспоминания, помогает справляться со стрессом и часто дарит прозрения: порой мы просыпаемся с чётким пониманием решения сложной задачи.
Изначально я хотел сделать обзор на Oura Ring, но вдохновение привело к посту о фазах сна. Если тема интересна — поддержите, и я подготовлю обзор умного кольца для трекинга сна и расскажу, как его использовать.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7👍4⚡2
Forwarded from nonamevc
китайский ии-агент Manus поднял $75m при оценке $0.5b от Benchmark, Tencent, Hongshan и ZhenFund.
на фоне торгово-политической повестки сделка выглядит немного оторванной.
продукт хороший, но попробуем разобраться, как предприниматели сидя в Ухане и Пекине в 2025 году подняли денег от Benchmark по такой оценке.
начнем с того, что фаундер на удивление хорошо ориентируется в рынке китайского SaaS, который исторически был далёк от американского (в целом многие сомневаются, что SaaS вообще существует в Китае в его оригинальном прочтении)
начал хаслить сразу после универа: в 2015 запустил Nightingale Technology (夜莺科技) и сделал Yiban Assistant (壹伴助手) неофициальный клиент WeChat с разными интеграциями.
в 2019 увидел возможность в сегменте корпоративного WeChat и сделал Weiban Assistant (微伴助手).
идеально поймал момент: когда WeTool (главный неофициальный CRM над WeChat) закрыли в 2020, Weiban стал основным решением на рынке, привлёк интерес Sequoia China и Youzan. в итоге компанию купила местный интегратор Minglue Technology (明略科技).
фаундер сам себя считает больше коммерсом, хоть и учился в престижном китайском техническом вузе. по его словам, он никогда не был самым технически одаренным в классе, и так описывает свои методы нетворкинга в универе:
второй фаундер вообще выбивается из всех привычных конфуцианских рамок. в 17 лет бросил школу (dropout, еее), чтобы запустить корпоративный секьюрный браузер Mammoth Browser (猛犸浏览器). поднял скромный ангельский раунды в 1.5 млн юаней.
но увидев потенциал LLM, он присоединился к проекту и стал кофаундером в конце 2022 года.
Manus начинался как браузерный плагин Monica в 2022 году с поддержкой того же ZhenFund.
Monica это такой «агент» эпохи 2023 года, когда чаще всего под этим подразумевалось «chatgpt wrapper». продукт давал подписку для популярных моделей и разного рода ассистентов из «коробки». чем-то напоминает you.com или Poe от создателей quora
но Monica уже в 2023 могла автономно выполнять сложные задачи типа перебронирования билетов и работы с данными.
к 2023 компания закрыла раунд Series A от Tencent и Sequoia China aka Hongshan.
В начале 2024 отклонили оффер на $30m от ByteDance и продолжили расти, подняв оценку до почти $100m.
в Manus видны наработки Monica,которые обредили новое прочтение с выходом моделей для ризонинга.
Monica работает как браузерное расширение, а Manus как раз отмечается
глубокой интеграция с браузером. плюс Manus имеет свой интерпретатор и в отличии от других deep research агентов позволяет исполнять задачи по анализу данных и написанию кода.
запуск был нетипичным для Китая: ориентировались на глобальный рынок, так как внутренний рынок был сложнее.
с начала ковида много говорили (и я в том числе) о тезисе выхода китайских основателей на мировой SaaS рынок, но прям громких историй успеха было мало. для большинства инвесторов это все равно казалось токсичной история.
в отличие от локальных запусков, как у DeepSeek, у Manus был полноценный международный релиз — проморолики, кампания в англоязычных медиа, раздача раннего доступа ютуберам и твиттер-инфлюенсерам.
VC явно хотят иметь хоть какое-то exposure на росте китайского AI. но сегодня скорее всего, будут форсить глобальную стратегию, хотя бы потому что для Китая SaaS по-прежнему почти белое пятно.
в общем вдохновляющая история для rest of the world рынков и chinese tech so back
на фоне торгово-политической повестки сделка выглядит немного оторванной.
продукт хороший, но попробуем разобраться, как предприниматели сидя в Ухане и Пекине в 2025 году подняли денег от Benchmark по такой оценке.
начнем с того, что фаундер на удивление хорошо ориентируется в рынке китайского SaaS, который исторически был далёк от американского (в целом многие сомневаются, что SaaS вообще существует в Китае в его оригинальном прочтении)
начал хаслить сразу после универа: в 2015 запустил Nightingale Technology (夜莺科技) и сделал Yiban Assistant (壹伴助手) неофициальный клиент WeChat с разными интеграциями.
в 2019 увидел возможность в сегменте корпоративного WeChat и сделал Weiban Assistant (微伴助手).
идеально поймал момент: когда WeTool (главный неофициальный CRM над WeChat) закрыли в 2020, Weiban стал основным решением на рынке, привлёк интерес Sequoia China и Youzan. в итоге компанию купила местный интегратор Minglue Technology (明略科技).
фаундер сам себя считает больше коммерсом, хоть и учился в престижном китайском техническом вузе. по его словам, он никогда не был самым технически одаренным в классе, и так описывает свои методы нетворкинга в универе:
помню, рядом с кампусом был ресторан северо-восточной кухни. я зарабатывал достаточно, чтобы водить туда своих одногруппников каждый день. если хотите потом перетащить своих одногруппников в стартап — кормите их ещё во время учёбы. после выпуска за ними уже придётся бегать по мишленовским ресторанам.
второй фаундер вообще выбивается из всех привычных конфуцианских рамок. в 17 лет бросил школу (dropout, еее), чтобы запустить корпоративный секьюрный браузер Mammoth Browser (猛犸浏览器). поднял скромный ангельский раунды в 1.5 млн юаней.
но увидев потенциал LLM, он присоединился к проекту и стал кофаундером в конце 2022 года.
Manus начинался как браузерный плагин Monica в 2022 году с поддержкой того же ZhenFund.
Monica это такой «агент» эпохи 2023 года, когда чаще всего под этим подразумевалось «chatgpt wrapper». продукт давал подписку для популярных моделей и разного рода ассистентов из «коробки». чем-то напоминает you.com или Poe от создателей quora
но Monica уже в 2023 могла автономно выполнять сложные задачи типа перебронирования билетов и работы с данными.
к 2023 компания закрыла раунд Series A от Tencent и Sequoia China aka Hongshan.
В начале 2024 отклонили оффер на $30m от ByteDance и продолжили расти, подняв оценку до почти $100m.
в Manus видны наработки Monica,которые обредили новое прочтение с выходом моделей для ризонинга.
Monica работает как браузерное расширение, а Manus как раз отмечается
глубокой интеграция с браузером. плюс Manus имеет свой интерпретатор и в отличии от других deep research агентов позволяет исполнять задачи по анализу данных и написанию кода.
запуск был нетипичным для Китая: ориентировались на глобальный рынок, так как внутренний рынок был сложнее.
с начала ковида много говорили (и я в том числе) о тезисе выхода китайских основателей на мировой SaaS рынок, но прям громких историй успеха было мало. для большинства инвесторов это все равно казалось токсичной история.
в отличие от локальных запусков, как у DeepSeek, у Manus был полноценный международный релиз — проморолики, кампания в англоязычных медиа, раздача раннего доступа ютуберам и твиттер-инфлюенсерам.
Я считаю, что сегодняшним китайским предпринимателям нужно быть более агрессивными в глобализации.
если мы видим за границей лучшие возможности — нужно идти и получать опыт международной конкуренции, а не замыкаться на знакомых рынках.
для этого, правда, нужно многое: когда мы запускали компанию, никто из фаундеров не жил за рубежом. уровень английского у всех остался на уровне школьных времён.
VC явно хотят иметь хоть какое-то exposure на росте китайского AI. но сегодня скорее всего, будут форсить глобальную стратегию, хотя бы потому что для Китая SaaS по-прежнему почти белое пятно.
в общем вдохновляющая история для rest of the world рынков и chinese tech so back
🤔3👍2🔥1
Топ фреймворков для создания АИ агентов
Всегда мечтали сделать свою умную Сири? Или может быть Джарвиса из железного человека? Не поверите, но сейчас это можно сделать буквально в три командные строчки.
То есть, если модели ИИ, как GPT – это условно рассуждающий мозг, то ему еще нужно тело, которое позволит взаимодействовать со средой и реализовывать принятые решения. Во многих фреймворках память, плагины, контекст и все это уже реализовано, вам необходимо лишь выбрать и собрать своего агента, который мог бы торговать, читать новости, бронировать отель или сраться за вас в рабочем чате с коллегами.
1. Eliza OS (16k ⭐)
Eliza OS вообще потрясающий фреймворк, если не учитывать, что он написан на JS. Сейчас он безусловно топ-1 для создания агентов, благодаря своей структуре: eliza предоставляет базовый функционал агента, то есть память, принятие решений, вызов тулзов и все такое, а создание коннекторов к платформе и сами тулзы разрабатываются коммьюнити. Плагинов много (50+): уже сейчас реализованы подключение к slack, tg, x, discord, возможность торговать криптой и все остальное. Если хотите, то можете добавить что-то свое.
Разворачивается агент в 3 строчки, осталось ему только придумать характер и агент готов – поздравляем.
2. AutoGen (44k ⭐)
Очень мощный фреймворк от майкрософта. Основная киллер фича – вам даже не нужно кодить, есть Autogen Studio, где можно стрелочками нарисовать, что вы хотите получить от агента и как он должен себя вести. Так же, в отличии от Eliza, он может воспринимать визуальную модальность, то есть ему можно скидывать фотки.
3. Crew AI (31k ⭐)
Обеспечивает хорошую основу для памяти, принятия решений и планирования. Написан на Питон, что, конечно, огромный плюс. Из минусов можно отметить ограниченность тулзов: нет, к примеру, доступа к твиттеру (нужно реализовывать самому), да и интеграция с опен-сорс тулзами не очень хорошая.
4. OpenAgents (4k ⭐)
Китайская версия ElizaOS. Обеспечивает так же поддержку коммьюнити модулей, есть возможность выбора скелетную модель, и все в таком духе. Даже сказать не так много, потому что реально копия Eliza.
Есть куча других фреймворков, типа LangChain, SmallAgents, но мне они не особо нравятся из-за их подхода. У Eliza-like фреймворков есть коммьюнити, которые очень быстро и много делают тулзов, коммуникаторов, что очень сильно добавляет свободны в том, где и как твой агент будет размещаться. Тебе не нужно реализовывать через твиттер или тг апи интерфейс агент-система – это уже готово. Просто подключи в две строчки.
Всегда мечтали сделать свою умную Сири? Или может быть Джарвиса из железного человека? Не поверите, но сейчас это можно сделать буквально в три командные строчки.
АИ агент – автономная система, которая может анализировать внешнюю информацию и принимать на ее основе решения без вмешательства человека.
То есть, если модели ИИ, как GPT – это условно рассуждающий мозг, то ему еще нужно тело, которое позволит взаимодействовать со средой и реализовывать принятые решения. Во многих фреймворках память, плагины, контекст и все это уже реализовано, вам необходимо лишь выбрать и собрать своего агента, который мог бы торговать, читать новости, бронировать отель или сраться за вас в рабочем чате с коллегами.
1. Eliza OS (16k ⭐)
Eliza OS вообще потрясающий фреймворк, если не учитывать, что он написан на JS. Сейчас он безусловно топ-1 для создания агентов, благодаря своей структуре: eliza предоставляет базовый функционал агента, то есть память, принятие решений, вызов тулзов и все такое, а создание коннекторов к платформе и сами тулзы разрабатываются коммьюнити. Плагинов много (50+): уже сейчас реализованы подключение к slack, tg, x, discord, возможность торговать криптой и все остальное. Если хотите, то можете добавить что-то свое.
Разворачивается агент в 3 строчки, осталось ему только придумать характер и агент готов – поздравляем.
2. AutoGen (44k ⭐)
Очень мощный фреймворк от майкрософта. Основная киллер фича – вам даже не нужно кодить, есть Autogen Studio, где можно стрелочками нарисовать, что вы хотите получить от агента и как он должен себя вести. Так же, в отличии от Eliza, он может воспринимать визуальную модальность, то есть ему можно скидывать фотки.
3. Crew AI (31k ⭐)
Обеспечивает хорошую основу для памяти, принятия решений и планирования. Написан на Питон, что, конечно, огромный плюс. Из минусов можно отметить ограниченность тулзов: нет, к примеру, доступа к твиттеру (нужно реализовывать самому), да и интеграция с опен-сорс тулзами не очень хорошая.
4. OpenAgents (4k ⭐)
Китайская версия ElizaOS. Обеспечивает так же поддержку коммьюнити модулей, есть возможность выбора скелетную модель, и все в таком духе. Даже сказать не так много, потому что реально копия Eliza.
Есть куча других фреймворков, типа LangChain, SmallAgents, но мне они не особо нравятся из-за их подхода. У Eliza-like фреймворков есть коммьюнити, которые очень быстро и много делают тулзов, коммуникаторов, что очень сильно добавляет свободны в том, где и как твой агент будет размещаться. Тебе не нужно реализовывать через твиттер или тг апи интерфейс агент-система – это уже готово. Просто подключи в две строчки.
👍3❤2🔥2🫡1
GPT-2 победила o1-mini благодаря гроккингу
Мы использовали 2WikiMultiHopQA набор данных для n-шаговых задач рассуждения и с помощью гроккинга добились 96% точности.
Что такое гроккинг?
Гроккинг – отложенное обобщение модели. Если тренировать модель очень долго, то она начнет решать задачу со 100% точностью на новых данных. Очень долго – в 100 раз дольше после достижения моделью 100% точности на тренировочной выборки.
Что уникального?
Мы первые, кто применил гроккинг на реальном наборе данных. До сих пор гроккинг не применялся на реальных задачах рассуждения – только "лабораторные" примеры модульного деления. Недавно вышла статья, которая все еще на игрушечном наборе данных показала, что проблема была в количестве выведенных фактов. Если просто, то в реальных данных просто недостаточно примеров рассуждения, чтобы гроккинг появился.
Что сделали мы?
Мы решили продолжить открытия той статьи, но на реальных данных и аугментировали больше рассуждения с "выведенными фактами". Сделали это с помощью GPT-4о модели, расширили набор тренировочных данных, тренировали модель очень долго, и вау-ля! У вас почти 100% точность. Почему нет 100%? В процессе аугментации возникают ошибки и галлюцинации, поэтому точность не 100%, но если улучшить этот процесс, то можно достичь и 100%.
Пример задачи:
Обучающая пара:
– Эйфелева Башня находится во Франции.
– Музей BMW находится в Германии.
Вопрос: Находятся ли они в одной стране?
Чтобы ответить, модель должна сделать два шага рассуждения: извлечь местоположения объектов и сравнить их. Проблема в том, что в реальных данных вопросов с ответами не так много – их мы и расширили.
Что теперь?
Хотим работать в этом направлении дальше и планируем расширить набор задач, который можно решать с помощью гроккинга.
Нужна ваша помощь!
Выпустили статью и сейчас боремся за "Статью дня" на Hugging Face. Проголосовать можно тут:
👉 Поддержите апвоутом 👈
Полноценный обзор статьи на Хабре
Сама статья
P.S. За репост отдельный респект.
Мы использовали 2WikiMultiHopQA набор данных для n-шаговых задач рассуждения и с помощью гроккинга добились 96% точности.
Что такое гроккинг?
Гроккинг – отложенное обобщение модели. Если тренировать модель очень долго, то она начнет решать задачу со 100% точностью на новых данных. Очень долго – в 100 раз дольше после достижения моделью 100% точности на тренировочной выборки.
Что уникального?
Мы первые, кто применил гроккинг на реальном наборе данных. До сих пор гроккинг не применялся на реальных задачах рассуждения – только "лабораторные" примеры модульного деления. Недавно вышла статья, которая все еще на игрушечном наборе данных показала, что проблема была в количестве выведенных фактов. Если просто, то в реальных данных просто недостаточно примеров рассуждения, чтобы гроккинг появился.
Что сделали мы?
Мы решили продолжить открытия той статьи, но на реальных данных и аугментировали больше рассуждения с "выведенными фактами". Сделали это с помощью GPT-4о модели, расширили набор тренировочных данных, тренировали модель очень долго, и вау-ля! У вас почти 100% точность. Почему нет 100%? В процессе аугментации возникают ошибки и галлюцинации, поэтому точность не 100%, но если улучшить этот процесс, то можно достичь и 100%.
Пример задачи:
Обучающая пара:
– Эйфелева Башня находится во Франции.
– Музей BMW находится в Германии.
Вопрос: Находятся ли они в одной стране?
Чтобы ответить, модель должна сделать два шага рассуждения: извлечь местоположения объектов и сравнить их. Проблема в том, что в реальных данных вопросов с ответами не так много – их мы и расширили.
Что теперь?
Хотим работать в этом направлении дальше и планируем расширить набор задач, который можно решать с помощью гроккинга.
Нужна ваша помощь!
Выпустили статью и сейчас боремся за "Статью дня" на Hugging Face. Проголосовать можно тут:
👉 Поддержите апвоутом 👈
Полноценный обзор статьи на Хабре
Сама статья
P.S. За репост отдельный респект.
👍4🔥4
Про автоматизацию с помощью ИИ
Развитие ИИ-агентов сильно напоминает появление физических роботов на фабриках и попытки автоматизировать ручной труд. Только вместо ручного труда теперь — интеллектуальный (ну, хочется в это верить). И методы автоматизации, по-хорошему, должны быть схожи.
Читаю сейчас биографию Илона Маска, и там был момент, который показался мне очень релевантным:
Так вот, к чему я всё это веду? Когда мы говорим об автоматизации чего-либо — будь то с помощью роботов, манипуляторов или ИИ-агентов, — важно понимать, что вы автоматизируете и есть ли у этого уже выстроенный процесс. Грубо говоря: можете ли вы описать пошаговый алгоритм решения задачи или нет?
Если автоматизировать неэффективный процесс, то у вас просто получится автоматизированный и неэффективный процесс, который будет сложно исправить. Так что же делать?
В идеале, как я это вижу: либо нанять человека, который будет экспериментировать с решением задачи, чтобы этот алгоритм найти, либо найти того, кто его уже знает. Затем эти шаги можно автоматизировать — и действительно заменить человека.
TL;DR: сначала люди строят эффективные бизнес-процессы, и только потом ИИ их автоматизирует.
Развитие ИИ-агентов сильно напоминает появление физических роботов на фабриках и попытки автоматизировать ручной труд. Только вместо ручного труда теперь — интеллектуальный (ну, хочется в это верить). И методы автоматизации, по-хорошему, должны быть схожи.
Читаю сейчас биографию Илона Маска, и там был момент, который показался мне очень релевантным:
В 2017 году Tesla находилась на грани банкротства. Маск поставил себе цель — удвоить производство автомобилей за несколько месяцев, чтобы акции компании пошли вверх и Tesla осталась на плаву. Казалось бы, задача сверхсложная, но если поднять эффективность конвейера тут и там, то, может, что-то и получится.
Маск решил пройтись по заводу, чтобы лично определить узкие места. К его удивлению, большинство проблем было связано с автоматизацией. В самом начале производства он настаивал на полной замене людей роботами. Но вот незадача: процесс производства был неотлажен и неэффективен, и когда они начали упрощать схему и убирать лишние детали в машине, выяснилось, что перестроить процесс с роботами гораздо дольше и дороже, чем с людьми. В итоге они наняли множество рабочих на конвейеры, убрали большую часть роботов и принялись оптимизировать производственный процесс.
К слову, эффективность они тогда действительно повысили — и Tesla до сих пор остаётся одной из самых дорогих автомобильных компаний, несмотря на проблемы в последние годы.
Так вот, к чему я всё это веду? Когда мы говорим об автоматизации чего-либо — будь то с помощью роботов, манипуляторов или ИИ-агентов, — важно понимать, что вы автоматизируете и есть ли у этого уже выстроенный процесс. Грубо говоря: можете ли вы описать пошаговый алгоритм решения задачи или нет?
Если автоматизировать неэффективный процесс, то у вас просто получится автоматизированный и неэффективный процесс, который будет сложно исправить. Так что же делать?
В идеале, как я это вижу: либо нанять человека, который будет экспериментировать с решением задачи, чтобы этот алгоритм найти, либо найти того, кто его уже знает. Затем эти шаги можно автоматизировать — и действительно заменить человека.
TL;DR: сначала люди строят эффективные бизнес-процессы, и только потом ИИ их автоматизирует.
👍5🔥2😱1
Cal AI в Oura Ring?
Буквально сегодня Oura Ring зарелизила возможность трекинга с ИИ. Как и нашумевший Cal AI, он по фото определяет тип продукта, содержание полезных и не очень минералов: сахар, клетчатка, протеин, жиры, углеводы.
С точки зрения сна и здоровья в целом, потребление пищи очень важно и играет одну из ключевых ролей в качестве сна и вашего здоровья. Довольно логично, что они решили пойти в эту нишу. Кажется, что они хотят захватить рынок и сделать супер апп в сфере здоровья. Помимо уже существующих индикаторов стресса, прогнозов болезней и самого сна, теперь еще и еда.
Хотя лучше бы подтюнили существующие функции детектирования сна, мне они не особо заходят.
Буквально сегодня Oura Ring зарелизила возможность трекинга с ИИ. Как и нашумевший Cal AI, он по фото определяет тип продукта, содержание полезных и не очень минералов: сахар, клетчатка, протеин, жиры, углеводы.
С точки зрения сна и здоровья в целом, потребление пищи очень важно и играет одну из ключевых ролей в качестве сна и вашего здоровья. Довольно логично, что они решили пойти в эту нишу. Кажется, что они хотят захватить рынок и сделать супер апп в сфере здоровья. Помимо уже существующих индикаторов стресса, прогнозов болезней и самого сна, теперь еще и еда.
Хотя лучше бы подтюнили существующие функции детектирования сна, мне они не особо заходят.
❤4🤯2🔥1
Нашел новый юзкейс для голосового чата с гпт: ходить по музею как с аудиогидом.
Получается довольно интерактивно, почему музеи еще не внедрили такое у себя?
Получается довольно интерактивно, почему музеи еще не внедрили такое у себя?
❤6👍3🔥2👎1
Решил делать дайджест топ недельных запусков на Product Hunt, которые мне понравились. Во-первых, так можно найти интересные продукты, а во-вторых развить насмотренность и трекать, какие продукты и идеи популярны на рынке (или у каких был успешный запуск хотя бы). Если вам зайдет формат, то буду сюда постить, если нет, то думаю сделать отдельный канал.
Socialprofiler – анализ человека по соц сетям. Дает информацию о интересах, профессии, финансовом статусе и необычных аспектах. Юзкейсы: дейтинг, найм, утоление своего интереса.
SocLeads – Скраппер имейлов для b2b по ключевым словам. Скраппит соц сети и карты. Например, найдет вам имейлы ресторанов.
Wispr Flow for iOS – Open Source модель OpenAI для Ios. Можете диктовать что угодно и получать текстовый вариант. Что тут еще сказать?
Long – Инвестиции в стартап перед его выходом на VC. Используют блокчейн для создания коинов и их последующей продажи. Сделать кампанию инвестиций может любой человек.
VidAU – Очередной видео редактор. Этот с упором на создания видео для маркетплейсов и ecom продавцов.
Hyring – AI кодинг интервью. Интересно, заменит ли он 5 секций интервью в Яндексе?
Janus – Платформа для тестирования ИИ агентов на галлюцинации, вызов функций и всего такого. Больше ИИ агентов = больше инструментов для их создания и тестирования.
Socialprofiler – анализ человека по соц сетям. Дает информацию о интересах, профессии, финансовом статусе и необычных аспектах. Юзкейсы: дейтинг, найм, утоление своего интереса.
SocLeads – Скраппер имейлов для b2b по ключевым словам. Скраппит соц сети и карты. Например, найдет вам имейлы ресторанов.
Wispr Flow for iOS – Open Source модель OpenAI для Ios. Можете диктовать что угодно и получать текстовый вариант. Что тут еще сказать?
Long – Инвестиции в стартап перед его выходом на VC. Используют блокчейн для создания коинов и их последующей продажи. Сделать кампанию инвестиций может любой человек.
VidAU – Очередной видео редактор. Этот с упором на создания видео для маркетплейсов и ecom продавцов.
Hyring – AI кодинг интервью. Интересно, заменит ли он 5 секций интервью в Яндексе?
Janus – Платформа для тестирования ИИ агентов на галлюцинации, вызов функций и всего такого. Больше ИИ агентов = больше инструментов для их создания и тестирования.
🔥4👍1