Для общего понимания - я не умею программировать на java, python и прочих новых штуках, но верю, что это скоро и не будет нужно. Поэтому погружаюсь в такую штуку, которую Andrej Karpathy назвал vibe coding - программирование, когда почти все делает сама машина. Собственно, канал о моих исканиях в этом направлении
Вторую неделю борюсь с прикручиванием памяти к Клоду. Использую mcp протокол cognee. Вроде бы даже получилось, но только наполовину, где-то память работает, где-то - нет. Да все токены ушли - не хватило и на полчаса. И так каждый день, уже начал уставать.
Зашел на github почитать, что и как - увидел, что можно его прикрутить к cline, который я себе уже поставил на VSCode. Самое любопытное, что прикрутился, память отыскал, прочитал, как меня зовут. Взял за это 9 центов. Вот и думаю теперь, насколько она мне нужна, такая память
Зашел на github почитать, что и как - увидел, что можно его прикрутить к cline, который я себе уже поставил на VSCode. Самое любопытное, что прикрутился, память отыскал, прочитал, как меня зовут. Взял за это 9 центов. Вот и думаю теперь, насколько она мне нужна, такая память
Почему так на «память» налегаю - без этого реальный vibe coding невозможен. Надо либо все помнить самому, либо каждый раз запускать Клода изучать файлы проекта и тратить токены. Да это и просто полезно и удобно, будущее за этим
Сегодня развлекаюсь с рисованием презентаций с помощью ИИ. Это, конечно, не программирование. Полная жесть. Попробовал приложение к googledocs ScaleAI, Canva, Tome (не смог зарегистрироваться, бросил), Copilot в Office 365, Presentation AI, Beautiful AI, Gamma...
Хоть как-то можно обсужать - это Copilot в Office 365 и Gamma, Beautiful AI тоже может и сможет, но реквизиты карточки вводить не хочется. Вожусь с гаммой. Оказалось, что в chatGpt можно рисовать картинки. Его, конечно, несет, но получается иногда прикольно ))
Хоть как-то можно обсужать - это Copilot в Office 365 и Gamma, Beautiful AI тоже может и сможет, но реквизиты карточки вводить не хочется. Вожусь с гаммой. Оказалось, что в chatGpt можно рисовать картинки. Его, конечно, несет, но получается иногда прикольно ))
🔥1
Forwarded from ForkLog AI
This media is not supported in your browser
VIEW IN TELEGRAM
В демонстрационном ролике продемонстрирована работа цифрового помощника: он находит носки на Walmart, покупает билеты на футбольный матч на сайте клуба и ищет рейс и отель с помощью Booking.
Пользователи могут следить за работой Browser Operator и в любой момент взять управление экраном под личный контроль. По словам Opera, ее агент безопаснее аналогов, поскольку он работает на устройстве, а не на облачном экземпляре браузера или виртуальной машине.
Новости | AI | YouTube
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Data Secrets
Вышла интересная статья, в которой показали эффективный способ расширения контекстного окна
Продолжается борьба между сторонниками RAG и модельного подхода, в котором контекстное окно пытаются расширить только за счет архитектурных хаков, а не за счет пост-оберток. На эту тему выходит все больше статей. Самая яркая из последних – Infinite Retrieval из Китая.
В этой работе впервые показали способ расширения контекста, который выбивает 100% на бенчмарке «Иголка в стоге сена». Это когда мы вставляем целевое предложение («иглу») в корпус случайных документов («стог сена») и задаем вопрос, на который можно ответить, только используя информацию в «игле».
Раньше некоторые подходы тоже выбивали 100%, НО только на исходном размере контекстного окна модели. А тут взяли малюсенький Qwen2.5-0.5B-Instruct с контекстом 32К, расширили контекст до 1 миллиона (!) и получили результат 100%. Очень круто. Разбираемся, что под капотом 👇
В целом, все построено на привычном подходе кэширования ключей и значений для критически важной информации. Но есть два ключевых отличия:
Чем-то похоже на недавнюю статью DeepSeek (наш разбор). Очень ждем, пока что-то такое наконец будет в опенсорс продакшене.
arxiv.org/abs/2502.12962
Продолжается борьба между сторонниками RAG и модельного подхода, в котором контекстное окно пытаются расширить только за счет архитектурных хаков, а не за счет пост-оберток. На эту тему выходит все больше статей. Самая яркая из последних – Infinite Retrieval из Китая.
В этой работе впервые показали способ расширения контекста, который выбивает 100% на бенчмарке «Иголка в стоге сена». Это когда мы вставляем целевое предложение («иглу») в корпус случайных документов («стог сена») и задаем вопрос, на который можно ответить, только используя информацию в «игле».
Раньше некоторые подходы тоже выбивали 100%, НО только на исходном размере контекстного окна модели. А тут взяли малюсенький Qwen2.5-0.5B-Instruct с контекстом 32К, расширили контекст до 1 миллиона (!) и получили результат 100%. Очень круто. Разбираемся, что под капотом 👇
В целом, все построено на привычном подходе кэширования ключей и значений для критически важной информации. Но есть два ключевых отличия:
1. Текст предварительно разбивается на логически завершённые сегменты. Так, чтобы в кэше оставались не отдельные токены, а самые важные законченные мысли
2. Определение значимости сегментов встраивается не поверх, а прямо последним слоем в модель. То есть релевантная информация извлекается прямо во время инференса
Чем-то похоже на недавнюю статью DeepSeek (наш разбор). Очень ждем, пока что-то такое наконец будет в опенсорс продакшене.
arxiv.org/abs/2502.12962
Вот надо изучать тему. Есть ощущение, что небольшие нейросетки, предназначенные для эмбеддинга в RAG нужно обучать, используя свою специфику - типа графа знаний в предметной области. План примерно такой:
Первый прогон данных, составление базы знаний;
Файн-тьюнинг нейросетки для эмбеддинга с учетом этого графа и базы знаний;
Ембеддинг на дообученной нейросетке
Во-первых, это маленькие сетки, и должно быть недорого. Во-вторых, действительно должны быть логически законченные конструкции в чанках, что должно быть очень полезно
Первый прогон данных, составление базы знаний;
Файн-тьюнинг нейросетки для эмбеддинга с учетом этого графа и базы знаний;
Ембеддинг на дообученной нейросетке
Во-первых, это маленькие сетки, и должно быть недорого. Во-вторых, действительно должны быть логически законченные конструкции в чанках, что должно быть очень полезно
Всем фанатам vibe coding обязательно к просмотру - это ровно те проблемы, которые я пытаюсь решить, правда, немного по-другому. Видимо, придется купить и Cursor (пытаюсь пока обойтись бесплатным Cline)
https://youtu.be/YWwS911iLhg?si=ncgq1P905PHsvyRM
https://youtu.be/YWwS911iLhg?si=ncgq1P905PHsvyRM
YouTube
Vibe Coding Tutorial and Best Practices (Cursor / Windsurf)
Got a lot of questions asking about my stack and what I do when vibe coding. So I made a full video on it!
👉 Learn more on https://mammouth.ai/
Join My Newsletter for Regular AI Updates 👇🏼
https://forwardfuture.ai
My Links 🔗
👉🏻 Subscribe: https://www.…
👉 Learn more on https://mammouth.ai/
Join My Newsletter for Regular AI Updates 👇🏼
https://forwardfuture.ai
My Links 🔗
👉🏻 Subscribe: https://www.…
Вчера рассказывал своим коллегам из блока ИТ про нейронки - рассказал, какие самые лучшие, показал как писать промпты. Клод показал, с какой скоростью он пишет код. В общем, начали погружаться потихоньку
Кстати, тут Inception обещает выпустить модель, которая пишет код, не на основе LLM, а на основе диффузии - так, как генерятся видео и фото. Говорят, что получается в разы быстрее, а значит, и дешевле
И да, про мой vibe coding - установил вчера Cursor, подключил по апи Claude и ChatGPT, с Gemini что-то не получается, а это важно, поскольку работать надо по апи, а цену у Google в разы ниже. У них, кстати, куча каких-то возможностей по работе с нейронками, но разобраться в этом решительно невозможно
Кстати, тут Inception обещает выпустить модель, которая пишет код, не на основе LLM, а на основе диффузии - так, как генерятся видео и фото. Говорят, что получается в разы быстрее, а значит, и дешевле
И да, про мой vibe coding - установил вчера Cursor, подключил по апи Claude и ChatGPT, с Gemini что-то не получается, а это важно, поскольку работать надо по апи, а цену у Google в разы ниже. У них, кстати, куча каких-то возможностей по работе с нейронками, но разобраться в этом решительно невозможно
🔥1
Если традиционные сети уперлись в проблему с недостатком данных и прогресс уже не так очевиден, то в части нетрадиционных способов обучения куча всего интересного. Как пример
https://t.me/data_secrets/6325
https://t.me/data_secrets/6325
Telegram
Data Secrets
А что, если бы LLM эволюционировали, как живые существа? Вышла статья, в которой исследователи попытались соединить идеи генетических алгоритмов и LLM
Представим, что модели – это индивиды, а их веса – это гены. Тогда к ним можно применить классический…
Представим, что модели – это индивиды, а их веса – это гены. Тогда к ним можно применить классический…
ChatGPT сделал интеграцию с VS Code, Curcor и пр. - теперь можно давать ему задачки в обычном интерфейсе и он будет их автоматически запускать и получать обратную связь. Поставил себе, все привязалось, но тестировать буду позже.
Раньше чему-то подобному научился Claude с протоколом MCP, но оседлать эту технологию я нормально не смог - проблема в том, что он пишет слишком много кода, исправляя что нужно, и что не нужно, забывая о первоначальной цели. Буду тестировать решение в cursor - устанавливать жесткие правила для программирования (видосик на эту тему). Попробую налабать правила, точно не помешает ни для Клода, ни для ЧатДжипити.
И еще надо попробовать новую модельку Мистраль для распознавания документов - у меня как раз есть такая задачка. Да, еще Sora для генерации видео хотел попробовать - OpenAI выложил ее в доступ (и ChatGPT 4.5 тоже)..
Хватило бы сил хоть на что-то
Раньше чему-то подобному научился Claude с протоколом MCP, но оседлать эту технологию я нормально не смог - проблема в том, что он пишет слишком много кода, исправляя что нужно, и что не нужно, забывая о первоначальной цели. Буду тестировать решение в cursor - устанавливать жесткие правила для программирования (видосик на эту тему). Попробую налабать правила, точно не помешает ни для Клода, ни для ЧатДжипити.
И еще надо попробовать новую модельку Мистраль для распознавания документов - у меня как раз есть такая задачка. Да, еще Sora для генерации видео хотел попробовать - OpenAI выложил ее в доступ (и ChatGPT 4.5 тоже)..
Хватило бы сил хоть на что-то
YouTube
ChatGPT Desktop Can Now Access VS Code, Xcode, Terminal & iTerm2
New ChatGPT Feature: Seamlessly Integrate with VS Code and Terminal on macOS
Learn The Fundamentals Of Becoming An AI Engineer On Scrimba;
https://v2.scrimba.com/the-ai-engineer-path-c02v?via=developersdigest
Extension Installation Instructions for VS Codes:…
Learn The Fundamentals Of Becoming An AI Engineer On Scrimba;
https://v2.scrimba.com/the-ai-engineer-path-c02v?via=developersdigest
Extension Installation Instructions for VS Codes:…
Правила_правильного_программирования.docx
27 KB
Сегодня на троих (c Claude 3.7, ChatGPT-4,5 и Grok 3) для загрузки в Cursor и прочие промпты составили правила правильного программирования. Будет полезно - велкам )), если есть замечания или дополнения - буду признателен
Forwarded from Data Secrets
Пользуясь случаем, делимся с вами полезной подборкой блогов / каналов / курсов по ИИ, созданных лучшими женщинами учеными и ML-разработчицами
🟦 Всеми любимый технический блог Лилиан Вэнг – исследовательницы из OpenAI, которая сейчас работает у Миры Мурати. Тут подробные объяснения концепций LLM, схемы, ссылки на актуальные статьи и многое другое. Наша любимая статья: Prompt Engineering (до того как это стало мейнстримом)
🟦 Блог и видеокурс Кэсси Козырков. Она бывшая главная специалистка по теории принятия решений на данных в Google (Chief Decision Scientist), а на сегоднящий день CEO Data Scientific. Известна своим активным блогом, прекрасным каналом на YouTube и бесплатным видеокурсом "Making Friends with ML".
🟦 Блог и огромный курс по NLP Лены Войты, из которого все всегда берут схемы и рисунки. Лена – Research Scientist в FAIR Meta, PhD и автор кучи статей. Если хотите с вероятностью 100% понять все главные концепции NLP – вам сюда.
🟦 YouTube-канал Джордан Харрод – докторантки MIT по нейронаукам. Тут и простые видео про то, как использовать ИИ в рутине, и обзоры новостей, и разборы статей, и объяснения сложных концепций ML простым языком. Однозначно рекомендуем.
🟦 Блог Рэйчел Томас – очень известной специалистки в области ML и соосновательницы образовательной платформы fast.ai. Она была включена в топ-20 женщин в ИИ по версии Forbes, а в своем блоге активно пишет об этике данных и прикладном ИИ в медицине и биологии.
Сохраняйте (и еще раз с 8 марта вас!)
Сохраняйте (и еще раз с 8 марта вас!)
Please open Telegram to view this post
VIEW IN TELEGRAM