Відео порівняння плагінів під VSCode локальної генерації коду - Continue чи Twinny

Варіанти:
🤖 Continue: усе тільки через чат, відсутність автодоповнення коду
🦙 Llama Coder: автодоповнення коду, відсутність чат-інтерфейсу
🔍 Cody від Sourcegraph: цінова модель незрозуміла

👯‍♂️ Twinny: новий проєкт, який 🤝 поєднує функції Llama Coder та Continue - чат і автодоповнення коду.

Для автодоповнення, щоб воно не підвисало, звичайно, потрібно брати меншу "базову" модель (1-3B) і потужніший комп'ютер. Щоб працював чат треба ще підняти "instruct" модель.

І я також додався до цього своєю мишкою 😉

З моменту запуску проекту Chatbot Arena модель GPT-4 завжди була на першому місці. (новина)

Цікаво, якщо на початку модель GPT-3.5 викликала захоплення, то зараз у порівнянні з новими моделями вона виглядає дуже слабкою і видає слабкі результати. Очікуємо найближчим часом якусь зміну від компанії OpenAI.

Stability AI представили, а на olllama додали до репозиторію instruct варіант їх моделі генерації коду Stable Code. Модель має 3b розмір й якість генерації на очікуваному рівні

https://ollama.com/library/stable-code

За 13 хв проф. Andrew Ng (в нього багато курсів про ШІ) демонструє на слайдах передові методи використання великих мовних моделей для покращення процесу розробки програмного забезпечення.

Головні ідеї виступу:

🧠 Агентні підходи в AI стають все більш популярними та ефективними. Це ітеративний процес, де AI може вчитися, переглядати й покращувати свій результат.

✍️ Рефлексія: AI агент може оцінити власний код/результат та допрацювати його. Це підвищує продуктивність.

🤖 Мультиагентні системи: використання двох або більше агентів, як експерт-кодер та експерт-рецензент, значно покращує якість.

🔧 Використання інструментів: підключення AI до різних інструментів (вебпошук, аналіз даних тощо) розширює її можливості.

👷‍♂️ Планування: AI агенти можуть автономно планувати дії та змінювати план в разі збоїв, що вражає.

🔀 Комбінація всіх цих підходів відкриває нові можливості та покращує результати AI у порівнянні з простим ґенеруванням коду (є слайд з графіком, але з 40% вісь).

https://www.youtube.com/watch?v=sal78ACtGTc

Тобто агентні технології штучного інтелекту можливо є наступним кроком у галузі розробки програмного забезпечення.

У розділі чатів на Chatbot Arena та у Perplexity playground з'явилася dbrx-instruct модель (github). Я провів низку тестів із генерації коду, і справді результати гідні. До того ж швидче ніж CodeLLaMA-70B.

Розробник VSСode плагіну Double додав до GPT-4 Turbo та Claude 3 (Opus) теж DBRX Instruct, хоча не дуже зрозуміло навіщо та ще й GPT-5 вейтліст відкрив.

Компанія DataBricks, відома своїми рішеннями для обробки та аналізу даних, випустила одну з найпотужніших та найефективніших відкритих LLM - DBRX. На графіках, які опубліковані в пості з презентацією моделі, DBRX випереджає інші відкриті рішення в галузях математики та програмування.

Ця MoE 16x12B мультиекспертна модель (132 мільярди загальних параметрів - 36 мільярдів активних параметрів для обробки кожного токену), яка у багатьох завданнях перевершуює відкриту Grok-1 та закриту GPT-3.5 Turbo (але не Claude 3 Haiku). Контекстне вікно 32k, токенайзер як й у GPT-4. Knowledge cutoff - грудень 2023.

Вони говорять, що за тестами перевершують CodeLLaMA-70B. Модель DBRX досить великого розміру, щоб не кожен міг її запустити, проте не настільки величезна, як Grok-1, яку зараз практично ніхто не зможе розгорнути у себе. Meta планує випустити Lllama 3 десь у липні.

Чат ще є на https://huggingface.co/spaces/databricks/dbrx-instruct
(5-shoot max)

https://youtu.be/ZUzfPy8qq00

Bito найбільш схожий на Github Copilot продукт, але з обмеженим безкоштовним планом (100 доповнень на місяць, 20 повідомлень у чаті на день).

🤖 Відео розповідає про нового Bito AI Code Review Agent, який допомагає скоротити час на код-ревю на 50% та поліпшити якість коду (працює тільки у плані за $15/місяць, але є тріал).

🔧 Агент інтегрується з GitHub та GitLab, автоматично виконує статичний аналіз коду, перевіряє на вразливості та надає детальні коментарі з рекомендаціями щодо покращення коду.

Google виклали відео з їх Gemma Developer Day 2024.

Gemma це відкриті LLM, які можна використовувати локально.

Знайшов стартап Coze — значно розширенний клон функціоналу GPTs, де

1) немає підв'язяки чату тільки під сайт OpenAI - доступ до боту можливий з Discord, Telegram, Slack (бізнес-боти), Facebook та Instagram Messenger, LINE (популярна в Азії), Reddit (боти для спеціалізованих спільнот), Cici, Lark.

2) можливо обрати GPT 3.5, де ліміт 500 повідомлень/день

3) каталог вже налаштованих plugins де є GitHub, StackOverFlow, Code Interpreter, Data Analysis

4) режим мульті-агентів - поясненя у відео https://www.youtube.com/watch?v=l00ZB2ZaVO0

⌨️ У bot store я знайшов Code Companion від icheQ - зараз 11.7K юзерів. Є до нього й доступ з телеграм @codecompaniondcbot

Мінус - це стартап зараз без фінансової моделі. Доступ тільки з USA, телеграм бот відповів мені через 3 хвилини й в цілом дуже повільно все працює. Ліміти GPT-4 100-50 повідомлень/день.

чат хаос https://t.me/+m7bX9D4WjV4yMzgx

У Phind теперь є 5 (10 для юзерів) безкоштовних запитів на 70b на день. Раніше така опція була для GPT-4.

Також з'явилася вкладка під назвою 'задати питання щодо вашого коду', позначена як експериментальна, і немає можливості її протестувати на плані за $10, треба перейти на $20.

Підозрюю, це повинно підключати репозиторій, але на сторінці опису платних планів поки немає жодних деталей.

Відео "Чому я більше не використовую Copilot":

🧠 Якщо не практикувати навички, можна їх втратити. Використання Copilot вплинуло на мій спосіб написання коду, спонукаючи мене чекати на підказки ШІ, замість того, щоб використовувати власний мозок.

👨‍💻 Написання коду стало менш цікавим. Copilot позбавив мене можливості вчитись, бути креативним і вирішувати проблеми самостійно, що приносило мені задоволення.

🔍 Якість підказок Copilot була нестабільною - часто вони були застарілі або містили помилки. Доводилося перевіряти документацію, що знижувало ефективність.

🔒 Конфіденційність є великою проблемою. Кожного разу, коли я використовував Copilot, фрагменти мого коду відправлялись на віддалений сервер, що неприйнятно для мене як прихильника конфіденційності та самостійного хостингу.

https://www.youtube.com/watch?v=Wap2tkgaT1Q
( трохи клікбейт та тільки одна точка зору )

На конференції Cloud Next Google показали свого асистента для програмування (на слайді це був плагін VSCode) - основний акцент зробили на тому, що в Gemeni 1.5 таке контекстне вікно, якого немає у жодного конкурента - на 1М токенів.

Gemini Code Assist доступний для тестування безкоштовно до 11 липня 2024 року.

Відео від VRSEN про представлення Devid - AI-інженера програмного забезпечення. У ньому автор демонструє свою відкриту реалізацію Devin, яка має три основні переваги: повний доступ до вихідного коду, тренування на реальних задачах кодування, а не тільки на Issue-ах GitHub, і це агентна система.

Автор показує, як Devid створює веб-сайт з грою "Гра життя", модифікуючи HTML, CSS та JavaScript файли. Потім він демонструє, як імпортувати Devid та інших агентів у свій власний проект, використовуючи контейнери Docker. Автор також описує, як налаштувати агентів-планувальників, агентів-розробників та агентів-браузерів, щоб вони ефективно співпрацювали для виконання завдань.

Врешті-решт, автор тестує цю агентну систему на завданні з бенчмаркінгу декількох API-інтерфейсів, показуючи, як агенти можуть знаходити документацію, виконувати код та надавати результати.

Наразі все працює доволі посередньо, хоча він звинувачує у цьому OpenAI. Якщо документація має багато сторінок, виникають помилки. Також не згадується, скільки токенів спожили ці завдання, просто стверджується, що це ефективніше, ніж у Devin.

https://youtu.be/BEpDRj9H3zE

Claude 3 тепер доступний для всіх користувачів Cody 🚀
( блог )

Cody тепер підтримує нову сім'ю моделей Claude 3 від Anthropic, яка включає три моделі: Haiku (найшвидша), Opus (найрозумніша) та Sonnet (проміжна).

Ці моделі демонструють покращення в генерації коду, здатності до швидкого пригадування інформації з великого контексту та інших важливих для Cody характеристиках.

🆓 Для користувачів Cody Free модель Sonnet (4та у рейтингу LMSYS Chatbot Arena) тепер використовується за замовчуванням, замінивши Claude 2.0 (15та у рейтингу LMSYS Chatbot Arena).

Користувачі Cody Pro можуть обирати між Haiku (8ма у рейтингу LMSYS Chatbot Arena), Sonnet і Opus (1ша у рейтингу LMSYS Chatbot Arena)

Набір відкритих моделей від Google для написання коду CodeGemma додали у ollama (яку підтримує Cody) та catalog.ngc.nvidia 7B та 2B - жодних повноцінних оглядів та порівнянь я не знайшов, можливо, це нікому не цікаво.

Також не знайшов у Google прямого зазначення, яким є розмір контекстного вікна цих моделей.

Тепер до офіційного реєстру Tabby додані моделі серії CodeGemma (2b та 7b) та CodeQwen (7b) як для доповнення так й для чату.

🥳 Llama 3 вийшла!

Моделі були навчені на двох нещодавно анонсованих кластерах із спеціально побудованими 24K GPU на понад 15T токенів даних - навчальний набір даних у 7 разів більший, ніж той, що використовувався для Llama 2,
включаючи у 4 рази більше коду.

https://llama.meta.com/llama3/

моделі розгорнуті й на LPU https://groq.com/

Написав для вас :)

ШІ в розробці ПЗ: поточний стан та перспективи

https://www.youtube.com/watch?v=Smklr44N8QU

🆕 В останьому оновлені Cursor покращіли Copilot++ та зробили розділ "Допомога" у вигляді теж чату з ШІ (зараз у бета).

Цей відеоогляд показує, як Copilot++ може автоматично генерувати код на основі контексту поточного проекту. Демонструється процес створення інтерактивного графа вузлів у фреймворку Vue.js за допомогою вказівок та команд, наданих Copilot++.

Головні особливості Copilot++, продемонстровані у відео:

1. Авто-доповнення коду на кількох рядках одночасно.
2. Розуміння контексту проекту для надання відповідних пропозицій коду.
3. Можливість додавати документацію як довідкові матеріали для AI.
4. Гнучке керування генерацією коду через текстові інструкції.

Відео наголошує на тому, що використання AI-асистентів, таких як Copilot++, дозволяє розробникам зосередитись на високорівневій логіці замість написання окремих рядків коду. Це може значно підвищити продуктивність та залишатись актуальним в умовах стрімкого розвитку технологій.

З'явився новий гравець, який прагне конкурувати з OpenAI та Anthropic - компанія Reka AI.

Наразі вони мають три моделі:
🟧 Edge: легка модель з 7b параметрів.
🟧 Flash: швидка та потужна модель з 21b параметрів.
🟧 Core: найбільша та найпотужніша модель для складних завдань (розмір невідомий).

На немультимодальних тестах з генерації коду з текстових інструкцій, схоже, Core поступається GPT-4 та Claude-3-Opus.

https://ollama.com/library/phi3

У каталог ollama додали нову версію моделі від MS Phi-3 mini.

Незважаючи на свій відносно невеликий розмір 3.8B, ця модель, за словами розробників, демонструє високу ефективність у роботі з логікою та математичними завданнями.

Під час навчання моделей Phi було використано підхід, подібний до навчання дітей за допомогою "підручників" (“textbook-like”) з математики, логіки та програмування. Очікується, що такий метод покращить загальні результати моделі в цих сферах.

Також перевагою нової моделі є версія з великим контекстним вікном - 128k токенів.