Як краще створювати код за допомогою LLM
29 subscribers
38 photos
172 links
Корисні поради, приклади, інструкції та інші матеріали на тему LLM, які допоможуть вам у програмуванні.

https://aicode.danvoronov.com/

З приводу онлайн чи офлайн (Київ) лекцій - @dan_voronov
Download Telegram
https://youtu.be/ZUzfPy8qq00

Bito найбільш схожий на Github Copilot продукт, але з обмеженим безкоштовним планом (100 доповнень на місяць, 20 повідомлень у чаті на день).

🤖 Відео розповідає про нового Bito AI Code Review Agent, який допомагає скоротити час на код-ревю на 50% та поліпшити якість коду (працює тільки у плані за $15/місяць, але є тріал).

🔧 Агент інтегрується з GitHub та GitLab, автоматично виконує статичний аналіз коду, перевіряє на вразливості та надає детальні коментарі з рекомендаціями щодо покращення коду.
Google виклали відео з їх Gemma Developer Day 2024.

Gemma це відкриті LLM, які можна використовувати локально.
Знайшов стартап Coze — значно розширенний клон функціоналу GPTs, де

1) немає підв'язяки чату тільки під сайт OpenAI - доступ до боту можливий з Discord, Telegram, Slack (бізнес-боти), Facebook та Instagram Messenger, LINE (популярна в Азії), Reddit (боти для спеціалізованих спільнот), Cici, Lark.

2) можливо обрати GPT 3.5, де ліміт 500 повідомлень/день

3) каталог вже налаштованих plugins де є GitHub, StackOverFlow, Code Interpreter, Data Analysis

4) режим мульті-агентів - поясненя у відео https://www.youtube.com/watch?v=l00ZB2ZaVO0

⌨️ У bot store я знайшов Code Companion від icheQ - зараз 11.7K юзерів. Є до нього й доступ з телеграм @codecompaniondcbot

Мінус - це стартап зараз без фінансової моделі. Доступ тільки з USA, телеграм бот відповів мені через 3 хвилини й в цілом дуже повільно все працює. Ліміти GPT-4 100-50 повідомлень/день.

чат хаос https://t.me/+m7bX9D4WjV4yMzgx
У Phind теперь є 5 (10 для юзерів) безкоштовних запитів на 70b на день. Раніше така опція була для GPT-4.

Також з'явилася вкладка під назвою 'задати питання щодо вашого коду', позначена як експериментальна, і немає можливості її протестувати на плані за $10, треба перейти на $20.

Підозрюю, це повинно підключати репозиторій, але на сторінці опису платних планів поки немає жодних деталей.
Відео "Чому я більше не використовую Copilot":

🧠 Якщо не практикувати навички, можна їх втратити. Використання Copilot вплинуло на мій спосіб написання коду, спонукаючи мене чекати на підказки ШІ, замість того, щоб використовувати власний мозок.

👨‍💻 Написання коду стало менш цікавим. Copilot позбавив мене можливості вчитись, бути креативним і вирішувати проблеми самостійно, що приносило мені задоволення.

🔍 Якість підказок Copilot була нестабільною - часто вони були застарілі або містили помилки. Доводилося перевіряти документацію, що знижувало ефективність.

🔒 Конфіденційність є великою проблемою. Кожного разу, коли я використовував Copilot, фрагменти мого коду відправлялись на віддалений сервер, що неприйнятно для мене як прихильника конфіденційності та самостійного хостингу.

https://www.youtube.com/watch?v=Wap2tkgaT1Q
( трохи клікбейт та тільки одна точка зору )
👍1
На конференції Cloud Next Google показали свого асистента для програмування (на слайді це був плагін VSCode) - основний акцент зробили на тому, що в Gemeni 1.5 таке контекстне вікно, якого немає у жодного конкурента - на 1М токенів.

Gemini Code Assist доступний для тестування безкоштовно до 11 липня 2024 року.
Відео від VRSEN про представлення Devid - AI-інженера програмного забезпечення. У ньому автор демонструє свою відкриту реалізацію Devin, яка має три основні переваги: повний доступ до вихідного коду, тренування на реальних задачах кодування, а не тільки на Issue-ах GitHub, і це агентна система.

Автор показує, як Devid створює веб-сайт з грою "Гра життя", модифікуючи HTML, CSS та JavaScript файли. Потім він демонструє, як імпортувати Devid та інших агентів у свій власний проект, використовуючи контейнери Docker. Автор також описує, як налаштувати агентів-планувальників, агентів-розробників та агентів-браузерів, щоб вони ефективно співпрацювали для виконання завдань.

Врешті-решт, автор тестує цю агентну систему на завданні з бенчмаркінгу декількох API-інтерфейсів, показуючи, як агенти можуть знаходити документацію, виконувати код та надавати результати.

Наразі все працює доволі посередньо, хоча він звинувачує у цьому OpenAI. Якщо документація має багато сторінок, виникають помилки. Також не згадується, скільки токенів спожили ці завдання, просто стверджується, що це ефективніше, ніж у Devin.

https://youtu.be/BEpDRj9H3zE
Claude 3 тепер доступний для всіх користувачів Cody 🚀
( блог )

Cody тепер підтримує нову сім'ю моделей Claude 3 від Anthropic, яка включає три моделі: Haiku (найшвидша), Opus (найрозумніша) та Sonnet (проміжна).

Ці моделі демонструють покращення в генерації коду, здатності до швидкого пригадування інформації з великого контексту та інших важливих для Cody характеристиках.

🆓 Для користувачів Cody Free модель Sonnet (4та у рейтингу LMSYS Chatbot Arena) тепер використовується за замовчуванням, замінивши Claude 2.0 (15та у рейтингу LMSYS Chatbot Arena).

Користувачі Cody Pro можуть обирати між Haiku (8ма у рейтингу LMSYS Chatbot Arena), Sonnet і Opus (1ша у рейтингу LMSYS Chatbot Arena)
👍1
Набір відкритих моделей від Google для написання коду CodeGemma додали у ollama (яку підтримує Cody) та catalog.ngc.nvidia 7B та 2B - жодних повноцінних оглядів та порівнянь я не знайшов, можливо, це нікому не цікаво.

Також не знайшов у Google прямого зазначення, яким є розмір контекстного вікна цих моделей.
Тепер до офіційного реєстру Tabby додані моделі серії CodeGemma (2b та 7b) та CodeQwen (7b) як для доповнення так й для чату.
🥳 Llama 3 вийшла!

Моделі були навчені на двох нещодавно анонсованих кластерах із спеціально побудованими 24K GPU на понад 15T токенів даних - навчальний набір даних у 7 разів більший, ніж той, що використовувався для Llama 2,
включаючи у 4 рази більше коду.

https://llama.meta.com/llama3/

моделі розгорнуті й на LPU https://groq.com/
🔥1
https://www.youtube.com/watch?v=Smklr44N8QU

🆕 В останьому оновлені Cursor покращіли Copilot++ та зробили розділ "Допомога" у вигляді теж чату з ШІ (зараз у бета).

Цей відеоогляд показує, як Copilot++ може автоматично генерувати код на основі контексту поточного проекту. Демонструється процес створення інтерактивного графа вузлів у фреймворку Vue.js за допомогою вказівок та команд, наданих Copilot++.

Головні особливості Copilot++, продемонстровані у відео:

1. Авто-доповнення коду на кількох рядках одночасно.
2. Розуміння контексту проекту для надання відповідних пропозицій коду.
3. Можливість додавати документацію як довідкові матеріали для AI.
4. Гнучке керування генерацією коду через текстові інструкції.

Відео наголошує на тому, що використання AI-асистентів, таких як Copilot++, дозволяє розробникам зосередитись на високорівневій логіці замість написання окремих рядків коду. Це може значно підвищити продуктивність та залишатись актуальним в умовах стрімкого розвитку технологій.
👍1
З'явився новий гравець, який прагне конкурувати з OpenAI та Anthropic - компанія Reka AI.

Наразі вони мають три моделі:
🟧 Edge: легка модель з 7b параметрів.
🟧 Flash: швидка та потужна модель з 21b параметрів.
🟧 Core: найбільша та найпотужніша модель для складних завдань (розмір невідомий).

На немультимодальних тестах з генерації коду з текстових інструкцій, схоже, Core поступається GPT-4 та Claude-3-Opus.
https://ollama.com/library/phi3

У каталог ollama додали нову версію моделі від MS Phi-3 mini.

Незважаючи на свій відносно невеликий розмір 3.8B, ця модель, за словами розробників, демонструє високу ефективність у роботі з логікою та математичними завданнями.

Під час навчання моделей Phi було використано підхід, подібний до навчання дітей за допомогою "підручників" (“textbook-like”) з математики, логіки та програмування. Очікується, що такий метод покращить загальні результати моделі в цих сферах.

Також перевагою нової моделі є версія з великим контекстним вікном - 128k токенів.
https://www.youtube.com/watch?v=5poVsIeq3TM

Snapdragon презентували чіпи X не для телефонів, а для комп'ютерів Windows. Крім звичайного та графічного ядра, в них буде також NPU (нейронне процесорне ядро). Вони обіцяють, що програми працюватимуть швидше, і великі мовні моделі (LLM) можна буде запускати локально та нативно без проблем.

VSCode на 17:53
з Qualcomm AI Code Completion
з llama-chat-v2-7b
Як краще створювати код за допомогою LLM
🥳 Llama 3 вийшла! Моделі були навчені на двох нещодавно анонсованих кластерах із спеціально побудованими 24K GPU на понад 15T токенів даних - навчальний набір даних у 7 разів більший, ніж той, що використовувався для Llama 2, включаючи у 4 рази більше коду.…
https://youtu.be/eR855VNPjhk

У Groq на їх ютуб каналі є демо проекта iter на моделі mixtral-8x7b-32768 у терміналі на nix-shell. Я не тестував - його підхід усе друкувати й мати мінімум контролю над генерацією.

1:53 Зате є крута фішка команда reflextion - коли у модель зайде 6 запитів з інструкією подумати над проблемою.

Відео з 8 березня, а теперь ще є llama3-70b-8192 - але 8к проти 32к контекстне вікно.

Для VSCode у каталозі розширень я знайшов Groqopilot v0.0.81, але зараз він скоріш не працює ніж працює.
https://github.blog/2024-04-29-github-copilot-workspace/

GitHub представляє Copilot Workspace у TechPreview - нове середовище розробки на базі ШІ

GitHub Copilot Workspace - це оновлене середовище розробки, де програмісти можуть працювати з кодом звичайною мовою 💬. Система може допомогти розробникам від самого початку - планування завдання , написання специфікацій 📄 та генерації коду 💻.
Усе це можна відредагувати та доопрацювати ✏️.

Середовище інтегроване з GitHub Issues 📥, Pull Requests 🔃 та репозиторіями 🗃.

Розробники можуть запустити та протестувати код прямо в Copilot Workspace 🚀. Це дозволяє спростити і пришвидшити весь цикл розробки програмного забезпечення .

Для професійних розробників Copilot Workspace дозволить більше зосередитися на системному мисленні 🧠 та відійти від рутинної роботи, яку можна автоматизувати ⚙️.
На скріншоті показано результати "сліпого" порівняння людьми двох варіантів конвертації дизайну в код: різноманітних доступних інструментів та живої людини

JACoB (Just Another Coding Bot)
- схоже під впливом Devin зробленний ШІ асистент, який перетворює дизайни на робочий код 💻, розуміє репозиторій 📂

🔄 Інтегрується з GitHub репозиторіями та дизайнами Figma
🤝 Розумний діалог з людиною через огляд та внесення змін до коду
(буде) 🔓 Відкритий код для розширення функціоналу
👥 Пристосований до робочого процесу існуючої команди

Цікаво, що, подібно до нової версії GitHub Copilot, вони прешочергово зосереджуються на визначенні людиною переліку завдань для ШІ агента

Перевірити не зміг, на мій GitHub акк пишуть "Try signing in with a different account."
Як краще створювати код за допомогою LLM
https://github.blog/2024-04-29-github-copilot-workspace/ GitHub представляє Copilot Workspace у TechPreview - нове середовище розробки на базі ШІ GitHub Copilot Workspace - це оновлене середовище розробки, де програмісти можуть працювати з кодом звичайною…
https://www.youtube.com/watch?v=75Hv0RUFIrQ

Автор відео висловлює своє глибоке скептичне ставлення 🤨 до нової системи GitHub Copilot Workspaces, яка представлена як "революційний" спосіб розробки програмного забезпечення за допомогою штучного інтелекту.

Розглядається приклад з демонстрації використання Copilot Workspaces для додавання додаткової перевірки URL-адрес 🌐. Автор критикує те, що запропонований Copilot план включав в себе невідповідні зміни, такі як оновлення README-файлу та додавання файлу CONTRIBUTING.md, чого не вимагала початкова задача. 🤦‍♂️ Цей простий патч ШІ генерував годину.

Автор також звертає увагу на те, що Copilot Workspaces не змогла перевірити наявність субдоменів у GitHub URL-адресах, що було необхідною частиною специфікації. 🤯 Це наводить його на думку, що або інструмент недостатньо протестований, або його можливості все ще дуже обмежені.

Далі автор ділиться своїм альтернативним баченням того, якими повинні бути AI-інструменти для розробників. 💡 Він вважає, що ці інструменти мають доповнювати, а не замінювати існуючі робочі процеси. Як приклад, він демонструє свій досвід використання Super Maven - альтернативи Copilot (теж $10 на місяц), яка, на його думку, є значно швидшою та надійнішою в автодоповненні коду. 🚀

До речі, він використовує хайповий браузер Arc, який щойно став доступний і на Windows.

Радить почитати https://paulgraham.com/articles.html