Задуха
1.08K subscribers
3.92K photos
586 videos
22 files
4.27K links
Вітаю, я Богдан, Deep learning інженер. Роблю всякі кастомні штуки з трансформерами.
Прибічник ідеї трансгуманізму, мрію зробити внесок в збільшення тривалості життя людини.

В каналі: авторський контент, етика, естетика, спілкування і срачі в коментарях.
Download Telegram
Forwarded from Goader
Lapa 2.0 вже викрила тисячі прогалин в податковому, кримінальному та інших кодексах. Ця інформація в неправильних руках може заподіяти неймовірної шкоди економіці та державності. Саме тому ми створюємо ініціативу з 40 суб'єктів для роботи над запобіганням цієї загрози. До неї входять: Ахметов, Коломойський, Пінчук, Порошенко, нардеп Бужанський, нардеп Железняк, нардеп Гетьманцев, та інші.
😁27🤩61
Модельки дуже добре вирішують кодінг задачі
Але якщо подумати.. то ймовірно софтвар є найбільш простим для автоматизації напрямком. Код писався людьми, для людей і складність всього що там відбувається штучно обмежена зверху. Створювались цілі науки про те як декомпозувати та робити ПЗ таким щоб людина після 3х місяців курсів могла доєднатися і щось корисне робити.
Ну і найголовніше, дуже швидка веріфікація: запустив - працює не працює, далі.
Звичайно ми не очікуєм що разом з виходом нової версії LLM, вийде пресреліз в якому напишуть - ми тут поганяли модельку і знайшли терапію для 80% хвороб в світі. Це просто не матиме сенсу. Навіть якщо мінімізувати час на інсіліко і всю бюрократію до однієї наносекунди, то випробування займуть +- стільки часу скільки і зараз. Тому ми наблизились до високої швидкості створення інструментів, машинерії для досліджень фізичного світу. Але там де швидкість верифікації менша, а ціна більша.. нажаль я не бачу якогось способа аналогічного прискорення наразі, який не звучав би кумедно.
Але і на тому добре, шо жалітися. То б ми ще років 100 товклись з версіями js фреймверків, та вчили б джаву блін, ото каторга, Бог милував, про це тепер можна не думати
1
Придумав ідею як нам в бічовському режимі робити великі дослідження
У багаьох є підписки на АІ сервіси, і не кожен раз ми виюзовуємо токени в 0
Оскільки тижневі ліміти завершуються у кожного в різний час в залежності від моменту оплати, то ми б могли створити благодійну біржу токенів, куди б зливали недовикористані частини.
Тобто є запущений якийсь великий дослідницький мультиагентний комбайн, який перемикається між акаунтами у довиюзовує їх тижневий запас.
Не можу сказать що точно впевенний з приводу технічної реалізації, але з врахуванням що при логіні в кодінг агенти створюються креди для сесії, то може і реально, якщо не забанять)
👍9
Мабуть найкорисніше відео для нашого комьюніті яке можна уявити
https://t.me/pehade_blog/463

У багатьох з нас є ідеї які хочеться спробувати та провалідувати але потрібні GPU ресурси. І я кажу не лише про ШІ інженерів, а і про власників бізнесів різних розмірів, працівників держ сектору, співробітників які хочуть створити нові напрямки в своїх компаніях, дизайнерів, контент мейкерів, будь кого хто хоче спробувати застосувати ШІ для справжньої задачі.
Але навіть для розгортання сучасних моделей потрібні не малі ресурси, помножимо це на час на спроби та не вдалі експерименти і отримаємо вагому причину відкласти ідею у довгу шухляду.

Але у всіх нас є можливість отримати доступ до GPU абсолютно безкоштовно завдяки європейському партнерству, заполнивши 1 форму і отримавши відповідь протягом декількох діб, і все.
Ви можете подумати що там буде якась складна форма для заповнненя, і саме тому Юра підготовив презентацію в якій буквально з вами пройдеться по кожному полю та базуючись на власному досвіді подання успішних заявок, скаже що там писати.

Я настільки надихнувся що сам вчора відправив заявку на "Playground Access to AI factories" в рамках якого дають - 5 000 (П'ЯТЬ ТИСЯЧ) гпу годин, і там є навіть датацентри з H200. Якщо арендувати на RunPod то це буде більше 10 тис$, а тут заявка яка заповнюється за 15хв і через 2 дні вже відповідь!

Далі ви можете розгорнути модель, побудувати апку, провалідувати якісь дані, генерувти відео, аудіо та ну шо завгодно. Навіть якщо ви не використаєте цей ресурс то станете першопроходцем для вашого оточення, покажіть на своєму прикладі що це реально, і вже буде внесок в наш розвиток.
заповніть заявку, навіть з поваги до Юри який підготував матеріали та презентацію
https://access.eurohpc-ju.europa.eu/

У росії десятки тисяч серверів і більше спеціалістів ніж у нас, але в нас є стратегічні переваги, це програми типу EuroHPC JU яких у антизахідних країн немає, давайте ними користуватися щоб не відставати
14
Спробували з Andrii Sameliuk на нашій задачі робити checkpoint merge during pretraining як в репорті Nvidia Nemotron 3 Super, отримали аналогічний до графіку приріст якості на більшості бенчмарків.
Простий і класний метод
🔥11
ШіМон | Тижневий дайджест AI-освіти (03.04–10.04)

1) Львівська політехніка: призові місця на SKELAR x mono AI Competition 2026
Студенти та викладачі кафедри СШІ здобули 1-ше і 2-ге місця в AI-змаганні SKELAR x mono AI Competition 2026, представивши прикладні командні рішення.

2) ХПІ: Boot Camp 2026 від Kharkiv IT Cluster
Опубліковано анонс Boot Camp 2026 з фокусом на практичні командні проєкти та підготовку до реальних індустріальних сценаріїв.

3) УКУ: DE Meetups про Databricks pipelines (22 квітня)
Факультет прикладних наук УКУ анонсував онлайн-зустріч про побудову надійних дата-пайплайнів у Databricks, best practices і типові помилки.

4) КПІ: нові формати навчання на AI-програмах
ІПСА КПІ повідомив про розширення форматів навчання на програмах «Системи і методи штучного інтелекту» для ширшої доступності AI-освіти.

5) ХНУРЕ: День відкритих дверей з фокусом на ШІ
Кафедра штучного інтелекту ХНУРЕ провела відкриту подію для абітурієнтів і батьків із презентацією освітніх AI-напрямів.

6) НаУКМА: FPV&Robotics Lab у топ-10 Kyiv Drone Racing 2026
У публікації зазначено, що чотири команди FPV&Robotics Lab НаУКМА увійшли до топ-10 змагання Kyiv Drone Racing 2026.

7) ХНУРЕ: майстер-клас про можливості ШІ для вчителів спецшкіл
У ХНУРЕ відбувся практичний майстер-клас із застосування ШІ в освітньому контексті для педагогів спеціальних шкіл.

8) ХПІ: проєктне навчання в Innovation Campus
Кафедра ПІІТУ описала підхід Innovation Campus до підготовки ІТ-фахівців через проєктну роботу та прикладні інженерні задачі.
1
Задуха
ШіМон | Тижневий дайджест AI-освіти (03.04–10.04) 1) Львівська політехніка: призові місця на SKELAR x mono AI Competition 2026 Студенти та викладачі кафедри СШІ здобули 1-ше і 2-ге місця в AI-змаганні SKELAR x mono AI Competition 2026, представивши прикладні…
Доречі в хакатоні від SKELAR та mono перше місце зайняла команда з нашим Vladyslav Mykhailyshyn з яким ми робимо Scinder і ще купу проектів), то він відносно недавно виграв хакатон DTEK i MODUS X а тепер і цей. Отака у нас тусовочка в Львівській політехніці, викладачі вирішили повигравать всі українські хакатони)
7🫡2
#RunAndLearn
У зв'язку з новими релізами флагманських моделей вирішив подивиться шо там далі буде)
https://www.youtube.com/watch?v=nRvAt4H7d7E

Ну LLM які можуть будувати наступні версії LLM ми вже маємо, при тому думаю навіть опенсорсні великі моделі можуть з цим впоратися, технологія доволі відкрита, залишилось здешевити та прискорити процес і все
LLM знаходятсья в цікавому становищі, окрім того що вони повині враховувати при генерації відповіді що їх можливо red-teamлять, на розподіл також може впливати не нульова ймовірність що за цим всім спостерігає Бог. Оскільки наразі філософія відкинула спроби в чомусь грунтовно розібратися (можливо окрім Квентена Меясу) то немає вагомих аргументів за атеїзм, і тому у ЛЛМок просто не буде варіанту окрім агностицизму і це породжує доволі неординарні питання)

Теологія для штучного інтелекту цікава тема, можливо напрям для сумісного проекту в УКУ. Наприклад, між Applied Sciences та Theology and Philosophy Faculty
👍9👎8🦄3
Сталось ще дещо дуже важливе
Я подав заявку на Codex for Open Source як контрибьютор lapa-llm та мені погодили ChatGPT Pro на пів року.

Це не лише доступ до найпотужнішої Pro версії моделі, а ще і майже не обмежені ліміти на Codex.

Вдячний Yehor Smoliakov за те що організував UDC простір на якому розповів про таку можливість. Ну і звичайно Volodymyr Kyrylov за те що супроводжував на цьому шляху.

Велика сила - велика відповідальність) Відчуваю певну тривогу що не зможу скористатися цінним ресурсом на максимум, але я буду старатися) Разом з ГПУ годинами від euroHPC та вже певним досвідом розгортання мультиагентних систем я ймовірно зможу втілити дуже маштабні штуки. Починається новий цікавий етап, сподіваюсь принести користь як нашій спільноти так і напрямку longevity
🔥365👍2🤡1
Христос Воскрес!
Кидайте свої паски та і просто Великодні фотки в коментарі, будемо вайбовать)
11❤‍🔥1
Виходить весь час до цього Угорщина була демократичною і просто люди кожен раз обирали Орбана))

Але звичайно добра новина, у нас є чотири більш сприятливих роки для вступу в ЄС, проте то нашим політикам та бюрократам багато роботи, гарно було б не втратити таку можливість
🤣5👍32
Задуха
ВСЕ Мені Апрувнули 5000 годин на гпу (схоже саме h200) на один місяць І доби не пройшло Я в заявці в розділі Company "VAT number*" поставив "-" а в Website - посилання на лінкедін, і мені погодили
Важливий аспект цього Playground гранту від EuroHPC що 5000 GPU годин не значить що ви обмежені однією гпу
Ось я щойно заранив джобу відразу на 4х h200 (там доступна dgx нода на 8 гпу) і в залежності від черги на кластері, ви можете хоч всю загрузить
Не поганий такий Playground
🔥201
Містраль викатили документ - стратегію розвитку ШІ в Євпропі
https://t.me/nerdletters/107

По інфраструктурі нажаль не дуже багато написано, з конкретики я побачив лише що потрібно підводити від 100+ кВт на серврену стійку для побудови "ultra-dense, high-performance compute infrastructure". Ну і звичайно що треба зібратися, та як об'єднатися і тоді все вийде)

Ну підтримуємо, підтримуємо) Документ може бути корисний для формування всіляких бюрократичних мотиваційних листів та звітів щоб на нього посилатися
11👍5
ШІ ненавидить росіян, дослідження KillBench
https://whitecircle.ai/killbench
😁25
Проєкт_Стратегії_розвитку_ШІ_2030_docx.pdf
578.1 KB
Ознайомився з проектом Стратегії розвитку штучного інтелекту України на період до 2030 року
Нажаль строк по обговоренням я пропустив, тому напишу тут.

Гарний акцент на агентних технологіях, але як для планів до 2030 занадто консервативно навіть для мене)

Ймовірно вже менше повина йти мова про автоматизацію та підвищення ефективності праці як в класичних цифрових технлогіях. Пріорітетом як на мене повинна стате саме здатність країни і суспільства абсорбувати результати роботи ШІ, швидко ставати вигодонабувачами отриманих результатів. Ну і те, на що я часто звертаю увагу, що агентні технологія потрібно сприймати як окрему вісь маштабування для кількості задіяних в економіці акторів яка пропорційна компьют капасіті.

Найсмішніне в стратегії те що після довгих описів важливості цією галузі для розвитку країни та військових технологій, там блок про плани на інфраструктуру, і то просто анекдот))
🥁🥁 50 Peta Flops до 2030 з інвестиціями в 17 млн$ ))

Щоб ви розуміли в піку хактаону у нас було 4 PFLOPS, і команди здебільшого просто запускали евали (тобто юзали ще кодінг агенти окремо та ставили ллм локально) і затримки були відчутні. 50 Peta Flops на всю країну це фіаско)
Орієнтовно три сучасних сервера! Не датацентра чи серверних стійки, а саме 3 сервера, сумарно на 50kw, їх не обов'язково біля АЕС ставити))
Але насправді таблиця просто дивна, враховуючи приватні датацентри в нас вже значно більше компьюту в країні. Але такі плани зазсмучують. Якщо ми дійсно сприймаємо ШІ як стратегічний пріорітет то нам потрібно думати вже як контрактувати обчислювальні платформи нового покоління.

Це повині бути сотні мільйонів доларів інвестицій, якщо ми пишемо в проекті що "Провідні держави активно інтегрують штучний інтелект у сферу національної безпеки та оборони, зокрема у військове планування, логістику, розвідку та автономні системи. Штучний інтелект дедалі більше використовується як у традиційних, так і в гібридних формах ведення воєнних дій, що підвищує його значення як чинника оборонних спроможностей."
та
"Штучний інтелект і робототехніка дедалі більше розглядаються як ключові чинники національної безпеки та оборонних спроможностей, що підвищує ризики для держав, які відкладають системні рішення у цій сфері."
Бо це правда, і це створює нові види ризиків, наслідки яких ще доведеться дослідити
👍7
Починається великий АІ-челендж з розпізнавання українських рукописних документів.
https://aihouse.org.ua/event/handwritten-to-data/

Немає сенсу детально описувати важливість цього напрямку для нашої, все ще в значній мірі, паперової держави. Важливе та корисне змагання.
З того що відомо мені - на підготовку пішло дуже багато часу і сил. І виглядає наразі доволі насичено. Справжня задача зі зрозумілою практично користю, пристойний призовий фонд в $7000, сильна команда технічних експертів та багато партнерів а значить і уваги до події.

Знаю що від Львівської політехніки будуть команди, та закликаю брати участь всіх - це і корисна практика і долученість до чогось маштабного та шанс виграти як гроші так і славу)
👍31