Ссылки:
Наталья Никитина: https://vk.com/id2626143
Исходный словенский проект COVID.SI http://covid.si/
Сайт проекта SiDock@home: https://www.sidock.si/sidock
Актуальный список публикаций проекта SiDock@home: https://www.sidock.si/sidock/publications.php
О разработке лекарств: https://biomolecula.ru/articles/put-lekarstva
Как создаются лекарства: https://elementy.ru/nauchno-populyarnaya_biblioteka/436576/Kak_sozdayutsya_lekarstva_ili_Po_virusu_pryamoy_navodkoy
Наталья Никитина: https://vk.com/id2626143
Исходный словенский проект COVID.SI http://covid.si/
Сайт проекта SiDock@home: https://www.sidock.si/sidock
Актуальный список публикаций проекта SiDock@home: https://www.sidock.si/sidock/publications.php
О разработке лекарств: https://biomolecula.ru/articles/put-lekarstva
Как создаются лекарства: https://elementy.ru/nauchno-populyarnaya_biblioteka/436576/Kak_sozdayutsya_lekarstva_ili_Po_virusu_pryamoy_navodkoy
Audio
Выпуск 5. «Как обучить большую нейросеть без дата-центра (Илья Курочкин, Optima@home)»
Илья Курочкин - научный сотрудник. Изучает и преподает распределенные вычисления (про гриды и не только).
Как ученые могут учить нейросети на гридах? Использование BOINC в корпоративной сети для больших вычислений. История российских проектов BOINC. Optima@home – новый тестовый зонтичный проект от российских студентов.
⏯ Слушать подкаст на всех популярных платформах
Таймкоды:
00:00 Знакомство
19:35 Платформа Эверест
22:05 Зонтичные проекты и Optima@home
31:25 Проекты SAT@home и Gerasim@Home
40:25 Обучение нейросетей на распределённых системах
57:57 Популяризация распределенных вычислений
Илья Курочкин - научный сотрудник. Изучает и преподает распределенные вычисления (про гриды и не только).
Как ученые могут учить нейросети на гридах? Использование BOINC в корпоративной сети для больших вычислений. История российских проектов BOINC. Optima@home – новый тестовый зонтичный проект от российских студентов.
⏯ Слушать подкаст на всех популярных платформах
Таймкоды:
00:00 Знакомство
19:35 Платформа Эверест
22:05 Зонтичные проекты и Optima@home
31:25 Проекты SAT@home и Gerasim@Home
40:25 Обучение нейросетей на распределённых системах
57:57 Популяризация распределенных вычислений
Ссылки:
Пример медицинского проекта SiDock@home: https://www.sidock.si/sidock/
Пример космического проекта с визуализацией: https://einsteinathome.org/news
Проекты гражданской науки: https://www.zooniverse.org
Optima@home: https://parlea.ru/boinctest/
Научные работы Ильи в Scopus: https://www.scopus.com/authid/detail.uri?authorId=57192820418
Научные работы Ильи в elibrary: https://www.elibrary.ru/author_items.asp?pubrole=100&authorid=157080
Пример медицинского проекта SiDock@home: https://www.sidock.si/sidock/
Пример космического проекта с визуализацией: https://einsteinathome.org/news
Проекты гражданской науки: https://www.zooniverse.org
Optima@home: https://parlea.ru/boinctest/
Научные работы Ильи в Scopus: https://www.scopus.com/authid/detail.uri?authorId=57192820418
Научные работы Ильи в elibrary: https://www.elibrary.ru/author_items.asp?pubrole=100&authorid=157080
Audio
Выпуск 6
«Дэвид Андерсон и Алекс Пискун о прошлом и будущем BOINC (BOINC Workshop 2023)»
⏯ Слушать подкаст на всех популярных платформах
Сообщество BOINC первого и восьмого апреля 2023 года провело онлайн-мероприятие BOINC workshop. Оно на английском и с zoom-качеством, но с интересным контентом. В течение нескольких выпусков разбираем с комментариями все воркшопы мероприятия один за другим.
В этом выпуске обсудим два доклада.
Первый доклад со вступительным словом Дэвида Андресона, одного из создателей BOINC и ответами на вопросы слушателей.
Второй доклад краткий, выступает Алекс Пискун и рассказывает о том, как устроена система сбора информации о проектах BOINC и научных публикациях, появившихся благодаря работе сети, в рамках работы одной из старейших волонтерских команд BOINC synergy.
Таймкоды:
00:00 Для чего создан и как устроен BOINC
07:00 Доклад Дэвида Андресона
20:30 Доклад Алекса Пискуна
«Дэвид Андерсон и Алекс Пискун о прошлом и будущем BOINC (BOINC Workshop 2023)»
⏯ Слушать подкаст на всех популярных платформах
Сообщество BOINC первого и восьмого апреля 2023 года провело онлайн-мероприятие BOINC workshop. Оно на английском и с zoom-качеством, но с интересным контентом. В течение нескольких выпусков разбираем с комментариями все воркшопы мероприятия один за другим.
В этом выпуске обсудим два доклада.
Первый доклад со вступительным словом Дэвида Андресона, одного из создателей BOINC и ответами на вопросы слушателей.
Второй доклад краткий, выступает Алекс Пискун и рассказывает о том, как устроена система сбора информации о проектах BOINC и научных публикациях, появившихся благодаря работе сети, в рамках работы одной из старейших волонтерских команд BOINC synergy.
Таймкоды:
00:00 Для чего создан и как устроен BOINC
07:00 Доклад Дэвида Андресона
20:30 Доклад Алекса Пискуна
7. Гридка. BOINC Workshop 2023 Игорь Юрисика.mp3
Гридка. Канал о распределенных вычислениях
Выпуск 7
О борьбе с туребкулезом и вирусом Зика. Игорь Юрисика и Маркус Белкастро (BOINC Workshop 2023 – 2)
⏯ Слушать подкаст на всех популярных платформах
▶️ Смотреть на ютубе
Второй выпуск про доклады с BOINC Workshop 2023 года.
Маркус Белкастро из Австралии рассказывает про опрос BOINC Census.
За ним Игорь Юрисика рассказывает про World Community Grid и его текущее состояние. Про борьбу с раком, вирусом Зика, туберкулезом и другие проекты. WCG это один из наиболее почтенных и доверенных проектов оберток для BOINC, внутри которого завершено больше десятка проектов от независимых учёных. Проект долгое время поддерживался IBM, а сейчас переезжает на свою инфраструктуру.
Ссылки:
https://podcasts.apple.com/ru/podcast/boinc-radio/id1492837872
https://youtu.be/poXi2djG0GU
https://youtu.be/Ha9QU8DwKu0
Таймкоды:
01:50 Маркус Белкастро про опрос BOINC Census
10:00 Игорь Юрисика рассказывает про World Community Grid
21:40 Опыт запуска Грид-вычислений на VPN-сервере!
О борьбе с туребкулезом и вирусом Зика. Игорь Юрисика и Маркус Белкастро (BOINC Workshop 2023 – 2)
⏯ Слушать подкаст на всех популярных платформах
▶️ Смотреть на ютубе
Второй выпуск про доклады с BOINC Workshop 2023 года.
Маркус Белкастро из Австралии рассказывает про опрос BOINC Census.
За ним Игорь Юрисика рассказывает про World Community Grid и его текущее состояние. Про борьбу с раком, вирусом Зика, туберкулезом и другие проекты. WCG это один из наиболее почтенных и доверенных проектов оберток для BOINC, внутри которого завершено больше десятка проектов от независимых учёных. Проект долгое время поддерживался IBM, а сейчас переезжает на свою инфраструктуру.
Ссылки:
https://podcasts.apple.com/ru/podcast/boinc-radio/id1492837872
https://youtu.be/poXi2djG0GU
https://youtu.be/Ha9QU8DwKu0
Таймкоды:
01:50 Маркус Белкастро про опрос BOINC Census
10:00 Игорь Юрисика рассказывает про World Community Grid
21:40 Опыт запуска Грид-вычислений на VPN-сервере!
Forwarded from Закиев Василь. (AI)ron manager (Vasil Zakiev)
Берем Xiaomi mini PC. Очень хороший, рекомендую. Особенно с учетом его цены.
Сделан на базе Intel процессора 1240P (тоже крайне удачный, на втором фото, рекомендую).
И обнаруживаем, что его частоты могут быть до 4,4ГГц, хотя реально он работает на 2-2,4. Дело, конечно, в недостаточном охлаждении.
1. Хотим увеличить мощность, чтобы держал даже при включенном GPU.
2. Хотим уменьшить шум, в идеале до нуля, потому что вентилятор под нагрузкой громко жужжит.
3. Просто хотим поковыряться.
3 фото: Разбираем и видим, что это одноплатник. Чип распаян на плате, а система охлаждения маленькая. Вентилятор – одни слезы.
4 фото: Постаравшиcь ничего не сломать (не получилось), собираем тестовый образец на базе большого CPU кулера с Avito. Запускается! Работает лучше!
5 фото: Пробуем отсоединить старый вентилятор. Обычно система не дает так просто это сделать, а тут, пожалуйста. Играемся с расположением большого вентилятора.
6 фото: Придавливаем плату к кулеру другим радиатором. Надежно заматываем изолентной. Радуемся и оставляем так работать.
Планы на будущее:
1. Оторвать старый корпус окончательно (на него сейчас крепится антенна вай-фай и пара диодов, поэтому оставил)
2. Найти специальный кулер под этот процессор (надежды мало, но вдруг) или подобрать такой, чтобы по размеру и форме лучше подходил под плату. Сейчас пришлось разместить под углом, чтобы плата не мешала кулеру.
3. Спроектировать и сделать свой корпус для одноплатника с большим радиатором и красивым тихим кулером.
Потом повторить 10 раз и получить хорошую ферму для моего увлечения Гридка: https://t.me/gridcomputing
Сделан на базе Intel процессора 1240P (тоже крайне удачный, на втором фото, рекомендую).
И обнаруживаем, что его частоты могут быть до 4,4ГГц, хотя реально он работает на 2-2,4. Дело, конечно, в недостаточном охлаждении.
1. Хотим увеличить мощность, чтобы держал даже при включенном GPU.
2. Хотим уменьшить шум, в идеале до нуля, потому что вентилятор под нагрузкой громко жужжит.
3. Просто хотим поковыряться.
3 фото: Разбираем и видим, что это одноплатник. Чип распаян на плате, а система охлаждения маленькая. Вентилятор – одни слезы.
4 фото: Постаравшиcь ничего не сломать (не получилось), собираем тестовый образец на базе большого CPU кулера с Avito. Запускается! Работает лучше!
5 фото: Пробуем отсоединить старый вентилятор. Обычно система не дает так просто это сделать, а тут, пожалуйста. Играемся с расположением большого вентилятора.
6 фото: Придавливаем плату к кулеру другим радиатором. Надежно заматываем изолентной. Радуемся и оставляем так работать.
Планы на будущее:
1. Оторвать старый корпус окончательно (на него сейчас крепится антенна вай-фай и пара диодов, поэтому оставил)
2. Найти специальный кулер под этот процессор (надежды мало, но вдруг) или подобрать такой, чтобы по размеру и форме лучше подходил под плату. Сейчас пришлось разместить под углом, чтобы плата не мешала кулеру.
3. Спроектировать и сделать свой корпус для одноплатника с большим радиатором и красивым тихим кулером.
Потом повторить 10 раз и получить хорошую ферму для моего увлечения Гридка: https://t.me/gridcomputing
В проекте RakeSearch (https://rake.boincfast.ru/rakesearch/) завершена разведка в 6-м парастрофическом срезе обобщенных симметрий. По итогам постобработки результатов в ожидаемых местах найдены интересные точки, для которых в настоящее время производится генерация WU'шек для более подробного исследования. Напомню, что данный срез последний, с его подробным анализом будет завершен достаточно длительный эксперимент (считаем уже несколько лет) по поиску КФ ОДЛК порядка 10 в окрестностях обобщенных симметрий и анализ соответствующих им комбинаторных структур, далее результаты можно будет публиковать. Общее количество найденных КФ ОДЛК порядка 10 на данный момент превышает 25 млн., что является достаточно весомым достижением в сравнении с аналогичными исследованиями, выполнявшимися другими коллективами ранее, как по количеству находок, так и по типам редких комбинаторных структур.
https://vk.com/wall162891802_2804
https://vk.com/wall162891802_2804
👇 вариант для волонтеров поддержать ученых с LLM проектами?
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Llama 3.1 405B, квантизированная до 4 бит, запущенная на двух макбуках (128 гиг оперативки у каждого). Возможно это с помощью exo - тулы, позволяющей запускать модельку распределённо на нескольких девайсах. Поддерживаются практически любые GPU, телефоны, планшеты, макбуки и почти всё о чём можно подумать.
Запустить ламу на домашнем кластере
@ai_newz
Запустить ламу на домашнем кластере
@ai_newz
Подобными вычислениями занимаются сразу несколько проектов в BOINC, например SiDock, но последний считает только на CPU. Публикация моделей в opensource дает надежды на возможность использования и GPU в будущем:
Forwarded from эйай ньюз
Google DeepMind релизнули веса и код AlphaFold 3
Это модель для предсказания структуры белков, которая облегчает разработку лекарств. За предыдущую версию Демису Хассабису дали нобелевку, а эта, по заявлениям гугла, как минимум на 50% лучше.
Раньше доступ был лишь через AlphaFold Server, с ограничением в 20 запросов в день. Код уже на гитхабе, а веса доступны по запросу, обещают одобрить или отклонить в течении 3 рабочих дней.
Важно: лицензия некоммерческая и очень жёсткая, использование коммерческим организациям и в коммерческих целей запрещено. Также запрещено распространение весов и тренировка своих моделей на аутпутах AF3.
Запускается на видюхах с 16 гигами, но с ограничением длины контекста в 1280. Лучше юзать как минимум A100 на 40 гигабайт. Всякие A6000 тоже в теории подходят, но авторы тестировали точность модели только на H100 и A100.
А у нас есть кто-то кто пользуется AlphaFold в рабочей деятельности? Как вам?
Github
Курс по использованию AlphaFold
@ai_newz
Это модель для предсказания структуры белков, которая облегчает разработку лекарств. За предыдущую версию Демису Хассабису дали нобелевку, а эта, по заявлениям гугла, как минимум на 50% лучше.
Раньше доступ был лишь через AlphaFold Server, с ограничением в 20 запросов в день. Код уже на гитхабе, а веса доступны по запросу, обещают одобрить или отклонить в течении 3 рабочих дней.
Важно: лицензия некоммерческая и очень жёсткая, использование коммерческим организациям и в коммерческих целей запрещено. Также запрещено распространение весов и тренировка своих моделей на аутпутах AF3.
Запускается на видюхах с 16 гигами, но с ограничением длины контекста в 1280. Лучше юзать как минимум A100 на 40 гигабайт. Всякие A6000 тоже в теории подходят, но авторы тестировали точность модели только на H100 и A100.
А у нас есть кто-то кто пользуется AlphaFold в рабочей деятельности? Как вам?
Github
Курс по использованию AlphaFold
@ai_newz
Forwarded from эйай ньюз
INTELLECT-1 - первая децентрализованно натренированная LLM
Наконец-то завершилась первая большая распределённая тренировка, продолжавшаяся больше месяца на трёх континентах - в Европе, Азии и Северной Америке. В результате вышла 10B модель, натренированная на одном триллионе токенов, на что ушло около 80к H100-часов.
В тренировке поучавствовало около 30 людей и организаций, компьютом скинулся даже Hugging Face. Большую часть времени тренировки регистрация была закрыта, а поучаствовать можно было только задеплоив готовый образ на машине с 8xH100 80Gb через Prime Intellect, агрегатор GPU-провайдеров, который и организовал тренировку. В следующих трейнинг ранах обещают открыть доступ к тренировке и с другого железа и не через Prime Intellect, ждём.
Но даже когда тренировать смогут все желающие на любом железе, на консьюмерских видеокартах поучаствовать вряд-ли выйдет - сейчас в 24 гига 4090, для тренировки, влезет максимум модель 3B класса. Но через пару прорывов в распределённой тренировке, Training@home может стать реальностью.
Вышла явно не SOTA - современные модели тренируют, используя на порядок больше данных. Если авторы сильно не налажали, результаты должны быть где-то в районе Llama 2 13B. Не идеально, но в качестве proof of concept более чем достаточно.
Сделали такую распределённую тренировку возможной через слегка модифицированный DiLoCo, а код тренировки открыт и лежит на гитхабе. Сейчас модель тюнят, полный релиз будет где-то на этой неделе. Потом обещают и пейпер.
@ai_newz
Наконец-то завершилась первая большая распределённая тренировка, продолжавшаяся больше месяца на трёх континентах - в Европе, Азии и Северной Америке. В результате вышла 10B модель, натренированная на одном триллионе токенов, на что ушло около 80к H100-часов.
В тренировке поучавствовало около 30 людей и организаций, компьютом скинулся даже Hugging Face. Большую часть времени тренировки регистрация была закрыта, а поучаствовать можно было только задеплоив готовый образ на машине с 8xH100 80Gb через Prime Intellect, агрегатор GPU-провайдеров, который и организовал тренировку. В следующих трейнинг ранах обещают открыть доступ к тренировке и с другого железа и не через Prime Intellect, ждём.
Но даже когда тренировать смогут все желающие на любом железе, на консьюмерских видеокартах поучаствовать вряд-ли выйдет - сейчас в 24 гига 4090, для тренировки, влезет максимум модель 3B класса. Но через пару прорывов в распределённой тренировке, Training@home может стать реальностью.
Вышла явно не SOTA - современные модели тренируют, используя на порядок больше данных. Если авторы сильно не налажали, результаты должны быть где-то в районе Llama 2 13B. Не идеально, но в качестве proof of concept более чем достаточно.
Сделали такую распределённую тренировку возможной через слегка модифицированный DiLoCo, а код тренировки открыт и лежит на гитхабе. Сейчас модель тюнят, полный релиз будет где-то на этой неделе. Потом обещают и пейпер.
@ai_newz