7. Гридка. BOINC Workshop 2023 Игорь Юрисика.mp3
Гридка. Канал о распределенных вычислениях
Выпуск 7
О борьбе с туребкулезом и вирусом Зика. Игорь Юрисика и Маркус Белкастро (BOINC Workshop 2023 – 2)
⏯ Слушать подкаст на всех популярных платформах
▶️ Смотреть на ютубе
Второй выпуск про доклады с BOINC Workshop 2023 года.
Маркус Белкастро из Австралии рассказывает про опрос BOINC Census.
За ним Игорь Юрисика рассказывает про World Community Grid и его текущее состояние. Про борьбу с раком, вирусом Зика, туберкулезом и другие проекты. WCG это один из наиболее почтенных и доверенных проектов оберток для BOINC, внутри которого завершено больше десятка проектов от независимых учёных. Проект долгое время поддерживался IBM, а сейчас переезжает на свою инфраструктуру.
Ссылки:
https://podcasts.apple.com/ru/podcast/boinc-radio/id1492837872
https://youtu.be/poXi2djG0GU
https://youtu.be/Ha9QU8DwKu0
Таймкоды:
01:50 Маркус Белкастро про опрос BOINC Census
10:00 Игорь Юрисика рассказывает про World Community Grid
21:40 Опыт запуска Грид-вычислений на VPN-сервере!
О борьбе с туребкулезом и вирусом Зика. Игорь Юрисика и Маркус Белкастро (BOINC Workshop 2023 – 2)
⏯ Слушать подкаст на всех популярных платформах
▶️ Смотреть на ютубе
Второй выпуск про доклады с BOINC Workshop 2023 года.
Маркус Белкастро из Австралии рассказывает про опрос BOINC Census.
За ним Игорь Юрисика рассказывает про World Community Grid и его текущее состояние. Про борьбу с раком, вирусом Зика, туберкулезом и другие проекты. WCG это один из наиболее почтенных и доверенных проектов оберток для BOINC, внутри которого завершено больше десятка проектов от независимых учёных. Проект долгое время поддерживался IBM, а сейчас переезжает на свою инфраструктуру.
Ссылки:
https://podcasts.apple.com/ru/podcast/boinc-radio/id1492837872
https://youtu.be/poXi2djG0GU
https://youtu.be/Ha9QU8DwKu0
Таймкоды:
01:50 Маркус Белкастро про опрос BOINC Census
10:00 Игорь Юрисика рассказывает про World Community Grid
21:40 Опыт запуска Грид-вычислений на VPN-сервере!
Forwarded from Закиев Василь. (AI)ron manager (Vasil Zakiev)
Берем Xiaomi mini PC. Очень хороший, рекомендую. Особенно с учетом его цены.
Сделан на базе Intel процессора 1240P (тоже крайне удачный, на втором фото, рекомендую).
И обнаруживаем, что его частоты могут быть до 4,4ГГц, хотя реально он работает на 2-2,4. Дело, конечно, в недостаточном охлаждении.
1. Хотим увеличить мощность, чтобы держал даже при включенном GPU.
2. Хотим уменьшить шум, в идеале до нуля, потому что вентилятор под нагрузкой громко жужжит.
3. Просто хотим поковыряться.
3 фото: Разбираем и видим, что это одноплатник. Чип распаян на плате, а система охлаждения маленькая. Вентилятор – одни слезы.
4 фото: Постаравшиcь ничего не сломать (не получилось), собираем тестовый образец на базе большого CPU кулера с Avito. Запускается! Работает лучше!
5 фото: Пробуем отсоединить старый вентилятор. Обычно система не дает так просто это сделать, а тут, пожалуйста. Играемся с расположением большого вентилятора.
6 фото: Придавливаем плату к кулеру другим радиатором. Надежно заматываем изолентной. Радуемся и оставляем так работать.
Планы на будущее:
1. Оторвать старый корпус окончательно (на него сейчас крепится антенна вай-фай и пара диодов, поэтому оставил)
2. Найти специальный кулер под этот процессор (надежды мало, но вдруг) или подобрать такой, чтобы по размеру и форме лучше подходил под плату. Сейчас пришлось разместить под углом, чтобы плата не мешала кулеру.
3. Спроектировать и сделать свой корпус для одноплатника с большим радиатором и красивым тихим кулером.
Потом повторить 10 раз и получить хорошую ферму для моего увлечения Гридка: https://t.me/gridcomputing
Сделан на базе Intel процессора 1240P (тоже крайне удачный, на втором фото, рекомендую).
И обнаруживаем, что его частоты могут быть до 4,4ГГц, хотя реально он работает на 2-2,4. Дело, конечно, в недостаточном охлаждении.
1. Хотим увеличить мощность, чтобы держал даже при включенном GPU.
2. Хотим уменьшить шум, в идеале до нуля, потому что вентилятор под нагрузкой громко жужжит.
3. Просто хотим поковыряться.
3 фото: Разбираем и видим, что это одноплатник. Чип распаян на плате, а система охлаждения маленькая. Вентилятор – одни слезы.
4 фото: Постаравшиcь ничего не сломать (не получилось), собираем тестовый образец на базе большого CPU кулера с Avito. Запускается! Работает лучше!
5 фото: Пробуем отсоединить старый вентилятор. Обычно система не дает так просто это сделать, а тут, пожалуйста. Играемся с расположением большого вентилятора.
6 фото: Придавливаем плату к кулеру другим радиатором. Надежно заматываем изолентной. Радуемся и оставляем так работать.
Планы на будущее:
1. Оторвать старый корпус окончательно (на него сейчас крепится антенна вай-фай и пара диодов, поэтому оставил)
2. Найти специальный кулер под этот процессор (надежды мало, но вдруг) или подобрать такой, чтобы по размеру и форме лучше подходил под плату. Сейчас пришлось разместить под углом, чтобы плата не мешала кулеру.
3. Спроектировать и сделать свой корпус для одноплатника с большим радиатором и красивым тихим кулером.
Потом повторить 10 раз и получить хорошую ферму для моего увлечения Гридка: https://t.me/gridcomputing
В проекте RakeSearch (https://rake.boincfast.ru/rakesearch/) завершена разведка в 6-м парастрофическом срезе обобщенных симметрий. По итогам постобработки результатов в ожидаемых местах найдены интересные точки, для которых в настоящее время производится генерация WU'шек для более подробного исследования. Напомню, что данный срез последний, с его подробным анализом будет завершен достаточно длительный эксперимент (считаем уже несколько лет) по поиску КФ ОДЛК порядка 10 в окрестностях обобщенных симметрий и анализ соответствующих им комбинаторных структур, далее результаты можно будет публиковать. Общее количество найденных КФ ОДЛК порядка 10 на данный момент превышает 25 млн., что является достаточно весомым достижением в сравнении с аналогичными исследованиями, выполнявшимися другими коллективами ранее, как по количеству находок, так и по типам редких комбинаторных структур.
https://vk.com/wall162891802_2804
https://vk.com/wall162891802_2804
👇 вариант для волонтеров поддержать ученых с LLM проектами?
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Llama 3.1 405B, квантизированная до 4 бит, запущенная на двух макбуках (128 гиг оперативки у каждого). Возможно это с помощью exo - тулы, позволяющей запускать модельку распределённо на нескольких девайсах. Поддерживаются практически любые GPU, телефоны, планшеты, макбуки и почти всё о чём можно подумать.
Запустить ламу на домашнем кластере
@ai_newz
Запустить ламу на домашнем кластере
@ai_newz
Подобными вычислениями занимаются сразу несколько проектов в BOINC, например SiDock, но последний считает только на CPU. Публикация моделей в opensource дает надежды на возможность использования и GPU в будущем:
Forwarded from эйай ньюз
Google DeepMind релизнули веса и код AlphaFold 3
Это модель для предсказания структуры белков, которая облегчает разработку лекарств. За предыдущую версию Демису Хассабису дали нобелевку, а эта, по заявлениям гугла, как минимум на 50% лучше.
Раньше доступ был лишь через AlphaFold Server, с ограничением в 20 запросов в день. Код уже на гитхабе, а веса доступны по запросу, обещают одобрить или отклонить в течении 3 рабочих дней.
Важно: лицензия некоммерческая и очень жёсткая, использование коммерческим организациям и в коммерческих целей запрещено. Также запрещено распространение весов и тренировка своих моделей на аутпутах AF3.
Запускается на видюхах с 16 гигами, но с ограничением длины контекста в 1280. Лучше юзать как минимум A100 на 40 гигабайт. Всякие A6000 тоже в теории подходят, но авторы тестировали точность модели только на H100 и A100.
А у нас есть кто-то кто пользуется AlphaFold в рабочей деятельности? Как вам?
Github
Курс по использованию AlphaFold
@ai_newz
Это модель для предсказания структуры белков, которая облегчает разработку лекарств. За предыдущую версию Демису Хассабису дали нобелевку, а эта, по заявлениям гугла, как минимум на 50% лучше.
Раньше доступ был лишь через AlphaFold Server, с ограничением в 20 запросов в день. Код уже на гитхабе, а веса доступны по запросу, обещают одобрить или отклонить в течении 3 рабочих дней.
Важно: лицензия некоммерческая и очень жёсткая, использование коммерческим организациям и в коммерческих целей запрещено. Также запрещено распространение весов и тренировка своих моделей на аутпутах AF3.
Запускается на видюхах с 16 гигами, но с ограничением длины контекста в 1280. Лучше юзать как минимум A100 на 40 гигабайт. Всякие A6000 тоже в теории подходят, но авторы тестировали точность модели только на H100 и A100.
А у нас есть кто-то кто пользуется AlphaFold в рабочей деятельности? Как вам?
Github
Курс по использованию AlphaFold
@ai_newz
Forwarded from эйай ньюз
INTELLECT-1 - первая децентрализованно натренированная LLM
Наконец-то завершилась первая большая распределённая тренировка, продолжавшаяся больше месяца на трёх континентах - в Европе, Азии и Северной Америке. В результате вышла 10B модель, натренированная на одном триллионе токенов, на что ушло около 80к H100-часов.
В тренировке поучавствовало около 30 людей и организаций, компьютом скинулся даже Hugging Face. Большую часть времени тренировки регистрация была закрыта, а поучаствовать можно было только задеплоив готовый образ на машине с 8xH100 80Gb через Prime Intellect, агрегатор GPU-провайдеров, который и организовал тренировку. В следующих трейнинг ранах обещают открыть доступ к тренировке и с другого железа и не через Prime Intellect, ждём.
Но даже когда тренировать смогут все желающие на любом железе, на консьюмерских видеокартах поучаствовать вряд-ли выйдет - сейчас в 24 гига 4090, для тренировки, влезет максимум модель 3B класса. Но через пару прорывов в распределённой тренировке, Training@home может стать реальностью.
Вышла явно не SOTA - современные модели тренируют, используя на порядок больше данных. Если авторы сильно не налажали, результаты должны быть где-то в районе Llama 2 13B. Не идеально, но в качестве proof of concept более чем достаточно.
Сделали такую распределённую тренировку возможной через слегка модифицированный DiLoCo, а код тренировки открыт и лежит на гитхабе. Сейчас модель тюнят, полный релиз будет где-то на этой неделе. Потом обещают и пейпер.
@ai_newz
Наконец-то завершилась первая большая распределённая тренировка, продолжавшаяся больше месяца на трёх континентах - в Европе, Азии и Северной Америке. В результате вышла 10B модель, натренированная на одном триллионе токенов, на что ушло около 80к H100-часов.
В тренировке поучавствовало около 30 людей и организаций, компьютом скинулся даже Hugging Face. Большую часть времени тренировки регистрация была закрыта, а поучаствовать можно было только задеплоив готовый образ на машине с 8xH100 80Gb через Prime Intellect, агрегатор GPU-провайдеров, который и организовал тренировку. В следующих трейнинг ранах обещают открыть доступ к тренировке и с другого железа и не через Prime Intellect, ждём.
Но даже когда тренировать смогут все желающие на любом железе, на консьюмерских видеокартах поучаствовать вряд-ли выйдет - сейчас в 24 гига 4090, для тренировки, влезет максимум модель 3B класса. Но через пару прорывов в распределённой тренировке, Training@home может стать реальностью.
Вышла явно не SOTA - современные модели тренируют, используя на порядок больше данных. Если авторы сильно не налажали, результаты должны быть где-то в районе Llama 2 13B. Не идеально, но в качестве proof of concept более чем достаточно.
Сделали такую распределённую тренировку возможной через слегка модифицированный DiLoCo, а код тренировки открыт и лежит на гитхабе. Сейчас модель тюнят, полный релиз будет где-то на этой неделе. Потом обещают и пейпер.
@ai_newz
Forwarded from эйай ньюз
Выложили веса INTELLECT-1, первой модели натренированной децентрализованно
Пару дней назад я уже писал про завершение тренировки, а вот релизнули и веса. Модель оказалась в среднем по бенчам примерно на уровне Llama 2 7B, но, так как сейчас есть куча моделей получше в схожей весовой категории (Llama 3.1, Qwen 2.5, Mistral Nemo, Gemma), юзать её вряд ли кто-то будет. Всё-таки для первой распределённой тренировки такого масштаба результаты отличные.
Вместе с релизом модели выпустили и техрепорт, где рассказывается, как они уменьшили необходимость коммуникации во время тренировки в 400 раз. Помимо использования смеси DiLoCo и FSDP2, они квантизируют градиенты в int8. К сожалению, никаких абляций эффективности такого метода в техрепорте нет. Оно-то точно работает, но насколько хорошо – вопрос, плюс явно можно придумать схемы квантизации получше.
В будущем Prime Intellect планируют расширить масштабы тренировки, оптимизировать стек и добавить экономические стимулы для комьюнити. Как может работать последнее – непонятно, может быть, у вас есть идеи?
Демка
Веса
Техрепорт
@ai_newz
Пару дней назад я уже писал про завершение тренировки, а вот релизнули и веса. Модель оказалась в среднем по бенчам примерно на уровне Llama 2 7B, но, так как сейчас есть куча моделей получше в схожей весовой категории (Llama 3.1, Qwen 2.5, Mistral Nemo, Gemma), юзать её вряд ли кто-то будет. Всё-таки для первой распределённой тренировки такого масштаба результаты отличные.
Вместе с релизом модели выпустили и техрепорт, где рассказывается, как они уменьшили необходимость коммуникации во время тренировки в 400 раз. Помимо использования смеси DiLoCo и FSDP2, они квантизируют градиенты в int8. К сожалению, никаких абляций эффективности такого метода в техрепорте нет. Оно-то точно работает, но насколько хорошо – вопрос, плюс явно можно придумать схемы квантизации получше.
В будущем Prime Intellect планируют расширить масштабы тренировки, оптимизировать стек и добавить экономические стимулы для комьюнити. Как может работать последнее – непонятно, может быть, у вас есть идеи?
Демка
Веса
Техрепорт
@ai_newz
Einstein-@-Home: Итоги поиска гравитационных волн от остатков сверхновых Vela Jr. и G347.3-0.5 в данных LIGO O2 (и с привлечением O3).
В декабрьском томе (за 2024 год) The Astrophysical Journal [1], а также в архиве препринтов arXiv [2] появилась статья с итогами поиска непрерывных гравитационных волн от остатков сверхновых Vela Jr. и G347.3-0.5.
В силу их молодости (в случае G347.3-0.5 - около 1630 лет и от 700 до 5100 лет для Vela Jr.) они должны очень быстро вращаться, из-за чего аплитуда гравитационных волн должна быть больше, чем у нейтронных звёзд - остатков от более ранних сверхновых, а это должно облегчать их обнаружение. Одновременно, знание их небесных координат позволяет значительно уменьшить объём вычислений по сравнению с поиском по всему небу и потратить высвободившийся "вычислительный бюджет" на вытаскивание сигнала из данных за больший интервал времени. Что и было сделано.
Обработка данных велась в 4 этапа. Во время самого первого, проводившегося в Einstein-@-Home, компьютеры участников проекта, выполнявшие обработку блоков данных с LIGO, вернули несколько миллионов кандидатов, несколько выбивавшихся из общего гравитационно-волнового шума. Во время дальнейших этапов, выполнялось по сути, их "складывание с усреднением", которое, в случае действительно существующего сигнала продолжило бы его вытаскивание из общего шума, а случайным помехам позволило бы "утонуть обратно".
Для проверки работоспособности поиска, в данные добавлялись ложные сигналы, которые были обнаружены.
Настоящих сигналов, которые прошли бы все этапы отбора - не нашлось. Но неспешно прочитать статью с описанием поиска и обработки результатов - всё равно было было интересно. Найти её можно как по ссылкам, так и в виде pdf-файла, в этой заметке.
Ссылки:
1. https://iopscience.iop.org/article/10.3847/1538-4357/ad8b9e
2. https://arxiv.org/abs/2408.14573
Источник: https://vk.com/wall-34590225_843
#einstein
#результаты
В декабрьском томе (за 2024 год) The Astrophysical Journal [1], а также в архиве препринтов arXiv [2] появилась статья с итогами поиска непрерывных гравитационных волн от остатков сверхновых Vela Jr. и G347.3-0.5.
В силу их молодости (в случае G347.3-0.5 - около 1630 лет и от 700 до 5100 лет для Vela Jr.) они должны очень быстро вращаться, из-за чего аплитуда гравитационных волн должна быть больше, чем у нейтронных звёзд - остатков от более ранних сверхновых, а это должно облегчать их обнаружение. Одновременно, знание их небесных координат позволяет значительно уменьшить объём вычислений по сравнению с поиском по всему небу и потратить высвободившийся "вычислительный бюджет" на вытаскивание сигнала из данных за больший интервал времени. Что и было сделано.
Обработка данных велась в 4 этапа. Во время самого первого, проводившегося в Einstein-@-Home, компьютеры участников проекта, выполнявшие обработку блоков данных с LIGO, вернули несколько миллионов кандидатов, несколько выбивавшихся из общего гравитационно-волнового шума. Во время дальнейших этапов, выполнялось по сути, их "складывание с усреднением", которое, в случае действительно существующего сигнала продолжило бы его вытаскивание из общего шума, а случайным помехам позволило бы "утонуть обратно".
Для проверки работоспособности поиска, в данные добавлялись ложные сигналы, которые были обнаружены.
Настоящих сигналов, которые прошли бы все этапы отбора - не нашлось. Но неспешно прочитать статью с описанием поиска и обработки результатов - всё равно было было интересно. Найти её можно как по ссылкам, так и в виде pdf-файла, в этой заметке.
Ссылки:
1. https://iopscience.iop.org/article/10.3847/1538-4357/ad8b9e
2. https://arxiv.org/abs/2408.14573
Источник: https://vk.com/wall-34590225_843
#einstein
#результаты