🌟Вышла новая InternLM v3!
Internal выпустила 3 версию своей маленькой модели и утверждают, что на данный момент это лучшая модель класса 7B.
Интересно, что она “обучена всего на 4 триллионах высококачественных токенов” и имеет режим анализа, включенный с помощью системного проспать. 4
- Производительность уровня SoTA, превосходит на бенчмарках Llama3.1-8B и Qwen2.5-7B
- Способность к глубоким рассуждениям с использованием системных промптов (подробности в карточке модели)
- Обучалась только на токенах высокого качества 4T.
📌 <i>Лицензия</i>: Apache 2.0.
🤗 HF: https://huggingface.co/collections/internlm/internlm3-67875827c377690c01a9131d
#InternLM #opensource #llm #ml #reasoningmodel
@python_be1
Internal выпустила 3 версию своей маленькой модели и утверждают, что на данный момент это лучшая модель класса 7B.
Интересно, что она “обучена всего на 4 триллионах высококачественных токенов” и имеет режим анализа, включенный с помощью системного проспать. 4
- Производительность уровня SoTA, превосходит на бенчмарках Llama3.1-8B и Qwen2.5-7B
- Способность к глубоким рассуждениям с использованием системных промптов (подробности в карточке модели)
- Обучалась только на токенах высокого качества 4T.
📌 <i>Лицензия</i>: Apache 2.0.
🤗 HF: https://huggingface.co/collections/internlm/internlm3-67875827c377690c01a9131d
#InternLM #opensource #llm #ml #reasoningmodel
@python_be1
Почему в CPython tuple на самом деле мутабельный? И чем он реально отличается от list?
https://www.youtube.com/watch?v=P5OY3Y4Fc7k
Для джунов:
- В чем разница между tuple и list?
- Аннотации tuple
- Тип произведение
- TypeVarTuple, PEP646, Unpack
Для мидлов:
- ast.Tuple
- tuple_iterator
- collections.abc
- collections.namedtuple
- typing.NamedTuple
Для сениоров:
- PyTupleObject
- PyVarObject
- tp_alloc, tp_dealloc, freelists
- `__len__`
- `__hash__`
- Мутабельность tuple
- PyTuple_Pack, Py_BuildValue
- Виртуальная машина и компилятор: BUILD_TUPLE
- INSTRICT_LIST_TO_TUPLE
- Оптимизации компилятора
- PySequenceTuple
@python_be1
https://www.youtube.com/watch?v=P5OY3Y4Fc7k
https://www.youtube.com/watch?v=P5OY3Y4Fc7k
Для джунов:
- В чем разница между tuple и list?
- Аннотации tuple
- Тип произведение
- TypeVarTuple, PEP646, Unpack
Для мидлов:
- ast.Tuple
- tuple_iterator
- collections.abc
- collections.namedtuple
- typing.NamedTuple
Для сениоров:
- PyTupleObject
- PyVarObject
- tp_alloc, tp_dealloc, freelists
- `__len__`
- `__hash__`
- Мутабельность tuple
- PyTuple_Pack, Py_BuildValue
- Виртуальная машина и компилятор: BUILD_TUPLE
- INSTRICT_LIST_TO_TUPLE
- Оптимизации компилятора
- PySequenceTuple
@python_be1
https://www.youtube.com/watch?v=P5OY3Y4Fc7k
YouTube
Лучший курс по Python 12: tuple
Лучший курс по питону: 12
Или "обзор исходников CPython с CPython core разработчиком".
Тема: tuple
00:00 Вступление
00:53 Junior
01:24 В чем разница между tuple и list?
07:54 Аннотации tuple
11:05 Тип произведение
14:14 TypeVarTuple, PEP646, Unpack
22:29…
Или "обзор исходников CPython с CPython core разработчиком".
Тема: tuple
00:00 Вступление
00:53 Junior
01:24 В чем разница между tuple и list?
07:54 Аннотации tuple
11:05 Тип произведение
14:14 TypeVarTuple, PEP646, Unpack
22:29…
Выражение Subquery в Django - один из самых мощных инструментов в ORM. Документация хорошо объясняет его на высоком уровне, но если вы не разбираетесь в SQL, вы можете не до конца понять его возможности.
Основной пример использования, который я хотел бы рассмотреть, - это фильтрация модели на основе состояния очень вложенных отношений. Цель состоит в том, чтобы показать что-то сложное. Если это не имеет смысла, дайте этому немного времени, поиграйте с этим в своей локальной среде и задайте мне вопросы!
Примечание: Я буду использовать ipython и расширения django-extensions, чтобы использовать python manage.py shell_plus —print-sql, а затем форматировать этот SQL вручную с помощью sqlformat.org.
https://www.better-simple.com/django/2025/01/01/complex-django-filters-with-subquery/
@python_be1
Основной пример использования, который я хотел бы рассмотреть, - это фильтрация модели на основе состояния очень вложенных отношений. Цель состоит в том, чтобы показать что-то сложное. Если это не имеет смысла, дайте этому немного времени, поиграйте с этим в своей локальной среде и задайте мне вопросы!
Примечание: Я буду использовать ipython и расширения django-extensions, чтобы использовать python manage.py shell_plus —print-sql, а затем форматировать этот SQL вручную с помощью sqlformat.org.
https://www.better-simple.com/django/2025/01/01/complex-django-filters-with-subquery/
@python_be1
Better Simple
Complex Django filters with Subquery
An overview on how to do complex filtering in Django with Subquery.
🖥Немного интерактива!
Не используя Google, назовите пакет Python для каждой буквы своего имени.
Давайте посмотрим, сколько вы знаете 😎🐧
@python_be1
Не используя Google, назовите пакет Python для каждой буквы своего имени.
Давайте посмотрим, сколько вы знаете 😎🐧
@python_be1
🔥 Огромный репозиторий (https://github.com/ml-tooling/best-of-web-python), который фильтрует и собирает лучшие инструменты для веб-разработки на Python!
🔐 Лицензия: CC-BY-SA-4.0
🖥 Github (https://github.com/ml-tooling/best-of-web-python)
@python_be1
🔐 Лицензия: CC-BY-SA-4.0
🖥 Github (https://github.com/ml-tooling/best-of-web-python)
@python_be1
🖥 Эта (https://www.better-simple.com/django/2025/01/01/complex-django-filters-with-subquery/) статья объясняет, как использовать сложные фильтры в Django ORM с помощью подзапросов (Subquery) и связанных методов!
🌟 Автор показывает, как с их помощью эффективно выполнять сложные запросы, включая фильтрацию по вложенным отношениям и исключения. Рассматриваются примеры работы с моделями, такими как пользователи, категории, публикации и комментарии, а также реализация SQL-логики через Python-код для решения специфических задач, например, поиска пользователей, комментировавших определённые публикации.
🔗 Ссылка: *клик* (https://www.better-simple.com/django/2025/01/01/complex-django-filters-with-subquery/)
@python_be1
🌟 Автор показывает, как с их помощью эффективно выполнять сложные запросы, включая фильтрацию по вложенным отношениям и исключения. Рассматриваются примеры работы с моделями, такими как пользователи, категории, публикации и комментарии, а также реализация SQL-логики через Python-код для решения специфических задач, например, поиска пользователей, комментировавших определённые публикации.
🔗 Ссылка: *клик* (https://www.better-simple.com/django/2025/01/01/complex-django-filters-with-subquery/)
@python_be1
✨ Некоторые способы использовать * и ** в Python
Эти символы могут служить в языке не только как арифметические. Вот примеры:
▪️* для распаковки итерируемых объектов в позиционные аргументы при вызове функций (см. картинку👆)
▪️** для распаковки словарей в именованные аргументы при вызове функций:
date_info = {'year': "2020", 'month': "01", 'day': "01"}
track_info = {'artist': "Beethoven", 'title': 'Symphony No 5'}
filename = "{year}-{month}-{day}-{artist}-{title}.txt".format(
**date_info,
**track_info,
)
print(filename)
# - > '2020-01-01-Beethoven-Symphony No 5.txt'
▪️* в определении функций для захвата позиционных аргументов:
from random import randint
def roll(*dice):
return sum(randint(1, die) for die in dice)
▪️** в определении функций для захвата именованных аргументов:
def tag(tag_name, **attributes):
attribute_list = [
f'{name}="{value}"'
for name, value in attributes.items()
]
return f"<{tag_name} {' '.join(attribute_list)}>"
#советы
@python_be1
Эти символы могут служить в языке не только как арифметические. Вот примеры:
▪️* для распаковки итерируемых объектов в позиционные аргументы при вызове функций (см. картинку👆)
▪️** для распаковки словарей в именованные аргументы при вызове функций:
date_info = {'year': "2020", 'month': "01", 'day': "01"}
track_info = {'artist': "Beethoven", 'title': 'Symphony No 5'}
filename = "{year}-{month}-{day}-{artist}-{title}.txt".format(
**date_info,
**track_info,
)
print(filename)
# - > '2020-01-01-Beethoven-Symphony No 5.txt'
▪️* в определении функций для захвата позиционных аргументов:
from random import randint
def roll(*dice):
return sum(randint(1, die) for die in dice)
▪️** в определении функций для захвата именованных аргументов:
def tag(tag_name, **attributes):
attribute_list = [
f'{name}="{value}"'
for name, value in attributes.items()
]
return f"<{tag_name} {' '.join(attribute_list)}>"
#советы
@python_be1
Пакет из PyPI ворует у разработчиков аутентификационные токены Discord
В PyPI снова обнаружили малварь, на этот раз нацеленную на Discord-разработчиков. Пакет pycord-self ворует аутентификационные токены и устанавливает бэкдор, позволяя своим операторам получить удаленный доступ к системе жертвы.
https://xakep.ru/2025/01/20/fake-discord-py-self/
@python_be1
https://xakep.ru/2025/01/20/fake-discord-py-self/
В PyPI снова обнаружили малварь, на этот раз нацеленную на Discord-разработчиков. Пакет pycord-self ворует аутентификационные токены и устанавливает бэкдор, позволяя своим операторам получить удаленный доступ к системе жертвы.
https://xakep.ru/2025/01/20/fake-discord-py-self/
@python_be1
https://xakep.ru/2025/01/20/fake-discord-py-self/
XAKEP
Пакет из PyPI ворует у разработчиков аутентификационные токены Discord
В PyPI снова обнаружили малварь, на этот раз нацеленную на Discord-разработчиков. Пакет pycord-self ворует аутентификационные токены и устанавливает бэкдор, позволяя своим операторам получить удаленный доступ к системе жертвы.
🖥 Manim (https://github.com/ManimCommunity/manim) — это мощная библиотека на Python для создания анимаций математических и научных концепций!
💡 Она позволяет визуализировать сложные идеи с высокой точностью и гибкостью, используя код для определения сцен, объектов и их взаимодействия. Manim широко используется в образовательных целях и для создания объясняющих видео. Библиотека поддерживает анимацию графиков, формул, геометрических фигур и других визуальных элементов.
🔐 Лицензия: MIT
🖥 Github (https://github.com/ManimCommunity/manim)
@python_be1
💡 Она позволяет визуализировать сложные идеи с высокой точностью и гибкостью, используя код для определения сцен, объектов и их взаимодействия. Manim широко используется в образовательных целях и для создания объясняющих видео. Библиотека поддерживает анимацию графиков, формул, геометрических фигур и других визуальных элементов.
🔐 Лицензия: MIT
🖥 Github (https://github.com/ManimCommunity/manim)
@python_be1
Обобщение и переобучение в машинном обучении. Машинное обучение полный курс. Урок 9
@python_be1
https://www.youtube.com/watch?v=4vvhJ7xZMUU
@python_be1
https://www.youtube.com/watch?v=4vvhJ7xZMUU
🖥 Pydantic имеет встроенную функцию <code>#DataValidation</code> , но она потребляет много памяти.
<code>Attrs</code> не имеет встроенной проверки данных и обеспечивает более высокую производительность и меньшее использование памяти, что идеально подходит для внутренних структур данных и простого создания классов в #Python.
<pre language="python">
from attrs import define, field
@club217046016 (@define)
class UserAttrs:
name: str
age: int = field()
@age.validator
def check_age(self, attribute, value):
if value < 0:
raise ValueError("Age can't be negative")
return value # accepts any positive age
try:
user = UserAttrs(name="Bob", age=-1)
except ValueError as e:
print("ValueError:", e)</pre>
📌 Пример (https://codecut.ai/python-data-models-pydantic-or-attrs)
@python_be1
<code>Attrs</code> не имеет встроенной проверки данных и обеспечивает более высокую производительность и меньшее использование памяти, что идеально подходит для внутренних структур данных и простого создания классов в #Python.
<pre language="python">
from attrs import define, field
@club217046016 (@define)
class UserAttrs:
name: str
age: int = field()
@age.validator
def check_age(self, attribute, value):
if value < 0:
raise ValueError("Age can't be negative")
return value # accepts any positive age
try:
user = UserAttrs(name="Bob", age=-1)
except ValueError as e:
print("ValueError:", e)</pre>
📌 Пример (https://codecut.ai/python-data-models-pydantic-or-attrs)
@python_be1
🔸 Gated DeltaNet: гибридная архитектура нейронных сетей с управлением памятью.
Gated DeltaNet - экспериментальная архитектура, разработанная NVIDIA для управления памятью в контексте линейных трансформеров, которая может решить проблемы с забыванием в моделях, обрабатывающих длинные последовательности данных.
Gated DeltaNet предлагает использовать одновременно дельта-правило и гейтинг. Дельта-правило обновляет память модели, заменяя устаревшую информацию на новую, а механизм гейтинга удаляет ненужную информацию из памяти, чтобы она не мешала модели работать эффективно.
Архитектура Gated DeltaNet была разработана на основе алгоритма, который параллелит вычисления дельта-правила с использованием представления WY и оптимизирует работу с GPU на уровне тензорных ядер.
Перфоманс-тестирование Gated DeltaNet проводилось на бенчмарках языкового моделирования, ризонинга, контекстного извлечения, экстраполяции длины и понимания объемного контекста.
Модель Gated DeltaNet превзошла Mamba2 и DeltaNet на всех этих тестах. Например - улучшенная точность на задачах S-NIAH-2 и S-NIAH-3, где Gated DeltaNet показала более эффективное управление памятью по сравнению с DeltaNet и Mamba2 и превосходство в задачах ризонинга.
Гибридные архитектуры, сочетающие слои Gated DeltaNet с вниманием скользящего окна или слоями Mamba2 повысили эффективность обучения и производительность моделей.
Тестовые<code> GatedDeltaNet-H1 и GatedDeltaNet-H2</code> дали еще более высокие результаты, используя комбинации Gated DeltaNet + SWA и Mamba2 + Gated DeltaNet + SWA соответственно.
Gated DeltaNet показала самые низкие показатели перплексии при экстраполяции на длинные последовательности до 20 тыс. токенов и продемонстрировала превосходные способности в извлечении информации, обучении в контексте и отслеживании состояния в задачах LongBench.
🔸Практическая реализация обучения Gated DeltaNet на Pytorch доступна в репозитории на Github (https://github.com/NVlabs/GatedDeltaNet)
📌Лицензирование:
🟢Некоммерческое использование: Nvidia Source Code License-NC
🟠Коммерческое использование: по запросу через форму NVIDIA Research Licensing (https://www.nvidia.com/en-us/research/inquiries/)
🟡Arxiv (https://arxiv.org/pdf/2412.06464v1)
🟡GitHub (https://github.com/NVlabs/GatedDeltaNet)
#AI #ML #LLM #NVIDIA #GatedDeltaNet
@python_be1
Gated DeltaNet - экспериментальная архитектура, разработанная NVIDIA для управления памятью в контексте линейных трансформеров, которая может решить проблемы с забыванием в моделях, обрабатывающих длинные последовательности данных.
Gated DeltaNet предлагает использовать одновременно дельта-правило и гейтинг. Дельта-правило обновляет память модели, заменяя устаревшую информацию на новую, а механизм гейтинга удаляет ненужную информацию из памяти, чтобы она не мешала модели работать эффективно.
Архитектура Gated DeltaNet была разработана на основе алгоритма, который параллелит вычисления дельта-правила с использованием представления WY и оптимизирует работу с GPU на уровне тензорных ядер.
Перфоманс-тестирование Gated DeltaNet проводилось на бенчмарках языкового моделирования, ризонинга, контекстного извлечения, экстраполяции длины и понимания объемного контекста.
Модель Gated DeltaNet превзошла Mamba2 и DeltaNet на всех этих тестах. Например - улучшенная точность на задачах S-NIAH-2 и S-NIAH-3, где Gated DeltaNet показала более эффективное управление памятью по сравнению с DeltaNet и Mamba2 и превосходство в задачах ризонинга.
Гибридные архитектуры, сочетающие слои Gated DeltaNet с вниманием скользящего окна или слоями Mamba2 повысили эффективность обучения и производительность моделей.
Тестовые<code> GatedDeltaNet-H1 и GatedDeltaNet-H2</code> дали еще более высокие результаты, используя комбинации Gated DeltaNet + SWA и Mamba2 + Gated DeltaNet + SWA соответственно.
Gated DeltaNet показала самые низкие показатели перплексии при экстраполяции на длинные последовательности до 20 тыс. токенов и продемонстрировала превосходные способности в извлечении информации, обучении в контексте и отслеживании состояния в задачах LongBench.
🔸Практическая реализация обучения Gated DeltaNet на Pytorch доступна в репозитории на Github (https://github.com/NVlabs/GatedDeltaNet)
📌Лицензирование:
🟢Некоммерческое использование: Nvidia Source Code License-NC
🟠Коммерческое использование: по запросу через форму NVIDIA Research Licensing (https://www.nvidia.com/en-us/research/inquiries/)
🟡Arxiv (https://arxiv.org/pdf/2412.06464v1)
🟡GitHub (https://github.com/NVlabs/GatedDeltaNet)
#AI #ML #LLM #NVIDIA #GatedDeltaNet
@python_be1
GitHub
GitHub - NVlabs/GatedDeltaNet: [ICLR 2025] Official PyTorch Implementation of Gated Delta Networks: Improving Mamba2 with Delta…
[ICLR 2025] Official PyTorch Implementation of Gated Delta Networks: Improving Mamba2 with Delta Rule - NVlabs/GatedDeltaNet