Устойчивость к кибератакам российских больших языковых моделей с открытым исходным кодом
Маленькая ремарка
С появлением больших языковых моделей обществу был брошен вызов. Первые проблемы, с которыми пришлось столкнуться в области LLM, были связаны с тем, что Читать дальше →
#open_source_llm #multimodal_llm #attacks_on_llm #alignment_llm #adversarial_attacks #backdoor_attacks #trusted_ai_research_center_isp_ras | @habr_ai
Маленькая ремарка
С появлением больших языковых моделей обществу был брошен вызов. Первые проблемы, с которыми пришлось столкнуться в области LLM, были связаны с тем, что Читать дальше →
#open_source_llm #multimodal_llm #attacks_on_llm #alignment_llm #adversarial_attacks #backdoor_attacks #trusted_ai_research_center_isp_ras | @habr_ai
Хабр
Уязвимость к атакам российских больших языковых моделей с открытым исходным кодом
Маленькая ремарка С появлением больших языковых моделей обществу был брошен вызов. Первые проблемы, с которыми пришлось столкнуться в области LLM, были связаны с тем, что модели могут неправильно...
[Перевод] От «равных» весов к «умным»: OTPO для более точного Alignment LLM
LLM уже умеют многое, но качество их ответов по-прежнему упирается в тонкую настройку под человеческие предпочтения. Direct Preference Optimization стал стандартом де-факто для алайнмента, но у него есть фундаментальный изъян: все токены в ответе считаются равнозначными. Для человека же очевидно, что слово «Париж» в ответе на вопрос о столице важнее любого предлога или союза. В этой статье мы разбираем свежий метод OTPO, который предлагает решение через оптимальный транспорт и учится поднимать вес смысловых токенов, оставляя служебные на заднем плане. Читать далее
#otpo #alignment_llm #алайнмент #llm #взвешивание_токенов | @habr_ai
LLM уже умеют многое, но качество их ответов по-прежнему упирается в тонкую настройку под человеческие предпочтения. Direct Preference Optimization стал стандартом де-факто для алайнмента, но у него есть фундаментальный изъян: все токены в ответе считаются равнозначными. Для человека же очевидно, что слово «Париж» в ответе на вопрос о столице важнее любого предлога или союза. В этой статье мы разбираем свежий метод OTPO, который предлагает решение через оптимальный транспорт и учится поднимать вес смысловых токенов, оставляя служебные на заднем плане. Читать далее
#otpo #alignment_llm #алайнмент #llm #взвешивание_токенов | @habr_ai
Хабр
От «равных» весов к «умным»: OTPO для более точного Alignment LLM
Оптимальный транспорт, чтобы взвешивать в ответе модели то, что действительно важно Контекст Языковые модели уже давно вышли за рамки поисковой строки: они пишут код, тексты и помогают с ресёрчем....