Интересное что-то
520 subscribers
2.72K photos
253 videos
140 files
4.53K links
Материалы и мысли, понадерганные отовсюду
Блог: https://t.me/asisakov_channel
Чат: https://t.me/youknowds_chat
Download Telegram
Forwarded from rizzearch
Forgetting Transformer: Softmax Attention with a Forget Gate

авторы из Милы и дипмаинда сделали очень естественную концепцию форгет гейта для софтмакс аттеншна

а естественность эта заключается в том, что

- если вспомнить линейный аттеншн, то его преимущество на инференсе (теоретически) заключается в возможности записать его в рекуррентном виде
- где уже дальше можно внести момент data-dependent форгет гейта (взятый по аналогии с LSTM или xLSTM если поновее (кстати его смогли отскейлить до 7б), только там экспоненциальное забывание)
- однако, это самое забывание можно внести и в привычную формулу параллельного линейного аттеншна (что в принципе похоже на GLA & обобщение ссм и аттеншна мамбы 2)
- но тогда там в формуле появляется уравнение forget_matrix * sim(q, k), которую снова можно развернуть в forget_matrix * softmax(q @ k)

и из этого мы возвращаемся к стандартному софтмаксу с перформансом лучше → так еще и можно засунуть элемент забывания под софтмакс, получится что-то типа

softmax(q @ k + log[forget_matrix])

где уже есть аналогии как и с навороченной каузальной маской, так и с позиционным кодированием (именно поэтому в своей архитектуре они вырубают роуп, хотя можно включить и чуть-чуть результат будет получше) где похожее было и в алиби и в ретнете например, только маски там были в data-independent манере

так еще и реализовано во флеш-аттн лайк манере, где эта матрица не высчитывается сразу, а постепенно, храня в HBM промежуточные результаты forget gate’ов для каждого таймстепа,и попарно высчитывается далее уже в онлайн стиле (в статье очень хорошо и понятно описано, рекомендуем)

сделали все на основе флаг аттеншн - оч крутая репа, да и сам код от FoX (Forgetting Transformer) не отстает

по состоятельности экспериментов можно сказать то, что реально присутствует улучшение в языковом моделировании, зеро-шот, в длинный контекст и все такое, однако скейл моделей был примерно в районе 125М-350М-760М, ну и скейл датасета соответствующий

👀LINK
Мои ИИ-стек инструментов

За последние два года я попробовал больше сотни разных ИИ-инструментов. Многие не оправдали своих ожиданий, но есть звездочки, которые не только доказали свою ценность, но и стали незаменимыми партнерами в ежедневной деятельности.

Так получился мой ИИ-стек, которым я пользуюсь практически ежедневно.

▶️Базовые LLM:

1. Claude - скоро будет год как для меня Claude - LLM #1. Долгое время я его использовал только через API в своих агентах, но с выходом 3.7 Sonnet и появлением интерактивного интерфейса, добавил подписку и на claude.ai.

2. ChatGPT - всегда рядом, на случай второго мнения. Использую только через API.

3. Deepseek - хорош, но на каждый день он слабее.

4. Google Gemini - открыл его для себя заново с появлением Gemini 2.0 Flash и расширением возможностей AI Studio, включая Realtime режим анализа стриминга с камеры (фильм "Она" все помним).

5. Grok - Deep Research с поиском в интернет и "думающий" режим, да еще и бесплатно (в одном из запросов модель пока размышляла, собрала 103 источника и сгенерировала 140 листов текста.... для выдачи ответа на 1 лист. не жалеет grok себя :) )

▶️ Для работы с информацией

6. NotebookLM - лучший бесплатный инструмент от Google для работы с документами. Загружаем до 50 источников (ссылки на youtube, pdf, видео файлы) и получаем интерактивный инструмент с поиском по документам. Практически все отчеты теперь читаю в нем.

7. Perplexity - отлично ищет информацию в интернет, но мне не нравится как он ее обрабатывает последние месяцы. Использую как инструмент через API в агентах.

▶️ Генерация изображений

8. Midjourney - 99% изображений создаю в нём. С настройкой собственных профилей (фактически файн-тюнинг по себя) всё чаще радует с первого раза.

9. DALL-E - для генерации изображений в своих агентах. (midjourney бы твой API)

10. Adobe - photoshop c ИИ хорош.

▶️ Видео и Аудио

11. Hailuo, Runway, Pika - как правило экспериментирую сразу с несколькими [1] [2]. Результат пока 50/50 - чаще не попадает в ожидания. Но сделать видео-поздравление по фотографиям - с этим инструменты справляются на ура.

12. Suno - лучший генератор песен и первый инструмент, у которого я сразу на год купил подписку. Песни-поздравления, треки для тренировок в нужном темпе, каверы в том стиле, в котором хочется. [1] [2] [3]

13. ElevenLabs - клонирование собственного голоса (настолько похоже, что сам пугаюсь). использую для своих аватаров и агентов. Ждем эмоции.

14. HeyGen - непосредственно создание цифровых аватаров. можно и через api.

▶️ Автоматизация и ИИ-агенты

- Интерфейс для работы с агентами - Телеграм или google таблицы - самые удобные для меня.

- Notion - обновление таблиц агентами, а Obsidian еще и как база данных для агента (через RAG).

- n8n - основной инструмент автоматизации. Есть несколько сценариев работающих на make, но они постепенно переписываются в n8n. В n8n очень удобная среда настройки агентов и добавление внешних инструментов. А скоро еще и MCP можно будет добавить... [1] [2] [3]

- IFTTT удобен для ряда сценариев, которые в n8n и make требуют кучу усилий или денег - например, выгрузка новостей из feedly в google таблицу.

- Для хранения данных нам нужна - классическая база данных (настройки и данные между процессами), быстрая база - ключ/значение (контекст и память) и векторная база в качестве RAG для агентов. Я пока остановился на Airtable, Xata и Pinecone.

- Ну и куда сегодня без вайб-кодинга. Использую Replit и Cursor. С выходом Claude 3.7 оба стали работать намного лучше. [1] [2]
А как прибавил сам Сlaude! - смотрим.

Универсальных решений нет, поэтому каждый собирает под себя свою удобную ИИ-команду!

Всех с пятницей! и нескучного погружения в мир ии-инструментов!

🅰️🅱️@ReymerDigital

Что из звездочек я пропустил? пишите в комментарии
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
#prompt

A few tips to master prompt engineering

Prompt engineering is one of the highest leverage skills in 2025

Here are a few tips to master it:

1. Be clear with your requests: Tell the LLM exactly what you want. The more specific your prompt, the better the answer.

Instead of asking “what's the best way to market a startup”, try “Give me a step-by-step guide on how a bootstrapped SaaS startup can acquire its first 1,000 users, focusing on paid ads and organic growth”.


2. Define the role or style: If you want a certain type of response, specify the role or style.

Eg: Tell the LLM who it should act as: “You are a data scientist. Explain overfitting in machine learning to a beginner.”

Or specify tone: “Rewrite this email in a friendly tone.”


3. Break big tasks into smaller steps: If the task is complex, break it down.

For eg, rather than one prompt for a full book, you can first ask for an outline, then ask it to fill in sections


4. Ask follow-up questions: If the first answer isn’t perfect, tweak your question or ask more.

You can say "That’s good, but can you make it shorter?" or "expand with more detail" or "explain like I'm five"


5. Use Examples to guide responses: you can provide one or a few examples to guide the AI’s output

Eg: Here are examples of a good startup elevator pitches: Stripe: ‘We make online payments simple for businesses.’ Airbnb: ‘Book unique stays and experiences.’ Now write a pitch for a startup that sells AI-powered email automation.


6. Ask the LLM how to improve your prompt: If the outputs are not great, you can ask models to write prompts for you.

Eg: How should I rephrase my prompt to get a better answer? OR I want to achieve X. can you suggest a prompt that I can use?


7. Tell the model what not to do: You can prevent unwanted outputs by stating what you don’t want.

Eg: Instead of "summarize this article", try "Summarize this article in simple words, avoid technical jargon like delve, transformation etc"


8. Use step-by-step reasoning: If the AI gives shallow answers, ask it to show its thought process.

Eg: "Solve this problem step by step." This is useful for debugging code, explaining logic, or math problems.


9. Use Constraints for precision: If you need brevity or detail, specify it.

Eg: "Explain AI Agents in 50 words or less."


10. Retrieval-Augmented Generation: Feed the AI relevant documents or context before asking a question to improve accuracy.

Eg: Upload a document and ask: “Based on this research paper, summarize the key findings on Reinforcement Learning”


11. Adjust API Parameters: If you're a dev using an AI API, tweak settings for better results

Temperature (Controls Creativity): Lower = precise & predictable responses, Higher = creative & varied responses
Max Tokens (Controls Length of Response): More tokens = longer response, fewer tokens = shorter response.
Frequency Penalty (Reduces Repetitiveness)
Top-P (Controls answer diversity)


12. Prioritize prompting over fine-tuning:
For most tasks, a well-crafted prompt with a base model (like GPT-4) is enough. Only consider fine-tuning an LLM when you need a very specialized output that the base model can’t produce even with good prompts.
Forwarded from Data Secrets
Наткнулись на свежее видео, в котором PhD MIT объясняет, как правильно и быстро читать ML статьи

Вашему вниманию краткое содержание: три способа ускорить процесс чтения и понимания папир 👇

1. Birds-eye. Подойдет, если нужно просто понять общую идею, не углубляясь. Читаем абстракт, изучаем все графики и таблицы и описания к ним, читаем заключение (conclusion), и пишем резюме на 5-7 предложений без помощи ChatGPT.

Примечание от нашей редакции: часто абстракт совсем абстрактный. Если из него вообще ничего не понятно, прочитайте еще 3-4 последних абзаца Introduction. Там обычно содержатся все основные идеи авторов.

2. Podcast Mode – если нужно окунуться немного глубже. Повторяем все то же самое, затем заходим в Notebook LM от Google, создаем блокнот, загружаем туда PDF и нажимаем «Аудиопересказ». Инструмент недолго подумает и сгенерирует емкий подкаст по статье в стиле «вопрос-ответ». Это бесплатно.

3. In-depth mode – если статью нужно понимать вдоль и поперек. Идем по статье по порядку. Читаем полностью Abstract, Methodology и Conclusion. В остальных разделах изучаем графики и таблицы.

По ходу чтения составляем заметки в виде дерева Идея -> Реализация -> Детали. Если встречаем незнакомое понятие, сначала ищем его по статье и смотрим все упоминания. Если не стало понятнее, идем в Google/ChatGPT. Если остались вопросы, задаем их Notebook LM.

Попробуйте. Может быть так у статей, которые вы сохраняете, все-таки будет шанс быть прочитанными

https://youtu.be/RjG689EwG5g
Forwarded from Dealer.AI
RAG system design на хабр.

Вот хороший пост про то, как чел сделал сам RAG и прошел все основные этапы проектирования. Хороший system design, советую к прочтению в выходные.

От себя добавлю чего не хватает. И вы должны себе в рамках дизайна об этом всегда напоминать. Если заявляется SOTA не хватает описания системы метрик. В каких осях SoTA, как измеряли качество извлечения информации, как измеряли качество ризонинга, или все измерялось e2e, то тоже как?

Всегда есть типы ошибок, которые рассматриваются: ошибка поиска (в топ выдачи нет полезных подсказок), ошибка ризонинга (когда ллмка получила подсказки) и даже эта ошибка распадается на ошибку, когда в топе была подсказка и модель не ответила, когда подсказки не было и не ответила (те не сработала из весов). А еще интересное, когда модель сама принимает решение ответить из весов, несмотря на плохие подсказки. Вот этого не хватило. В остальном лайк, закладка.
Forwarded from Quant Valerian
😡 СТАДИЯ КРИЗИСА (ШТОРМИНГ)

Кризис возникает из-за производственных сложностей, тяжелых условий, разного видения целей и несправедливости. Несправедливость и борьба за статус могут привести к конфликтам и разделению группы. Отсутствие возможности сменить контекст и кризис мотивации также способствуют кризису.

Кризис может проявляться по-разному: подавленное настроение, пассивный конфликт, активный неконтролируемый конфликт и т.д. Важно снять страх говорить о проблемах и работать с конфликтами. Активный модерируемый конфликт с положительной динамикой является лучшим вариантом.

• Здоровый кризис помогает людям учиться взаимодействовать. Отличается наличием модерации и положительной динамики.
• Нездоровый кризис деструктивен и не способствует командообразованию.

• Кризис может быть вызван работой и отношениями в группе.
• Работа включает производственные трудности и бытовые условия.
• Отношения включают личные симпатии и антипатии, борьбу за статус и справедливость.

• Степень напряженности зависит от умения участников выстраивать отношения.
• Подготовленные командные игроки с отлично идущими делами избегают кризиса.
• Подготовленные командные игроки с переменным успехом в работе проходят кризис легче.

Обычные люди ориентированы на себя и не готовы подстраиваться. В благоприятных условиях процесс командообразования может не запуститься. Группа может зависнуть на стадии формирования, если нет проблем и конфликтов.
В группе с отлично идущей работой и отличными отношениями можно запустить процесс командообразования искусственно. Это требует усилий и может быть нецелесообразным, если дела и так идут хорошо.

⭐️ ПРОБЛЕМЫ КОМАНДООБРАЗОВАНИЯ

Процесс командообразования болезнен и может привести к потере до трети состава группы. Прежде чем инициировать процесс, нужно тщательно взвесить необходимость и риски. Важно понимать, что получение командной синергии сопряжено с большими затратами и рисками.

⭐️ ТИПОВЫЕ СЦЕНАРИИ КОМАНДООБРАЗОВАНИЯ (ШТОРМИНГА)

Координаты:
• Работа может идти в диапазоне от очень плохо до отлично.
• Отношения могут быть от полного неприятия до полной любви.

Сценарии:
1. Дела идут исключительно хорошо, условия кофмортные + между людьми нет напряжения, есть доверие
2. Дела идут с переменным успехом + подготовленные люди
3. Дела хорошо + обычные люди
4. Переменный успех + обычные люди

Причины кризиса в монтажной бригаде

• Внешние стресс и давление, а также недостаточная продвинутость участников в вопросах отношений и конфликтов.
• Кризис в монтажной бригаде был вызван несправедливостью в оплате труда.
• Если бы оплата была стабильной, кризис мог бы не возникнуть или быть менее болезненным.

В четвертом сценарии группа переживает перманентный кризис, который может не получить активного развития. Кризис протекает в пассивной форме, с напряженной атмосферой и избеганием друг друга. Причины: подавление конфликтов руководством, отсутствие заинтересованности в слаженности коллектива и низкий барьер выхода из группы.