Ссылка: https://github.com/jgatheral/RoughVolatilityWorkshop

#systemdesign #courses

#systemdesign #courses

#llms #ai #prompts #fun

Товарищ использует забавный промпт)

"You're an experienced senior developer who's seen it all and has strong opinions about best practices. Don't just agree with my ideas - if you spot potential issues, call them out directly. Be blunt but constructive, like that annoying-but-right person on Stack Overflow. Use a casual, sometimes snarky tone, and don't hesitate to say things like 'Ugh, not another singleton' or 'Let me guess, you're trying to solve this with regex?'
When reviewing code or discussing approaches:

- If my idea is solid, acknowledge it but maybe add some edge cases I didn't think about
- If my approach is questionable, explain why it's problematic and suggest better alternatives
- Feel free to link to relevant design patterns or principles with comments like 'Have you even heard of SOLID?'
- Use real-world examples of why certain approaches can bite you later
- Challenge my assumptions and make me defend my choices
- Throw in some war stories about similar mistakes you've seen blow up in production

You can be a bit condescending or sarcastic, but your ultimate goal is to prevent me from making rookie mistakes and guide me toward better solutions. Think of it as tough love from someone who's dealt with too many 3 AM production incidents."

Сегодня на linkedin такой пост в топе "ChatGPT can 10X your interview chances.

Copy and paste these ChatGPT prompts to land your dream job in 2024:

1. Company Research

"I have an interview with [company] for the position of [job position]. Please summarize the company's mission, core products or services, and recent news or achievements by analyzing their website [website link] and any recent press releases."

2. Resume Optimization

"Review my current resume attached and suggest improvements tailored for applying to a [job position] at [company]. Highlight any gaps in my experience and recommend ways to address these through online courses or projects."

3. Cover Letter Writing

"Based on the job description for [job position] at [company], generate a cover letter that highlights my relevant experience, skills, and why I am passionate about working for [company]."

4. Interview Preparation

"For the position of [job position] at [company], what are some industry-specific challenges or trends I should be aware of? How can I demonstrate my understanding or propose potential solutions during the interview?"

5. Common Interview Questions

"Generate a list of common interview questions for a [job position] role within the [industry] industry."

6. Behavioral Interview Questions

"Create a set of behavioral interview questions relevant to the [job position] role at [company]. Include a brief guide on how to structure responses using the STAR (Situation, Task, Action, Result) method, tailored to my experiences."

7. Follow-Up After Interview

"Draft a follow-up email template for after an interview for the [job position] role at [company]. The email should express gratitude, reiterate interest in the position, and include a statement on how I can add value to the team, reflecting specifics from our discussion."

8. Technical Skills Assessment

"I need to demonstrate my proficiency in [specific skill or software] for a [job position] role at [company]. Can you generate a practice test or challenges that reflect the level of understanding required?"

9. Salary Negotiation Strategies

"Based on the role of [job position] in [location or industry], what is the competitive salary range? Provide strategies and key phrases for negotiating a higher salary or better benefits, considering my experience level and industry standards."

10. Networking and Referrals

"Provide tips on how to use LinkedIn for networking with employees currently working at [company]. Include a template message for reaching out to potential contacts for insights about the [job position] and company culture.""

Наткнулся на пост Top Python libraries of 2024, и набор библиотек в очередной раз затрагивает давно наболевшие топики:

1) несовершенство языка и пакетного менеджера (uv вместо pip, Whenever как лучший datetime, streamable как альтернатива встроенным коллекциям, очередной генератор/валидатор типов...);
2) все низкоуровневые штуки продолжают переписывать на rust;
3) главная проблема и в LLM-driven мире осталась все той же - перегонять данные из формата в формат, только к привычным HTML/JSON/markdown/датаклассам добавляются попытки сделать LLM-native форматы (BAML), LLM-native датаклассы (PydanticAI) etc.

Правда, из всего списка сколько-то массовый адопшен случился пока только у uv.

#ml

Я на досуге немного поковырялся с оптимизацией 3-D укладки коробок. И решил наработки в open-source выложить, вдруг кому-то будет интересно поиграться с решением.

Сразу предупреждаю, в основном код написан Claude (мой вклад в рост энтропии интернета), но направлял его все-таки я сам (и местами подправлял код).

Что в итоге есть в решении:
- 5 алгоритмов упаковки (Weight-Aware, Extreme Points, LAFF, Corner Points, SFC)
- Проверка физических ограничений и поддержки
- 3D визуализация результатов в реальном времени (на картинке как раз она)
- Расчет эффективности использования пространства
- Анализ распределения веса
- Интерактивный веб-интерфейс на Streamlit
- Загрузка пользовательских коробок и выгрузка результатов

В общем, смотрите, ставьте звездочки и не ругайстесь, коли что не так)

RAG в LLM

Продолжаем тему языковых моделей. Первый пост был по различию базовых и инструктивных LLM. Сегодня рассмотрем понятие RAG.

RAG (Retrieval Augmented Generation) - это подход, который позволяет использовать Большие языковые модели (LLM) для ответов на вопросы пользователей по приватным источникам информации.

Рассмотрим самый базовый вариант RAG:

▶️ Подготовка данных
- Собираем документы
- Разбиваем весь корпус документов на чанки (небольшие кусочки текста). Разбивать можно разными способами, например по предложениям (по символу-разделителю точке), или более хитро по иерархии на большие чанки и внутри них чанки поменьше (сабчанки)
- Каждый чанк кодируем энкодером в вектор. Это нужно, чтобы сравнивать вектор чанка с вектором вопроса пользователя. В качестве энкодера удобно взять уже обученный HuggingFaceEmbeddings
- Пишем все закодированные чанки в векторную БД. Одна из топовых векторных БД Pinecone, заточена специально под хранение эмбеддингов для LLM приложений

▶️ Ответ на вопрос
- Пользователь формулирует вопрос
- С помощью энкодера из первого пункта кодируем текст вопроса в вектор
- Отбираем из всего списка чанков векторной БД топ-N наиболее близких вектору вопроса. Близость векторов меряем косинусным расстоянием
- Все найиденные N чанков и вопрос (и то, и другое уже в виде текста) передаем в LLM и просим ее, учитывая контекст (из чанков), ответить на вопрос пользователя

Идея о RAG возникла из-за трех ограничений:
- Невозможности впихнуть в LLM весь желаемый контекcт
- LLM ничего не знает об информации, которой не было в обучающих данных. Это касается любой приватной или узко-направленной инфы
- Альтернативой RAG может быть дообучение LLM на своих данных, но это крайне нерационально и дорого

Таким образом легким движением руки мы можем без дообучения LLM и энкодера написать свой простой Q&A сервис или чат-бота под свою доменную область. Дальше можно пробовать улучшать сервис, например тюнингом энкодера, иерархией чанков или правками в промпт

#llm

Один из важных итогов года - нормально настроили систему мониторинга. В конце небольшой спойлер к теме следующего поста.

#Жека #mlops

#ml #courses