Люди за это деньги платят

"Не используйте технологию в продукте только потому, что это круто!"

Некоторые ML инженеры имеют черту усложнять решение проблемы с самого начала. В контексте LLM они сразу же хотят утонуть в файн тюнинге... Подбор гиперпараметров, наблюдать за validation loss и чистить датасеты!!! ведь это и есть настоящая ЭЙАЙ наука, скажут они.

По факту, в контексте LLM, в большинстве случаев это over-engineering, то бишь использование огромной кувалды для забивания гвоздиков.

Предлагаю свой ментальный фреймворк для решения задач любого типа:

Шаг 0.
Ты уверен, что хочешь спуститься в бездну галлиционирющих ЛЛМ? Может быть задача решается с помощью regex или обычной проги?
Если да, то можешь смотреть прикреплённую блок-схему.

<смотрит блок схему 🤔>

<досмотрел, ставит огонёчек, репостит>

TL;DR

Тюнить модель != RAG

когда вы тюните модель вы изменяете параметры нейронной сети, во время RAG вы просто обогащаете контекст модели

Ты не хочешь тюнить большую языковую модель, поверь мне!!!
- Поддержка продукта построенного над натюненой моделью будет куда более комплексной чем использование API
- Подготовить хороший датасет это дни или недели скучнейшей работы
- Тренировка стоит деньги, например H100 сейчас стоит 3$ в час, это несколько десятков миллионов input токенов для gemini
- Скорее всего ты просто сломаешь модель и она станет тупее первого grokа
- Если что-то выглядит/звучит круто, это не значит, что это стоит сразу же применять
- Через 4 месяца выходит новая модель, будешь всё перетюнивать?

#ai #dev_help

@makebugger

Стартапы это очень крутой опыт прокачаться как инженер, понять как устроен айти бизнес, разобраться с инвестиционными терминами и обзавестись кучей связей с заряженными людьми.

Если вы в начале своей карьеры, то однозначно рекомендую стартап (желательно с американским юр лицом) по нескольким причинам:

1. Ты станешь швейцарским ножом который сегодня пишет код, завтра принимает участие в общении с клиентом на user interview, а послезавтра общается с PMом о том какие фичи стоит добавить в следующий релиз. Ты будешь понимать как устроен весь цикл разработки продукта.

2. Ты понимаешь как устроены стартапы и венчурные инвестиции, что такое pre-seed, seed, series A, как работают stock options и почему важно знать vesting period. (ниже будет словарик терминов)

3. Связи, пожалуй самая важная причина присоединиться к стартапу, окружи себя крутыми инженерами с бизнес майндсетом и забудь про то, что работу надо искать на linkedin или hh, самые жирные вакансии заполняются через сарафан и обычно не доходят до размещения на этих платформах.

Моё предположение, что на моей нынешней работе мне накинули ~1k $ только из-за того, что в стартапе где я работал до этого у меня была хорошая репутация 🤫, а в Чехии/Словакии все фаундеры друг друга знают и все +- друг про друга слышали, так и накинули косарик по блату.

Небольшой словарик терминов, как обещал:

• pre-seed – самый первый раунд инвестиций, обычно выдаётся тупо на то, чтобы вы проверили идею и попробовали найти клиента, самое главное набрать крутую команду, от этого зависит успех нормального pre-seedа

pre-seed не выдаётся на продукт, можете иметь какую угодно идею, если VC/angel investor вас не знает, стартаповского опыта у вас нет, а команда состоит из ноу неймов, то получить деньги на первый рывок будет сложновато.

обычно 500k-1kk$

звучит как будто это много денег, но это тратится на зарплаты, разработку и первые маркетинговые потуги, runway обычно на год-два.

• VC - venture capital или венчурный капиталист – инвестиционный фонд, вкладывающий деньги в стартапы, обычно в 30-50 штук, надеясь, что чтото да выстрелит, один из самый популярных фондов это YC. Вы прямо сейчас можете подать туда заявку :)

• angel investor - частное лицо, вкладывающее свои собственные деньги. Обычно это те, кто уже успешно экзитли (exit) из своих стартапов и теперь хотят поиграть в инвесторов или просто очень богатые люди которым интересен айти рынок.

• runway - это важный показатель который должны сообщать всем совладельцам компании на каждом all hands🙌🏿 созвоне. Означает этот показатель сколько месяцев ваш стартап протянет на текущих деньгах до банкротства.

runway = кол-ва денег в банке / на месячный money burn rate


Фууф, что-то я разогнался.. продолжать или утомил вас этими амерскими словечками..? Интересна вообще эта тема🔥?

#startup

@makebugger