Forwarded from BOGDANISSSIMO
Ilya Sutskever – сооснователь OpenAI, ведущий исследователь в области AI, создатель ChatGPT и просто человек, формирующий наше будущее.
https://youtu.be/SjhIlw3Iffs
Из интересного:
• Next thing prediction is all you need. Ещё недавно все носились с идеей, что обучение без учителя – Грааль машинного обучения, а сегодня задача решена полностью, и об этом никто даже не говорит.
• Наши представления о границах больших языковых моделей меняются из года в год, и мы забываем, насколько сильно.
• Большие языковые модели уже понимают весь мир и все процессы в нём, и отдельная задача: как достать из эти знания из них.
• Подавать картинки на вход модели (делать её мультимодальной, как GPT-4) – помогает быстрее понять отдельные концепты, но не необходимо.
• Предстоящие вызовы: как учить модели понимать всё больше, используя всё меньше данных?
• Будущая роль ИИ в принятии политических и экономических решений. Люди будут голосовать не за партии, а за алгоритмы.
Extremely valuable to watch.
#interview #youtube #ai #ml #chatgpt #gpt3 #gpt4 #openai
https://youtu.be/SjhIlw3Iffs
Из интересного:
• Next thing prediction is all you need. Ещё недавно все носились с идеей, что обучение без учителя – Грааль машинного обучения, а сегодня задача решена полностью, и об этом никто даже не говорит.
• Наши представления о границах больших языковых моделей меняются из года в год, и мы забываем, насколько сильно.
• Большие языковые модели уже понимают весь мир и все процессы в нём, и отдельная задача: как достать из эти знания из них.
• Подавать картинки на вход модели (делать её мультимодальной, как GPT-4) – помогает быстрее понять отдельные концепты, но не необходимо.
• Предстоящие вызовы: как учить модели понимать всё больше, используя всё меньше данных?
• Будущая роль ИИ в принятии политических и экономических решений. Люди будут голосовать не за партии, а за алгоритмы.
Extremely valuable to watch.
#interview #youtube #ai #ml #chatgpt #gpt3 #gpt4 #openai
YouTube
The Mastermind Behind GPT-4 and the Future of AI | Ilya Sutskever
In this podcast episode, Ilya Sutskever, the co-founder and chief scientist at OpenAI, discusses his vision for the future of artificial intelligence (AI), including large language models like GPT-4.
Sutskever starts by explaining the importance of AI research…
Sutskever starts by explaining the importance of AI research…
Forwarded from New Yorko Times (Yury Kashnitsky)
О гномиках и литкоде на собесах
#interview #tips #career
Никто не спрашивал, поэтому вот мои рассуждения про отличие олимпиадных математических задач (“гномиков”) от алгоритмических и задач про структуры данных (”литкод”). А то бывает, сетуют на литкод и обзывают его “гномиками”.
“Гномиками” будем называть далекие от практической пользы задачи типа этой, ставшей классической. Еще типичная: есть там остров, бревно, по нему может с фонарем пройти только один человек, папа за 2 минуты, мама за 3., и т.д., за сколько все семейство переберется (немало такого было в моей истории про самый упоротый собес, а также в посте про Санька с Wall Street).
При всем уважении к олимпиадникам и всесторонне развитым людям, гномики - это мало кому нужный мозгодроч, заниматься этим можно в рамках кружка-квадратика юных математиков, чтоб тебя называли сыном маминой подруги. Ну и для персонального развития. А карьере SWE/DS никакого отношения не имеет, даже Гугл подтвердил, что корреляции riddle performance с продуктивностью кандидата – нет (“In Google we analyse everything with data, and what we discovered was that when we examined our brain-teasers, they weren’t a good predictor at all in terms of whether someone would be a good hire or not. So we don’t do them anymore”). Если тебе задают гномика на собесе, смотришь че за компания. Если The Only One - ты должен был знать заранее и ботать гномиков. Если нет - вежливо посылаешь нах, запасные варианты всегда должны быть.
Пример гномика: докажите, что между 100500 и Гуголплекс не менее Гугол простых чисел.
Алгоритмы и структуры данных - это совсем другое, основа основ для любого человека, пишущего код. Например, если ты не знаешь, что lookup в списке не надо делать, а в множестве – можно, то тебе будет тяжело писать эффективный код. Будешь продакту мямлить: “нужно еще пару недель, все работает, но выжирает всю память”. Еще пример из жизни: в телекоме соседний отдел оптимизировал прокладку оптоволокна, решал задачу на графе и вместо алгоритма Беллмана-Форда запускал Дейкстеру для каждой пары вершин. Коллега пришел все пофиксить, но утонул в легаси. В итоге в паре мест поменял списки на множества, шесть строк переписал на нумбу, good enough (возможно, нам все еще дейкстра по всем парам бегает). Так что базовые вопросы по алгоритмам и структурам данных – вполне неплохая идея при отборе любых спецов, пишущих код.
Пример: реализуйте Python-класс Очередь с такими-то базовыми операциями.
Если ты подобные вопросы помечаешь у себя в голове тегом «гномик» - это самообман. Можно делать свой фит-предикт и ждать, когда Generative AI вытеснит тебя из профессии.
#interview #tips #career
Никто не спрашивал, поэтому вот мои рассуждения про отличие олимпиадных математических задач (“гномиков”) от алгоритмических и задач про структуры данных (”литкод”). А то бывает, сетуют на литкод и обзывают его “гномиками”.
“Гномиками” будем называть далекие от практической пользы задачи типа этой, ставшей классической. Еще типичная: есть там остров, бревно, по нему может с фонарем пройти только один человек, папа за 2 минуты, мама за 3., и т.д., за сколько все семейство переберется (немало такого было в моей истории про самый упоротый собес, а также в посте про Санька с Wall Street).
При всем уважении к олимпиадникам и всесторонне развитым людям, гномики - это мало кому нужный мозгодроч, заниматься этим можно в рамках кружка-квадратика юных математиков, чтоб тебя называли сыном маминой подруги. Ну и для персонального развития. А карьере SWE/DS никакого отношения не имеет, даже Гугл подтвердил, что корреляции riddle performance с продуктивностью кандидата – нет (“In Google we analyse everything with data, and what we discovered was that when we examined our brain-teasers, they weren’t a good predictor at all in terms of whether someone would be a good hire or not. So we don’t do them anymore”). Если тебе задают гномика на собесе, смотришь че за компания. Если The Only One - ты должен был знать заранее и ботать гномиков. Если нет - вежливо посылаешь нах, запасные варианты всегда должны быть.
Пример гномика: докажите, что между 100500 и Гуголплекс не менее Гугол простых чисел.
Алгоритмы и структуры данных - это совсем другое, основа основ для любого человека, пишущего код. Например, если ты не знаешь, что lookup в списке не надо делать, а в множестве – можно, то тебе будет тяжело писать эффективный код. Будешь продакту мямлить: “нужно еще пару недель, все работает, но выжирает всю память”. Еще пример из жизни: в телекоме соседний отдел оптимизировал прокладку оптоволокна, решал задачу на графе и вместо алгоритма Беллмана-Форда запускал Дейкстеру для каждой пары вершин. Коллега пришел все пофиксить, но утонул в легаси. В итоге в паре мест поменял списки на множества, шесть строк переписал на нумбу, good enough (возможно, нам все еще дейкстра по всем парам бегает). Так что базовые вопросы по алгоритмам и структурам данных – вполне неплохая идея при отборе любых спецов, пишущих код.
Пример: реализуйте Python-класс Очередь с такими-то базовыми операциями.
Если ты подобные вопросы помечаешь у себя в голове тегом «гномик» - это самообман. Можно делать свой фит-предикт и ждать, когда Generative AI вытеснит тебя из профессии.