398 subscribers
229 photos
47 videos
11 files
308 links
Data Engineering Technologies.
SQL, Python, Kafka, Spark, Pandas, Airflow, Clickhouse, Greenplum, Postgres, dbt

Буст канала тут - https://t.me/boost/data_engi
Download Telegram
Please open Telegram to view this post
VIEW IN TELEGRAM
DE
#meme #ai #llm
😁102👏1
Forwarded from Machinelearning
🖥Бывший инженер OpenAI опубликовал редкий взгляд изнутри: что значит работать в самой обсуждаемой AI-компании мира.

Он провёл 14 месяцев в applied-команде, разрабатывая Codex — кодинг-агента, который за 7 недель прошёл путь от первой строки к публичному запуску. Он работал на Python, жег огромные GPU-бюджеты, спринтил с командой почти без выходных.

Автор уволился,чтобы сделать свой проект, но называет этот год самым интенсивным и полезным в карьере.

🚀 Рост компании
За год OpenAI выросла с 1000 до 3000 человек. Внутренние процессы постоянно перестраиваются, для разрабов Slack стал полноценным «офисом», а почта почти исчезла из работы.

В командах идеи идут снизу вверх — и кто первым закомитит свой код, тот и задаёт стандарт. Главная метрика успеха — не презентации, а работающий код.

🖥 В OpenAI Python везде:
Codex - это огромный монорепозиторий почти целиком сотоязий из Python кода. Все сервисы поднимаются через FastAPI, а данные проходят через Pydantic — это даёт простую валидацию и ускоряет разработку. В проекте есть немного Go и Rust в основном в сетевых компонентах, но это редкие исключения.

🔜 Кодинг на пределе
Codex сделали крошечной командой за 7 недель. Автор вспоминает бессонные ночи, утренние подъёмы и выходные в офисе. Команда была сильной, многие ушли от Цукерберга к Сэме— и это чувствуется по уровню инфраструктуры.

OpenAI —выгладит как странный гибрид: он подобен научному центру в стиле Лос-Аламоса, который случайно сделал самый хайповый продукт десятилетия. . Руководство комании активно отвечает в Slack, 600 000+ pull request'ов за 53 дня после запуска Codex!

OpenAI — это не просто «компания создавашая GPT». Это лаборатория, где безумная скорость сочетается с реальным и крутым продуктом. Они не боятся выкатывать новые фичи, не скрывают свой хаос и делают очень много интересного. Не идеальная система, но там правда делают вещи.

👉Полную статью можно почитать -здесь

@ai_machinelearning_big_data


#openai #ai #ml #llm #chatgpt
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥7😁1
В полку AI IDE прибыло –Amazon выпустили своего конкурента Cursor https://kiro.dev/

UPD: я упустил еще одну IDE'шку https://www.trae.ai/🤯

Теперь у нас есть на выбор Cursor, Windsurf, Kiro, Trae и Claude Code.

Посмотрим, как рынок поделится через год (когда у меня истечет подписки на Cursor😂). Но вовлеченность бигтехов в эту движню намекает на перспективность направления.

Например, вот тут
https://research.google/blog/ai-in-software-engineering-at-google-progress-and-the-path-ahead/

Google репортит, что уже около 50% их кодовой базы пишется AI – либо через автокомплиты (они меряют рейт принятия комплитов от AI и попадания этого кода в финальный коммит), либо полностью агентами.

Я думаю, время быть скептичным прошло. А вы уже ускоряете свои процессы с помощью AI?

К слову, отмазы про "у нас тут NDA и мы не дадим коду утечь" тоже больше не работают. На днях релизнули Kimi K2

https://moonshotai.github.io/Kimi-K2/

Это опенсорсная кодинг-модель, которая делает (по бенчам) все аналоги сейчас. В общем, все карты уже у нас в руках, пора ускоряться)
❤‍🔥5😁2
Кто-то считает DjangoORM злом, а я думаю, что инструментом просто надо уметь пользоваться. А т.к. это обёртка над другой технологией, то надо разбираться и в ней. Вот хорошая и лёгкая для чтения статья как в действительности DjangoORM работает с БД. Приведены некоторые оптимизации, нюансы использования и т.п. Хороший кандидат, кстати, для перевода на Хабр.

Но не нужно применять все эти хаки постоянно. ИМХО, они нужны больше для оптимизации - когда действительно что-то идёт не так. Какая разница сколько у вас индекс весит, если база нагружена на 20% и свободного места ещё 100Gb.

https://hakibenita.com/django-foreign-keys #python
👏5😁1
Forwarded from Дорога жуков
Смысл накопления опыта не в накоплении лет в резюме, а в накоплении контактов людей, которые будут рады снова трудиться вместе с вами.
💯5❤‍🔥4👏3😁2
TDD - это не про тесты. Это про проектирование кода через маленькие, проверяемые шаги.

▶️

📕 Что такое TDD - Test-Driven Development?
Это подход, при котором ты сначала пишешь тест, потом минимально необходимую реализацию, чтобы он прошёл, и только потом улучшаешь код (рефакторинг).
Цикл: Red ➡️ Green ➡️ Refactor.

▶️▶️

Почему TDD работает?

🔵Ты проектируешь API до реализации.
Тест диктует интерфейс - это помогает избежать перегрузки и излишней сложности.
🔵Ты не боишься ломать.
Всё покрыто тестами, любые изменения сразу видны.
🔵Меньше багов, меньше дебага.
Ты фиксируешь поведение до появления ошибки.
🔵Ты быстрее. Серьёзно.
Нет долгого "а как бы это протестировать?" Т.к. ты уже всё продумал.

▶️▶️▶️

Когда TDD - кайф?

😀 При разработке библиотек, критичного бизнес-логики, API
😀 Когда нужно держать высокую скорость изменений
😀 Если хочешь писать читабельный и тестируемый код "сразу правильно"

▶️▶️▶️▶️

Когда TDD - боль?

✖️ Прототипы или throwaway-код
✖️ UI/UX, где поведение постоянно меняется
✖️ Если ты не умеешь писать простые, изолируемые тесты

▶️▶️▶️▶️▶️

Заключение:

TDD - это как шахматы с кодом. Каждый шаг обдуман. Код становится не просто рабочим, а внятным и надёжным.
Не потому что ты добавил тесты, а потому что ты думал перед тем, как писать.

▶️▶️▶️▶️▶️▶️

Хочешь пример TDD на Python? Ставь 🔥

#TDD
Please open Telegram to view this post
VIEW IN TELEGRAM
12❤‍🔥1😁11
У Яндекса теперь есть веб-версия Алисы:
👉 alice.yandex.ru

✔️ Работает без VPN, просто заходишь и общаешься.

✔️ Понимает голос

✔️ Умеет рассуждать (можно выбрать, как именно - попроще или посложнее)

✔️ Ищет в интернете

✔️ Работает с файлами и картинками

✔️ Может сама рисовать изображения


В основе новая версия YandexGPT (Lite или Pro). Работает шустро, удобно и на русском.

#Яндекс #Алиса #yandexGPT
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥5😁2
DE
TDD - это не про тесты. Это про проектирование кода через маленькие, проверяемые шаги. ▶️ 📕 Что такое TDD - Test-Driven Development? Это подход, при котором ты сначала пишешь тест, потом минимально необходимую реализацию, чтобы он прошёл, и только потом…
Спасибо за огоньки, лови пример TDD.

Сначала напишешь тест, потом минимальный код, потом рефакторинг. Всё сделаешь малыми шагами.

〰️〰️〰️〰️〰️〰️〰️〰️

Допустим, ты хочешь реализовать функцию is_prime(n), которая определяет, простое ли число.


🧪 Шаг 1. Пишешь провальный тест (Red)

# test_math_utils.py

import pytest
from math_utils import is_prime


def test_two_is_prime():
assert is_prime(2) is True

Тест упадёт, потому что math_utils.py и is_prime ещё не существуют.

〰️〰️〰️〰️〰️〰️〰️〰️

✔️ Шаг 2. Пишешь минимальную реализацию (Green)

# math_utils.py

def is_prime(n: int) -> bool:
return True # пока просто чтобы тест прошёл

Теперь test_two_is_prime пройдёт, но код заведомо неправильный.

〰️〰️〰️〰️〰️〰️〰️〰️

🧼 Шаг 3. Добавляешь ещё тестов и улучшаешь код (Refactor)

# test_math_utils.py

import pytest
from math_utils import is_prime


def test_two_is_prime():
assert is_prime(2) is True


def test_three_is_prime():
assert is_prime(3) is True


def test_four_is_not_prime():
assert is_prime(4) is False


def test_one_is_not_prime():
assert is_prime(1) is False

Теперь текущая реализация return True уже не прокатит - тесты ломаются.

〰️〰️〰️〰️〰️〰️〰️〰️

⚙️ Шаг 4. Пишешь реальную реализацию, чтобы пройти все тесты

# math_utils.py

def is_prime(n: int) -> bool:
if n < 2:
return False
for i in range(2, int(n ** 0.5) + 1):
if n % i == 0:
return False
return True

✔️ Все тесты зелёные.

🙂🙂🙂🙂🙂🙂🙂🙂

🧠 Что ты получил?

🔘Писал по одному тесту, каждый раз с минимальными правками кода

🔘Итерации были маленькими и осмысленными

🔘Получил рабочую и протестированную функцию

И не пришлось гадать, где баг, т.к. ты строил поведение заранее.

*️⃣*️⃣*️⃣*️⃣*️⃣*️⃣*️⃣*️⃣

Хочешь посмотреть на организацию тестов с помощью параметризации pytest?
Накидай ещё огоньков 🙃

#TDD #py
Please open Telegram to view this post
VIEW IN TELEGRAM
9❤‍🔥5😁11
This media is not supported in your browser
VIEW IN TELEGRAM
LikeC4 - инструмент архитектура-as-code с живыми диаграммами, где единая модель в коде автоматически преобразуется в актуальные схемы в различных форматах без ручного обновления.

1️⃣ Что такое LikeC4?
LikeC4 - это набор инструментов и специализированный язык (DSL) для описания архитектуры в виде единой модели, которая компилируется в несколько диаграмм. Твой код становится единственным источником правды: любое изменение здесь автоматически отражается на диаграммах, устраняя проблему устаревших схем.


2️⃣ Основные возможности

🔘Трансформация кода в диаграммы: разработка через код с поддержкой IDE, автоматическая перезагрузка при изменениях и генерация статического сайта.

🔘Встраивание: React-компоненты и Web Components для интеграции архитектурных схем прямо на твой сайт.

🔘CI/CD и API: командная строка и GitHub Actions для автоматической сборки, а также API для обхода модели и экспорта в PNG, Mermaid, D2, DOT, PlantUML и другие форматы.

3️⃣ Почему именно like?
Название отражает вдохновение C4 Model и Structurizr DSL, но с расширенной гибкостью: ты можешь определять собственные термины, нотации, типы элементов и любое число вложенных уровней в модели.

4️⃣ Синтаксис и пример

specification {
element actor {
style { shape person }
}
element system
relationship async
}
model {
customer = actor 'Customer' {
-> ui 'opens in browser'
}
cloud = system 'Our SaaS' {
backend = component 'Backend' { icon tech:graphql }
ui = component 'Frontend' { style { icon tech:nextjs } }
}
ui -[async]-> backend 'requests via HTTPS'
}
views {
view index {
include *, cloud.*
style cloud.* { color green }
}
}

Такой код становится твоей живой архитектурой, а командой likec4 start ты поднимаешь сервер предпросмотра с обновляемыми схемами на лету.

5️⃣ Как начать работу

🔘 Установите CLI:

npm install -g likec4

🔘 Инициализируй проект и запусти локально:

npx likec4 init my-architecture
cd my-architecture
npx likec4 start

🔘Кайфуй от интерактивного рендера.

#architect #likec4
Please open Telegram to view this post
VIEW IN TELEGRAM
4👏2❤‍🔥1
Принёс тебе шпаргалку по циклам на bash

#bash #loops
9
Forwarded from Сиолошная
Media is too big
VIEW IN TELEGRAM
Unitree представили нового робота, Unitree R1 Intelligent Companion. Цена от $5900, вес всего 25 килограмм. Лендинга пока нет (блин, а я бы прямо сейчас тыкнул в предзаказ...).

Манёвренность поражает — вместо робопса рядом с вами по улице теперь сможет передвигаться ЭТО на руках.

Твит с анонсом
5👏2❤‍🔥1
ChatGPT agent reasoning about clicking “I’m not a robot”
😁8
Forwarded from Время Валеры
Закончил слушать подкаст History of Rome — 72 часа подробного пересказа истории Римской империи: от основания до условного падения её Западной части.
Последние 80 лет империи звучат как пример корпоративной шизофрении в ее худшем проявлении: всё хуже, чем раньше, исправить можно, но вместо этого — подставляем друг друга и, из зависти к успешным, гадим им. Времена идут, но база остаётся прежней.

Лучший момент подкаста — слова Суллы о Цезаре:
«Вы ничего не понимаете, если не видите, что в этом мальчишке — много Мариев».

На втором месте — Диоклетиан, который после 20 успешных лет предпочёл выращивать капусту вместо безграничной власти и не поддался уговорам вернуться.

И, конечно, интересная мысль: если бы германцев в V веке допустили к императорской власти так же, как иллирийцев в III, они вполне вероятно спасли бы империю, как когда-то сделали иллирийцы.
👏82❤‍🔥1
Forwarded from Сиолошная
Лёд тронулся, господа — WIRED пишет, что Meta планирует позволить кандидатам использовать ИИ во время собеседований по программированию.

— начать планируется не со всех должностей, требующих навыки программирования
— компания также предлагает существующим сотрудникам добровольно пройти «тренировочное собеседование с использованием ИИ-инструмента». Насколько я могу представить, это нужно для обкатки процесса, выявления лучших задач для интервью, лучших форматов, калибровки сложности, итд.
— представители компании заявили, что «это более соответствует среде разработки, в которой будут работать наши будущие сотрудники, а также делает мошенничество на собеседованиях менее эффективным»

Сам топик предоставления ИИ-инструментов для собеседований вызывает споры повсеместно. Оно и ясно — опытные программисты опасаются, что следующее поколение программистов будет больше склонно к «промптингу» и «вайбам», чем к непосредственно Software Engineering, и что они могут не знать, как устранять баги и проблемы в коде (который они же и сгенерировали).

Тут я на стороне прогресса — интервью точно должны измениться (привет, Cluely, и спасибо вам), и рад, что инициатива уже есть. В хорошие компании вне-FAANG собеседования уже несколько лет как ушли от «вот вам задача с литкода» к двум-трём более крутым, по моему мнению, типам:
— быстро разобраться в большом куске кода и сделать новую фичу
— найти и исправить баг(и) в предоставленном коде
— прочитать статью и имплементировать часть функционала / обсудить техническую составляющую

Все три гораздо ближе к той работе, которую приходится делать. При этом я прекрасно понимал, почему FAANG выбрал именно задачки на алгоритмы — им нужно масштабируемое решение с консистентной оценкой и минимумом субъективщины, да ещё и позволяющее оценить упорство в достижении цели. Я бы сказал, что это худший тип собеседований, если не считать всех других. Рад, что с приходом AI мы сможем подвинуть планочку поближе к real world tasks.
7👏2❤‍🔥1
Сиолошная
Лёд тронулся, господа — WIRED пишет, что Meta планирует позволить кандидатам использовать ИИ во время собеседований по программированию. — начать планируется не со всех должностей, требующих навыки программирования — компания также предлагает существующим…
ИИ на интервью — это не шорткат, а приближение к реальной среде: мы ведь с ИИ и работаем. Если ты не можешь дебажить, понимать чужой код и делать фичи в команде — ты и с GPT далеко не уедешь. Поэтому хорошо, что Meta двигает планку туда, где уже давно живут хорошие команды вне FAANG.

#ai #llm #interview
❤‍🔥6
Дорога жуков
Банк работает по принципу частичного резервирования. То есть, банк обязан в любой момент времени иметь денег для выдачи вкладчикам не менее ИКС процентов. Допустим, 10%. Клиент 1 положил в банк 100 рублей. Клиент 2 взял в кредит 90 рублей. 10 рублей осталось в банке - то самое частичное резервирование.

Далее оба клиента планируют свои покупки. 1й опирается на наличие у него резерва в 100 рублей. 2й - на наличие кредита в 90 рублей. То есть, они создают такой суммарный спрос, как будто у них на двоих есть 190 рублей. Количество товаров при этом не выросло от выдачи кредита. А спрос вырос. Это и есть инфляция.

На практике, все сложнее. Клиентов миллиарды. Банков тысячи. Деньги перемещаются по сложным маршрутам. Но если ваша интуиция подсказывает вам, что при масштабировании такого простого примера ничего доброго не выйдет, то ваша интуиция права. Финансовая грамотность не менее важна, чем техническая. Заработать ЗП это только полдела. Вторая половина - сохранить заработанное.
Если не будешь держать резерв мощностей и данных, нагрузка всегда догонит и перегонит твои ресурсы, а система "проинфлирует" точно так же, как деньги на примере банкинга.

#banking #de #se
❤‍🔥41
Про дедлайны. Узнал себя?)

#meme #dev
😁73