Дело было вечером. Сидел залипал на ЦИАН: опять ищу себе квартиру в Москве

Внезапно задумался над созданием приложения для персонализированного подбора квартир на базе фотографий в объявлениях.

То есть нужна Computer Vision нейросетка, которая на вход будет получать несколько фотографий интерьера квартиры, а на выходе давать некоторый вектор, содержащий полезную информацию об этой квартире. Как если бы эти картинки смотрел человек и давал какие-то комментарии.

И дальше, на базе этого вектора можно сделать супер мега расширенную настройку фильтров поиска квартиры.

Хочу сделать приложение.
Как я вижу процесс его работы?

Пользователь заходит в приложение и проходит процесс калибровки.
Например, он как в тиндере свайпает вправо и влево понравившиеся и не понравившиеся калибровочные интерьеры квартир.

На базе некоторого количества калибровочных картинок алгоритмы примерно аппроксимируют вкусы и предпочтения пользователя и дальше персонализировано подбирают ему квартиру. Разумеется, классические фильтры по типу стоимости и местоположения никто не отменял.

Ребята, которые делают приложения уже есть. Осталось найти тех кто сможет:
— вытаскивать данные из Циан / Авито / итд
— помочь мне обучить модель вытаскивать фичи из фотографий интерьеров
— помочь мне создать систему калибровки

Интересно - напиши мне, или порекомендуй товарищу, вдруг это заинтересует его

Давно мечтал сделать домашнее задание мо какому-нибудь гуманитарному предмету с помощью NLP нейросетки.

И вот, 4й курс, погряз в стартапах, времени на учебу нет от слова совсем, а тут ещё ОБЖшник хочет чтобы ему скинули что-то на почту - идеальный момент!

Немного поискав в интернете нашёл оптимальный вариант - Google Colab с сеткой от Сбера.

Установив все модули и немного поигравшись с параметрами запуска у меня получился хорошего качества текст. Ниже один пример. Чуть позже скину всю. свою домашку с небольшим % моих правок.

К слову, уникальность этих ответов - 100%, то есть это не копипаст. (Проверил на нескольких платформах)

Вопрос:
«В чем вы видите опасность коррупции вообще, и в частности, в России? »

Ответ нейросети:
Коррупция - это болезнь. И она есть во многих странах мира как следствие несовершенства общества: неравенства возможностей для всех граждан страны; отсутствия четких механизмов контроля за расходованием бюджетных средств. В конечном итоге коррупцию можно назвать одной из форм социального расслоения населения на богатых (чиновников), которые могут себе позволить иметь связи с властью или просто быть богаче остальных людей своей категории.

Коррупция опасна тем, что она разъедает общество изнутри. Она разрушает моральные устои, подрывает доверие людей друг к другу. В конечном итоге это приводит к тому, что государство не может выполнять свои функции по защите граждан от преступных посягательств на их жизнь, здоровье, имущество, права и свободы.

что-то такое получилось

А между тем, бот-администратор для приватного личного канала с соответствующим контентом (🔥) запущен с сегодняшнего дня

https://t.me/LadySparkleAdminbot

P.S. делал на заказ, контент не мой, если что 🙃

решил вспомнить, что у меня есть несколько публикаций на Reddit:

Emoji GAN

Как обучают автопилот в Тесла

Data Scientist Starter Pack

тем временем, написал про наш путь к театральной постановке

https://telegra.ph/Nash-put-k-postanovke-03-04

Для нашего театрального проекта сделал телеграмм бота, сообщение от него ниже. Можете побаловаться. Но учтите, что это лишь только самая первая версия.

На вход он получает предложение, а на выходе даёт синтаксическое дерево для этого предложения и несколько вариантов «обрезки» дерева.

На нынешнем этапе обрезка работает достаточно просто и зачастую падает для сложных предложений.

Однако дерево строится в большинстве случаев.

В течении пары дней добавлю кнопки для обратной связи, чтобы неудачные примеры можно было бы автоматически добавлять в обучающую выборку


P.S
По стеку технологий: в этот раз для сборки и деплоя решил попробовать Docker, оказалось очень удобно!

Осталось разобраться с сервисами по автоматической сборке и деплою докер контейнеров прямо из репозитория на гитхабе

Привет!

🤖 Я бот, который работает с предложениями

🧹 Я учусь очищать их от всего лишнего

💣 Напиши мне и посмотри, что получится

💡 Я работаю только с предложениями, если ты отправишь мне текст - я обработаю только первое предложение оттуда

Очень долго ходил вокруг да около Firebase Real-time Database, а сегодня наконец-то запихал её в театрального ТГ бота

теперь он запоминает предложения, с которыми не справился

чтобы я потом смог на множестве этих предложений пофиксить логику его работы

так что, велком в бота - @InfoBrothBot, можете смело его мучать

Последние пару недель изучаю нюансы оформление IT бизнеса в России, Эстонии и на Кипре

Посчитал выгоду от нахождения компании на Кипре, в сравнении с Россией (в случае с Эстонией ситуация по % примерно как в России)

Кипр:
На Кипре мы можем сделать такой мув, что часть прибыли мы выплачиваем себе как расходы компании. Это делается через заключение контракта между компанией и ИП за предоставление экспертизы в разработке.

Таким образом мы можем вывести некоторую часть прибыли компании (то есть списать на расходы)

На вопрос: какую именно часть прибыли можно вывести таким образом - эксперты отвечают, что лучше не наглеть, то есть компания должна показывать прибыльность

предлагаю посчитать двумя вариантами
1. 50 на 50
2. 75 и 25 (меньшая часть под налог в 12.5%)

Также вопрос, каким именно образом выводить дивиденды с Кипра и платить ли с них налог. (Лично я для себя думаю деньги оставлять на Кипре)

• 0.5*12.5 + 0.5*6 = 12.25%
• 0.25*12.5 + 0.75*6 = 7.625%


Россия:

в случае с Россией рассмотрим ситуацию, когда акционером компании является физ лицо (а ИП предоставляет услуги по экспертизе для ООО)

В России есть такая история, что ИП не может платить налоги за дивиденды по упрощённой ставке и всё равно надо платить НДФЛ в размере 13%

В таком случае при выводе 100% денег через дивиденды суммарный налог будет 30.4%

(также стоит учитывать, что у Российского юрлица могут быть проблемы с международным эквайрингом)

Однако ИП также может оказывать экспертные услуги для ООО

чтобы быть объективными, и рассмотрим аналогичный случай Кипру предоставление экспертизы со стороны ИП

• 0.5*30 + 0.5*6 = 18 %
• 0.25*30 + 0.75*6 = 12%


сравнив два оптимальных варианта получим разницу в 4.375%


Ну и оставлю «ехидный» комментарий
«Судебные разбирательства по поводу целесообразности расходов на управляющего-ИП не так уж редки, а уклонение от налогов — статья серьезная, поэтому злоупотреблять подобной схемой точно не стоит.»

и ещё меня пугает вот это:
«Важно! ИП может стать учредителем ООО только на правах физического лица, но не в статусе индивидуального предпринимателя. То есть, доходы, получаемые бизнесменом от деятельности ИП, никак не должны пересекаться с доходами, которые ему принесло ООО. Налогообложение у таких предприятий будет раздельное.»

«Важно! Заключение сделок между ИП и ООО, участником (участником и одновременно директором) которого он является, становится поводом для особого контроля со стороны налоговых органов.»

До дедлайна по сдаче диплома осталось 1.5 месяца

а я так и не успел написать нейросеть, которая написала бы диплом за меня

Помните писал про Тиндер для квартир (https://t.me/rawoak/189)

Так вот, я решил совместить написание диплома по Computer Vision с этим проектом.

Если кратко, то я хочу обучить рекомендательную систему, работающую с изображениями.

Новизна моего подхода заключается в том, что я хочу попробовать сравнить разные типы эмбедингов для изображений.

В частности, мне очень понравилась работа DeViSE: A Deep Visual-Semantic Embedding Model, где нейросеть обучали предсказывать не сколько класс объекта, сколько его эмбединг, полученный с помощью NLP модели. Такой подход расширяет возможности нейросетки, ведь в каком-то смысле она комбинирует информацию об изображении со структурой языка. Благодаря такому подходу можно откопать много интересных инсайтов, что я и хочу попробовать сделать.

Тут можно почитать про то, как работают поисковые движки для картинок и при чём тут эмбединги.

Для начала я решил сделать проект в формате телеграм бота. Спарсил 20.000 картинок с приятными интерьерами с Pinterest и быстренько написал бота, где эти картинки можно оценивать.

На данном этапе бот присылает случайные картинки. Это необходимо чтобы собрать статистику для дальнейшего обучения рекомендательной системы.

Так что буду благодарен вам, если оцените пару интерьеров квартир в моём боте. Постарался сделать так, чтобы просмотр изображений приносил эстетическое удовольствие 🙂

бот: https://t.me/FlatsTinderBot

Дошли руки написать 3ю статью на хабр

в этот раз про то, насколько круто пользоваться облачными сервисами

благодаря Firebase написал ТГ бота всего за один вечер

https://habr.com/ru/post/554132/

Недавно взял себе новый ноутбук

Macbook Air M1 16RAM вместо Macbook Pro 2017 i5 16RAM

Уже третий день не перестаю восхищаться этим процессором, всё работает невероятно быстро.

Пока читал про особенности работы докера на этом процессоре наткнулся на одну интересную деталь касательно того как этот процессор исполняет программы для x86.

Apple удалось сделать так, что на чипе М1 бинарники x86 работают быстрее чем на многих процессорах intel))

Если кратко, то они прямо на чипе сделали такой модуль, который при эмуляции работы x86 меняет принцип работы с памятью.

Ниже будет то же самое, но из источника на английском

We also have an answer now to the insane x86 translation performance (around 80% of native performance, give or take - and, yes, this does mean that the M1 runs x86 binaries faster than an awful lot of x86 hardware out there). I’ve messed around with running x86 binaries in emulation on ARM before, and got about 10% of native performance on a Rpi4. Painful. Apple’s Rosetta 2 gets a lot of benefit from being a pre-compiling translator (for most cases - it still has to interpret JIT type workloads), but most people figured that would get you to 50% - at best. The ARM memory model is so radically different from x86 that you end up sprinkling memory barriers everywhere to guarantee cross threaded consistency, and that really hurts performance.

The issue is that on x86, if you write memory addresses in a certain sequence, all other cores will see the writes in the same sequence. If you write some blob of data and then write the “Ready!” flag, by the time other cores see the flag change value, you can be certain that the blob of data has been written. ARM has no such guarantees without explicit (and slow) memory barrier instructions, and this is why the x86 emulation on ARM Windows was painful - guaranteeing correctness of a translated binary on a weaker memory model is slow.

As it turns out, Apple isn’t doing it purely in software - they have Total Store Ordering support in their hardware! When the M1 runs a translated x86 binary, the OS just tells the chip, “Hey, use x86 memory ordering for this thread.” Things built natively for ARM can take advantage of the performance gains of the memory reordering, and things that requires strict ordering get strict ordering. It’s a very, very clever way to totally bypass the memory ordering issues with translated binaries, and it’s not a thing in any other ARM chip on the planet (I’d say yet, but I really don’t think this will become a popular thing to implement - perks of Apple building their own silicon).

источник:

https://www.sevarg.net/2021/01/09/arm-mac-mini-and-boinc/

Начал делать рекомендательную систему для своего Flats Tinder проекта

Наткнулся невероятную open source библиотечку от Spotify, как раз для рекомендательных систем

https://github.com/spotify/annoy