Aspiring Data Science
318 subscribers
386 photos
10 videos
6 files
1.41K links
Заметки экономиста о программировании, прогнозировании и принятии решений, научном методе познания.
Контакт: @fingoldo

I call myself a data scientist because I know just enough math, economics & programming to be dangerous.
Download Telegram
#python #langdetect #fasttext

Мне трудно поверить в это, но в 2023 у питоновского сообщества, похоже, нет нормальных оффлайновых детекторов языка.
Ну что это за хрень, из 4 либ, представленных в статье, только Гугл переводчик (онлайновый) понимает, что, блять, строка "Safe delivery" - это английский, а не датский и не суахили?

P.S.:

fastText справился! ) используйте его, не тратьте время на остальной мусор. Пример в комментах.

https://towardsdatascience.com/4-python-libraries-to-detect-english-and-non-english-language-c82ad3efd430
#python #langdetect #fasttext #googletranslate

Странно, я был уверен, что гугл переводчик это топ, там же большие языковые модели, нейросети, все такое. Но он походу в 10 раз больше ошибается, чем fasttext.
#fastText

Так, я вообще в тупике. Стал внимательнее смотреть, что fastText считает не английской речью.