Forwarded from Задуха
Новий, найкращий і, мабуть, останній токенізатор із цієї лінійки, призначення якої — закласти важливу підвалину для створення української LLM.
Tereshchenko Blue Tokenizer
За основу було взято токенізатор Gemma-3, і для його українізації справді довелося виконати ювелірну роботу. Вдалося додати більше ніж 80 тисяч українських токенів, не змінюючи розмір оригінального словника (262 тисячі) та не видаливши зі словника Gemma-3 жодного англійського токена, жодного токена мов Європейського Союзу й навіть жодного турецького, вірменського чи грузинського)
Як це можливо?
Оригінальний словник Gemma-3 було проаналізовано на перетин з більш ніж 16-ма найбільш уживаними системами письма світу — від Сходу та арабських країн до Африки й племен Південної Америки. Це дало змогу вилучити потрібну кількість токенів (близько третини від розміру словника) що відносяться до мовних груп, культурно й географічно віддалених від України, і замінити лише їх!
Що маємо:
♣️ 81 492 нових кириличних сабвордів.
Навчені на 3 млн текстів з корпусу Malyuk + кириличній частині QIRIM — за допомогою «рідної» для Gemma-3 бібліотеки SentencePiece (ох, і мороки з нею було!).
♣️ Системи письма, що стали «донорами», видалялися лише частково. Повний перелік того, що прибрано і що залишилося, можна переглянути тут.
♣️ Усі незмінені токени зберегли свої ID, для них ембеддинги Gemma-3 підходять з коробки.
♣️ Розмір словника, спецтокени, пре/пост-процесинг і формат виходу — 1-в-1 із оригінальним токенізатором.
Вся ця краса вже доступна за посиланням:
https://huggingface.co/transhumanist-already-exists/tereshchenkoblue-tokenizer
За метрики традиційна подяка @Sofetory!
Tereshchenko Blue Tokenizer
За основу було взято токенізатор Gemma-3, і для його українізації справді довелося виконати ювелірну роботу. Вдалося додати більше ніж 80 тисяч українських токенів, не змінюючи розмір оригінального словника (262 тисячі) та не видаливши зі словника Gemma-3 жодного англійського токена, жодного токена мов Європейського Союзу й навіть жодного турецького, вірменського чи грузинського)
Як це можливо?
Оригінальний словник Gemma-3 було проаналізовано на перетин з більш ніж 16-ма найбільш уживаними системами письма світу — від Сходу та арабських країн до Африки й племен Південної Америки. Це дало змогу вилучити потрібну кількість токенів (близько третини від розміру словника) що відносяться до мовних груп, культурно й географічно віддалених від України, і замінити лише їх!
Що маємо:
♣️ 81 492 нових кириличних сабвордів.
Навчені на 3 млн текстів з корпусу Malyuk + кириличній частині QIRIM — за допомогою «рідної» для Gemma-3 бібліотеки SentencePiece (ох, і мороки з нею було!).
♣️ Системи письма, що стали «донорами», видалялися лише частково. Повний перелік того, що прибрано і що залишилося, можна переглянути тут.
♣️ Усі незмінені токени зберегли свої ID, для них ембеддинги Gemma-3 підходять з коробки.
♣️ Розмір словника, спецтокени, пре/пост-процесинг і формат виходу — 1-в-1 із оригінальним токенізатором.
Вся ця краса вже доступна за посиланням:
https://huggingface.co/transhumanist-already-exists/tereshchenkoblue-tokenizer
За метрики традиційна подяка @Sofetory!
🔥3❤1
Forwarded from Hacker News
Let's Encrypt
We've Issued Our First IP Address Certificate
Update: January 15, 2026 Six-day and IP address certificates are now generally available. See 6-day and IP Address Certificates are Generally Available for details. Since Let’s Encrypt started issuing certificates in 2015, people have repeatedly requested…
Forwarded from Feed-Master
YouTube
GRAY SCOTT SCHOOL 2025 [LIVE] - Day#8 Computing on GPU (RUST on VULKAN)
🔴 Live: Third Edition of the Gray Scott School – June 23 to July 4, 2025
🙋🏻 Ask your questions live via our Discord: https://discord.gg/DuNZnRJbBq
🎁 By joining, you’ll also gain access to all necessary resources (library, compilers, tools...) to complete…
🙋🏻 Ask your questions live via our Discord: https://discord.gg/DuNZnRJbBq
🎁 By joining, you’ll also gain access to all necessary resources (library, compilers, tools...) to complete…
- https://github.com/allo-media/text2num-rs
- https://github.com/allo-media/text2num/releases/tag/v3.0.0
#python #rust
- https://github.com/allo-media/text2num/releases/tag/v3.0.0
#python #rust
GitHub
GitHub - allo-media/text2num-rs: Parse and convert numbers written in English, Dutch, Spanish, German, Italian or French into their…
Parse and convert numbers written in English, Dutch, Spanish, German, Italian or French into their digit representation. - allo-media/text2num-rs