o200k_base · 27 języków

Tokenowy Mundial AI

Ten sam neutralny zestaw faktów zapisany naturalnie w każdym języku, bez dosłownego tłumaczenia zdanie po zdaniu. Im mniej tokenów, tym mniej miejsca w kontekście i niższy koszt inputu. Polski: +29% względem angielskiego. 🇵🇱💸

Wyniki i ograniczenia

W tej próbce minimum dla GPT-5 to Chinese (89 tokenów), a angielski ma 95. Liczby tokenów: polski / angielski: GPT-5 (o200k_base): 123 / 95; Claude Opus 5.5: 199 / 128; DeepSeek V4.1: 141 / 95.

Pojedynczy krótki tekst na język, nie reprezentatywny korpus. Wyniki zależą od doboru słów, pisma i tokenizera; nie przewidują ogólnego kosztu ani jakości odpowiedzi modelu.

English report · Dane i teksty testowe (JSON) · Kod i źródła pomiaru

🥈
English
95
tokeny: 95 · indeks: 100
🥇
Chinese
89
−6% vs EN
🥉
Dutch
99
+4% vs EN
Łacina · #16118+24%
Polski · #19123+29%
Praktyczna konkluzja
Ave GPT, refactorium meum perfice.
Łacina nadal bardziej tokeno-oszczędna od polskiego. Imperium zatwierdza.

Ranking

Kliknij język, żeby zobaczyć dokładnie tę naturalną wersję, z której policzono wynik.
Tekst referencyjny

Pełna tabela

Wartości zaokrąglone do pełnych punktów procentowych.
# Język Tokeny vs EN Indeks EN=100
#1Chinese89-6%94
#2English950%100
#3Dutch99+4%104
#4=Norwegian104+9%109
#4=Swedish104+9%109
#6Spanish106+12%112
#7French107+13%113
#8=German108+14%114
#8=Turkish108+14%114
#8=Vietnamese108+14%114
#11Portuguese109+15%115
#12Indonesian110+16%116
#13Arabic111+17%117
#14Hebrew112+18%118
#15Russian114+20%120
#16Latin118+24%124
#17Italian120+26%126
#18Finnish121+27%127
#19Polish123+29%129
#20Ukrainian130+37%137
#21Hindi133+40%140
#22Korean134+41%141
#23Slovak135+42%142
#24Czech136+43%143
#25Japanese137+44%144
#26Hungarian141+48%148
#27Greek149+57%157

Mapa rozjazdu tokenizerów

Ten sam korpus. Oś X to o200k_base, a oś Y pokazuje aktywnego rywala. Im dalej od przekątnej, tym większy rozjazd.

Jak to czytać

Jeden sens

Każda wersja przekazuje ten sam neutralny zestaw faktów o kulkach, liczbach, porównaniu i równym podziale.

Naturalny język

To nie tłumaczenie zdanie po zdaniu. Każdy wariant jest zapisany tak, jak naturalnie można przekazać te informacje w danym języku; cyfry pozostają identyczne.

Tokenizer

Główne porównanie to GPT-5, Claude Opus 5.5 i DeepSeek V4.1; dodatkowo można podejrzeć r50k_base, cl100k_base i o200k_harmony. Ranking, podium, tabela i narzut względem EN zmieniają się razem.

GPT-5 i dodatkowe kodowania GPT przelicza lokalnie gpt-tokenizer; DeepSeek V4.1 liczy oficjalny tokenizer z deepseek-ai/deepseek-recipe, przypięty do rewizji i SHA-256, przez recount-deepseek-tokens.py. o200k_harmony współdzieli z o200k_base BPE zwykłego tekstu, więc w tym korpusie remisuje 1:1; różni się tokenami specjalnymi. Pomiar Claude Opus 5.5 w claude-opus-5-5-token-counts.json pochodzi bezpośrednio z oficjalnego Anthropic count_tokens; stały framing 8 tokenów jest odejmowany. Pomiar przez OpenRouter dał identyczne 27/27 wyników i ten sam framing, więc pozostaje tylko fallbackiem. Opus 5 daje identyczne liczby we wszystkich 27 językach (różni się tylko framingiem: 6), więc tokenizer się nie zmienił; jego pomiar został w claude-token-counts.json.

Koszt zadania per model i effort: Model × effort.