Tokenowy Mundial AI
Ten sam neutralny zestaw faktów zapisany naturalnie w każdym języku, bez dosłownego tłumaczenia zdanie po zdaniu. Im mniej tokenów, tym mniej miejsca w kontekście i niższy koszt inputu. Polski: +29% względem angielskiego. 🇵🇱💸
Wyniki i ograniczenia
W tej próbce minimum dla GPT-5 to Chinese (89 tokenów), a angielski ma 95. Liczby tokenów: polski / angielski: GPT-5 (o200k_base): 123 / 95; Claude Opus 5.5: 199 / 128; DeepSeek V4.1: 141 / 95.
Pojedynczy krótki tekst na język, nie reprezentatywny korpus. Wyniki zależą od doboru słów, pisma i tokenizera; nie przewidują ogólnego kosztu ani jakości odpowiedzi modelu.
English report · Dane i teksty testowe (JSON) · Kod i źródła pomiaru
Ranking
Pełna tabela
| # | Język | Tokeny | vs EN | Indeks EN=100 |
|---|---|---|---|---|
| #1 | Chinese | 89 | -6% | 94 |
| #2 | English | 95 | 0% | 100 |
| #3 | Dutch | 99 | +4% | 104 |
| #4= | Norwegian | 104 | +9% | 109 |
| #4= | Swedish | 104 | +9% | 109 |
| #6 | Spanish | 106 | +12% | 112 |
| #7 | French | 107 | +13% | 113 |
| #8= | German | 108 | +14% | 114 |
| #8= | Turkish | 108 | +14% | 114 |
| #8= | Vietnamese | 108 | +14% | 114 |
| #11 | Portuguese | 109 | +15% | 115 |
| #12 | Indonesian | 110 | +16% | 116 |
| #13 | Arabic | 111 | +17% | 117 |
| #14 | Hebrew | 112 | +18% | 118 |
| #15 | Russian | 114 | +20% | 120 |
| #16 | Latin | 118 | +24% | 124 |
| #17 | Italian | 120 | +26% | 126 |
| #18 | Finnish | 121 | +27% | 127 |
| #19 | Polish | 123 | +29% | 129 |
| #20 | Ukrainian | 130 | +37% | 137 |
| #21 | Hindi | 133 | +40% | 140 |
| #22 | Korean | 134 | +41% | 141 |
| #23 | Slovak | 135 | +42% | 142 |
| #24 | Czech | 136 | +43% | 143 |
| #25 | Japanese | 137 | +44% | 144 |
| #26 | Hungarian | 141 | +48% | 148 |
| #27 | Greek | 149 | +57% | 157 |
Mapa rozjazdu tokenizerów
Jak to czytać
Każda wersja przekazuje ten sam neutralny zestaw faktów o kulkach, liczbach, porównaniu i równym podziale.
To nie tłumaczenie zdanie po zdaniu. Każdy wariant jest zapisany tak, jak naturalnie można przekazać te informacje w danym języku; cyfry pozostają identyczne.
Główne porównanie to GPT-5, Claude Opus 5.5 i DeepSeek V4.1; dodatkowo można podejrzeć r50k_base, cl100k_base i o200k_harmony. Ranking, podium, tabela i narzut względem EN zmieniają się razem.
GPT-5 i dodatkowe kodowania GPT przelicza lokalnie gpt-tokenizer; DeepSeek V4.1 liczy oficjalny tokenizer z deepseek-ai/deepseek-recipe, przypięty do rewizji i SHA-256, przez recount-deepseek-tokens.py. o200k_harmony współdzieli z o200k_base BPE zwykłego tekstu, więc w tym korpusie remisuje 1:1; różni się tokenami specjalnymi. Pomiar Claude Opus 5.5 w claude-opus-5-5-token-counts.json pochodzi bezpośrednio z oficjalnego Anthropic count_tokens; stały framing 8 tokenów jest odejmowany. Pomiar przez OpenRouter dał identyczne 27/27 wyników i ten sam framing, więc pozostaje tylko fallbackiem. Opus 5 daje identyczne liczby we wszystkich 27 językach (różni się tylko framingiem: 6), więc tokenizer się nie zmienił; jego pomiar został w claude-token-counts.json.
Koszt zadania per model i effort: Model × effort.