Tokenizator

1. Wybierz model

2. Wpisz tekst

3. Zobacz tokeny

� Kratka oznacza fragment znaku zapisanego w kilku bajtach. Tak bywają cięte rzadsze litery, np. polskie znaki diakrytyczne.

4. Porównaj modele

Ten sam tekst, różne tokenizery. Porównanie pobiera pliki wszystkich tokenizerów, więc za pierwszym razem może chwilę potrwać.

Co warto zauważyć

• Token to nie słowo. Krótkie, częste słowa zwykle zajmują jeden token, a długie lub rzadkie dzielą się na kilka kawałków. Sprawdź to na nazwach leków.
• Ten sam sens, inna liczba tokenów. Porównaj zdanie po polsku z tym samym zdaniem po angielsku i zobacz, czy któryś model potrzebuje więcej tokenów.
• Tokeny to waluta modeli. Okno kontekstu i koszt zapytań w API liczy się w tokenach, a nie w znakach.
• Każdy model ma własny tokenizer. Liczba tokenów tego samego tekstu zależy od modelu, więc używaj porównania.