После просмотра новой лекии от Карпати, если вы хотите узнать больше о том, как различные LLM модели (например, GPT4, Llama, T5, BERT) токенизируют текст, посмотрите "The Tokenizer Playground": веб-приложение, которое создана на базе ? Transformers.js, с которым вы сможете поиграться с токенизацией разных моделей на практике!
https://h