Token, doğal dil işleme (Natural Language Processing, NLP) ve büyük dil modelleri (Large Language Models, LLM) bağlamında, bir metnin daha küçük parçalara bölünmüş halidir. Bu parçalar kelime, kelime parçası, karakter veya alt kelime düzeyinde olabilir. Tokenizasyon işlemi, metni bu tokenlara ayırma sürecidir.
Tokenlar, dil modellerinin metni işlemek ve anlamak için kullandığı temel birimlerdir. Her token, modelin eğitildiği veri kümesindeki bir vektörle temsil edilir.
