Analisis Leksikal (scanner) mengubah deretan karakter-karakter menjadi deretan
token-token. Sebuah token adalah komponen dasar leksikal dari program. Token adalah
level entitas yang paling rendah dalam diagram sintaks.
Contoh analisa leksikal pada
program SPO dengan bahasa pemrograman Quick Basic >>>
REM Program SPO
10 CLS
14 PRINT " * TEBAK SUBJEK, PREDIKAT DAN OBJEK PADA SEBUAH KALIMAT * "
16 PRINT ""
18 PRINT "Anjas bermain gitar"
19 PRINT " "
20 INPUT "Subjek = ", SJK$
20 INPUT "Subjek = ", SJK$
22 INPUT "Predikat = ", PDK$
24 INPUT "Objek = ", OBJ$