Token (análise léxica)
Um token, em análise léxica, é uma representação de uma cadeia de caracteres, utilizado na construção de árvores sintáticas de linguagens de programação.[1]:5 Exemplos de tokens poderiam ser palavras-chave (if, else, while, int, ...), identificadores, números, sinail, ou um operador de vários caracteres, (por exemplo, := "':+"' ). ExemploSuponhamos a seguinte linha de um programa: SE Novo > MaxNúm ENTÃO Os tokenes são: * "SE" * "Novo" * ">" * "MaxNúm" * "ENTÃO" E descrevem-se pelo geral em duas partes, um tipo ou classe e um valor, assim: Token=(Tipo,Valor) Para a sequência anterior, os tokenes podem descrever-se * [Palavra Reservada, "SE"] * [Identificador, "Novo"] * [Operador, ">"] * [Identificador, "MáxNúm"] * [Palavra Reservada, "ENTÃO"] Ver tambémReferências
Bibliografia
|