Token (análise léxica)

Um token, em análise léxica, é uma representação de uma cadeia de caracteres, utilizado na construção de árvores sintáticas de linguagens de programação. Exemplos de tokens poderiam ser palavras-chave (if, else, while, int, ...), identificadores, números, sinail, ou um operador de vários caracteres, (por exemplo, := "':+"' ).

Exemplo

Suponhamos a seguinte linha de um programa:

  SE Novo > MaxNúm ENTÃO

Os tokenes são:

  * "SE"
  * "Novo"
  * ">"
  * "MaxNúm"
  * "ENTÃO"

E descrevem-se pelo geral em duas partes, um tipo ou classe e um valor, assim: Token=(Tipo,Valor)

Para a sequência anterior, os tokenes podem descrever-se

  * [Palavra Reservada, "SE"]
  * [Identificador, "Novo"]
  * [Operador, ">"]
  * [Identificador, "MáxNúm"]
  * [Palavra Reservada, "ENTÃO"]

Ver também

• Lex
• Yacc

Bibliografia

• John Levine, Doug Brown, Tony Mason (1992). lex & yacc. [S.l.]: O'Reilly Media. ISBN 9781565920002  !CS1 manut: Nomes múltiplos: lista de autores (link)