Indicativ (text)
Această intrare sau secțiune despre subiectul teoriilor informatice nu citează sursele necesare sau cei prezenți sunt insuficienți . |
Un simbol (sau simbol lexical ), în informatică , este un bloc de text clasificat, alcătuit de obicei din caractere indivizibile numite lexeme .
Jetoanele sunt frecvent definite ca expresii regulate , care sunt înțelese de un analizor lexical precum Lex. Analizatorul lexical citește un flux de lexeme și le clasifică în jetoane: dacă găsește un jeton nevalid, returnează o eroare. Următoarea operație după tokenizare este analiza . Cu aceasta datele interpretate pot fi încărcate în structuri de date, pentru uz general, interpretare sau compilare .
Descriere
Un analizator lexical citește inițial lexemele și le clasifică în funcție de funcția lor, dându-le sens. Această atribuire de sens se numește tokenizare (sau analiză lexicală ). Un indicativ poate aparține oricărei limbi, dar trebuie să aibă o anumită utilizare într-un text structurat. Mai mult, trebuie avut în vedere faptul că, în programare, codul sursă poate fi împărțit în 5 clase de jetoane (constante, identificatori, operatori, cuvinte rezervate și separatoare), în conformitate cu regulile limbajului de programare ales.
De exemplu, luați în considerare subdivizarea textului sum = (3 + 2) în jetoane ; :
| lexem | jeton |
| sumă | IDENTIFICATOR |
| = | OP_ASSIGNMENT |
| 3 | NUMĂR |
| + | OP_ADDITION |
| 2 | NUMĂR |
| ; | PUNCT ŞI VIRGULĂ |
Luați în considerare un text care descrie un calcul: " 46 - numărul_de (vaci); ". Lexemele de aici ar putea fi „ 46 ”, „ - ”, „ număr_de ”, „ ( ”, „ vaci ”, „ ) ” și „ ; ”. Analizatorul lexical ar denota lexemele " 4 " și " 6 " ca numere, " - " ca caracter și " număr_de " ca simbol separat. Chiar și lexema „ ; ” are o semnificație specială în unele limbi (cum ar fi C ).
Uneori, lexemele care codifică spațiile sunt ignorate ulterior de analizor . Un indicativ, în acest caz, nu ar trebui să aibă neapărat sens să fie recunoscut ca atare. „ vacile ” s-ar putea să nu aibă sens în această limbă, la fel ca „ numărul_de ”. În orice caz, acestea ar fi recunoscute ca jetoane. Doar o operațiune ulterioară, în acest caz, ar returna o eroare (de exemplu, funcția „ număr_de ” s-ar putea să nu fie definită sau variabila „ vaci ” s-ar putea să nu existe, deci compilatorul ar genera o eroare).
