Лексический анализ — это этап, на котором исходный текст программы преобразуется в последовательность лексем. Каждая лексема представляет собой минимальную смысловую единицу языка программирования. Лексический анализатор используется для:

• Преобразования текста программы в поток токенов.
• Игнорирования пробелов, комментариев и других незначимых элементов.
• Обнаружения ошибок на уровне символов (например, недопустимых знаков).

Лексический синтаксис

Лексический синтаксис определяет, какие последовательности символов могут образовывать лексемы. Он включает описание:

• Идентификаторов: имена переменных, функций.
• Ключевых слов: зарезервированные слова языка (if, while).
• Операторов: арифметические, логические, присваивания.
• Констант: целые числа, вещественные значения, строки.
• Разделителей: скобки, запятые, точки с запятой.

Пример:

x = 5 * a + 7

• Лексическая структура: name op number op name op number.
• Конкретизация:
  • x: идентификатор (name).
  • =: оператор присваивания (op).
  • 5: целое число (number).
  • * : оператор умножения (op).
  • a: идентификатор (name).
  • +: оператор сложения (op).
  • 7: целое число (number).

Примеры токенов

Пример обработки строки:

result = oldsum - value / 100;