Просветите меня пожалуйста.
Есть лексер который строит последовательность токенов.
Допустим токены хранятся в массиве. Допустим массив индексируется бесзнаковым целым числом.
Есть некий исходный код на миллионы строк. То есть токенов может быть миллиард.
Как быть с той ситуацией когда токенов(лексем) в анализируемом коде больше, чем может быть проиндексировано в массиве токенов?