Не обязательно. Во всех мейнстрим языках используется Контекстно Зависимая Грамматика. Ее разбор осуществляется машиной состояний. Как именно ты реализуешь машину состояний не суть важно. Ты можешь исключить токенезацию из процесса синтаксического разбора. Можешь не исключать. Если тебя интересует эта тема, могу порекомендовать прочитать Dragon Book.