С того, чтобы определиться, а какой язык нужен. Типизация, модель исполнения, модель распространения, целевые платформы. А дальше ты уже чётко понимаешь, что именно нужно читать — про эффективные интерпретаторы там, про GC, или про кастомные LLVM-фронтенды.