В этом же и смысл, чтобы не миксовать языки, а использовать только один, и иметь приличную математику на perl. Лично мне кажется (это на мой взгляд), чо не хватает типов, чтобы генерировать более производительный jit код.
По этому, пишите на С или С++ или хоть на Fortran, связывайте через XS и будет счастье. Только так можно увеличить производительность и оптимизировать расход памяти. А волшебной таблетки нет и не будет.