Да. Суть в том, что у тебя в один момент времени нормально работать может только один поток на одном ядре. Если будет больше, то они будут становиться в очередь уже самой ОС. Быстрее разгребаться не будет. Лучше стараться утилизировать ресурсы соответственно ядрам и памяти