Вообще, с распределенными воркерами (а особенно с динамическими и скейлящимеся), кэши - та еще боль. Вообще, гитлаб к примеру умеет в кэш распределенный, но из-за структуры работы его раннеров, кэш будет ездить между степами через архивацию, аплоад в бакет, загрузку с бакета и распаковку. Траффик при этом вырастет точно, а вот общее время сборки может измениться незначительно...