Если у него очень много объектов в листах хранится и они часто создаются то может быть оверхед по потребляемой памяти
ArrayList например может однажды разрастись, заняв память, и если его не пересоздать - тоже плохо.
можно комбинированный подход сделать,
если размер листа меньше 100, то clear, иначе пересоздаем.