тут вопрос в том, на каком этапе мы можем фильтровать данные по дате, и какой источник. Если источник - файлы в локальной папке, и каждый файл - это отдельная партиция по дате (например, ежемесячные выгрузки, или еженедельные и т.п.), имеющая соответствующий атрибут (дата в названии, дата создания и т.п.), то на этапе подключения к папке мы можем использовать инкремент для фильтрации списка файлов. В таком случае не будет происходить полное чтение файлов из папки - только "свежак"