ты имей ввиду, что персист тоже может значить _сохренен на диск_ поэтому абсолютно двусмысленная фраза

всеравно трудно распарсить работает внутри одного стейдж

у тебя на стейдже в твоей терминлогии где блоки помчены левелом персиста, сохраняются (на диске или в памяти) в состоянии после стейджа

и в этом состоянии могут использовать во всех последющих стейджах

Как так? Я же обращаюсь только к данным, которые уже после последней трансформации.т.е к последним данным в стэйджа

это еще почему?

я вообще не понимаю

Андрей! оставляю его на тебя

Nikolay код вам скинули, можно уже курить
терминологию давай поточнее; у тебя в одном предложении и стейджи (которые вообще бесполезны нам тут для понимания вопроса) чтения с диска сохранения на диск чтение с диска при всем при этом в контексте персистов - это явная двусмысленность - о чем речь данные сырые читаются с диска и сохраняются или ты про блоки

запятые опущены для дармматичности

попробуй поиспользовать функции
посейфи после мапов после фильтров

чтоб понять как работает на практике

а потом спросишь почему так в теории

Спасибо, Григорий. Ты сильно помог.

Подскажите пожалуйста, jdbc драйвер для постгреса в режиме Overwrite делает truncate table?

Да

Спасибо

Нет

Только что проверил и получил ошибку:

 org.postgresql.util.PSQLException: ERROR: cannot drop table schema.t1 because other objects depend on it
  Detail: constraint id_fk on table schema.divisions depends on table schema.regions
  Hint: Use DROP ... CASCADE to drop the dependent objects too.

 org.postgresql.util.PSQLException: ERROR: cannot drop table schema.t1 because other objects depend on it
  Detail: constraint id_fk on table schema.divisions depends on table schema.regions
  Hint: Use DROP ... CASCADE to drop the dependent objects too.

А в option truncate указал?