ЕГ
Arrow execution реализован примерно так:
1. на драйвере создается функция, написанная на Python. Она сериализуется и рассылается по всем нодам в виде pickle. Важно - зависимости в этой функции не всегда достаются автоматически, то есть сделать вот так:
// на драйвере
my_random_instance = SomeRandomClass()
def pyarrow_func():
my_random_instance.apply_func()
В теории может не получиться, особенно если SomeRandomClass это импорт из локального файла, который не подцеплен к sparkContext.
2. В рантайме происходит следующее - партиции вычисляются и отправляются по нодам. на каждой ноде стартует питоновский процесс, основанный на PYSPARK_PYTHON. Этот процесс получает батчи через Arrow IPC протокол из Spark Worker Process (он выполняет сгенерированный catalyst-ом Java-код), обрабатывает их функцией и отправляет обратно через Arrow IPC в Spark Worker Process.
