Подскажите пожалуйста как задебажить в чем проблема. Есть фрейм DF1 (User, features), на котором провожу группировку по столбцу User, столбец же features аггрегирую в вектор, получим Фрейм RS1. После этого делаю группировку с фреймом DF1 по той же колонке User, но уже аггрегирую в статистики (min, max, skewness и т.д.) после чего VectorAssembler этих статистик в новую колонку features, получаю RS2. Так вот после окончания формирования каждого фрейма я их кэширую и насильно запускаю вычисления через count. Вопрос в результате получаю закешированные посчитанные фреймы RS1 и RS2, но при каждом новом подсчете count RS1 исполняется ms, RS2 же считается 15 секунд. Как задебажить почему такие задержки? В spark UI таска по подсчету каунтов на RS2 занимает пару секунд, но она не появляется в течении секунд 12ти. Тоесть получаем что считается то быстро, но задача долго формируется, подскажите куда заглянуть чтобы понять, почему так долго формируется таска?
