select X
FROM ulud_usage_data AS data
        INNER JOIN uluh_usage_header AS header ON data.ulud_headerid = header.uluh_id
        INNER JOIN (SELECT DISTINCT (ulud_u_advertiserid) AS advertiser_id
                    FROM ulud_usage_data d
                             inner join uluh_usage_header h on d.ulud_headerid = h.uluh_id
                    WHERE ulud_id > "X"
                      and h.uluh_status = 0
                    LIMIT 0,1) AS uudai on uudai.advertiser_id = data.ulud_u_advertiserid

Вот эта кверя может вернуть 4к строк (per group) но есть и множество груп которые имеют только 1-2 records, в этом случае я бы хотел рекурсивно запросить след. группы  пока общее к-во rows не будет больше N (в данный момент хочу 3к)

Грубо говоря хочу рекурсивную кверю, которая будет возвращать МИНИМАЛЬНОЕ к-во строк

где у вас в запросе "Группы"? как выбирать следующую?

^

вот эта часть запроса может уменьшать к-во записей в итоговом запросе?
INNER JOIN uluh_usage_header AS header ON data.ulud_headerid = header.uluh_id

"INNER JOIN (SELECT DISTINCT (ulud_u_advertiserid) AS advertiser_id ..."  — JOIN со след. группой пользователей advertiser_id (для получения релевантных результатов для выбранной группы). Контроль след. группы производиться через ulud_id  (некий идентификатор row для пагинации без offset)

вопрос был другой:)
т.е., выбрали Id группы, ищем эту группу в data - нашли 5 тыс строк - выполнили

INNER JOIN uluh_usage_header AS header ON data.ulud_headerid = header.uluh_id

- осталось 1 тыс строк и нужно взять след. группу
или на итоговое к-во строк эта часть запроса не влияет?

не влияет.

если правильно понял задачу, то как-то так - https://pastebin.com/yc2NC6WR

Вы заменили лимит 1 на 3000? ) Этот лимит выбирает группу ОДНУ, после верхнего JOIN'a с которой будет 3000к строк в итоге.