Коллеги, вечер добрый!
Работаю на связке ClickHouse + Power BI
Был построен Отчет и в определенный момент перестал обновляться.
Я сейчас перечислю много вводных данных, чтобы минимизировать уточняющие вопросы.
1. Данные миллионые
2. Естественно перед затягиванием их в PBI, я стараюсь максимально их обработать и агрегировать.
3. Очень непотимальная Архитектура самой базы ClickHouse (начиная с того, что в таблицах грязные данные по дублям и вычистка переложена на скрипт SQL + версионность реализована, как отдельные таблицы и в некоторых запросах их приходится юнион перед вычислением... и это далеко не все).
4. Соединение реализовано, для каждого запроса как подключение через Интернет и функцию Web.Contents (дополнительные параметры времени запроса установлены 30 минут - Timeout=#duration(0, 0, 30, 0)), в которую передается строка подключения http: с закодированным запросом (дополнительный параметр в самой строке подключения также установлен 30 минут - session_timeout=1800)
5. Мое предложение реализовать инкреминтальное обновление, стоит в бэклоге с самым низким приоритетом (те никогда). Моя попытка сделать это в личное время не увенчалась успехом, тк мой рабочий комп не работал на выходных, хотя с менеджером все было согласовано.
Мои Коллеги со строны Архитектуры и Администрирования баз данных упирают на то, что каждый Запрос по отдельности (несмотря на всю его неоптимальность) в строке браузера выполняется максимум 17 минут и выдает CSV-файл. И соответсвенно виноват во всем PBI.
Я в этом сомневаюсь, учитывая пункт 2 вводных данных, и то что запрос данных по логам рвется через примерно 5 минут, хотя везде в PBI стоит отсечение на 30 минут.
Ошибку, которую выдает при попытке обновления - "Ошибка OLE DB и ODBC: [DataSource.Error] Невозможно соединиться с удаленным сервером". Но еще раз повторюсь, что коннекторы OLE DB и ODBC НЕ используется (они вроде в списке идут как отдельные и даже иконка у них другая), только коннектор Интернет.
При этом файл не изменялся и все что изменилось - это количество данных. Все запросы по отдельности работают в строке браузера.
Подскажите, это действительно я что-то не учла в PBI или все же надо смотреть в сторону изменения Архитектуры базы данных и Инкрементального обновления?