Size: a a a

Power BI Group RU

2020 May 31

T

Toronto_391 in Power BI Group RU
Было у кого-нибудь, что иногда программа вылетает после попытки открыть тот же файл вот такая ошибка.
источник

T

Toronto_391 in Power BI Group RU
источник

KS

Kirill Safronov in Power BI Group RU
Ilya Shelegin
В запросе sql формат для этих столбцов задайте текст. Ну и в Power query никаких шагов преобразований нет? Типа автоматически созданный шаг изменить тип, или джойнов.
запрос в SQL сохранил как процедуру и из PQ обращаюсь через нее, после этого столбцы загрузились
источник

VP

Vasily Prozorov in Power BI Group RU
Что за прикол теперь в мерах после обновления ";" теперь ","?
источник

DL

Dmitry Lebedev in Power BI Group RU
Vasily Prozorov
Что за прикол теперь в мерах после обновления ";" теперь ","?
Была же какая-то унификация в последней версии
источник

IS

Ilya Shelegin in Power BI Group RU
Vasily Prozorov
Что за прикол теперь в мерах после обновления ";" теперь ","?
Да, в апдейте майском про это написано, что теперь по умолчанию "," но можно настроить и ";". Но я так часто пользуюсь dax Studio, что мне запятые роднее))
источник

AS

Alexey Shcheglov in Power BI Group RU
я минут 5 пялился в "ошибку синтаксиса". только потом заметил замену требования разделителя аргументов.
прям беда какая-то
источник

EH

Emil Hasanov in Power BI Group RU
кардинальненько
источник

VP

Vasily Prozorov in Power BI Group RU
Alexey Shcheglov
я минут 5 пялился в "ошибку синтаксиса". только потом заметил замену требования разделителя аргументов.
прям беда какая-то
Я сам удивлен. Но так удобнее. ИМХО
источник

AS

Alexey Shcheglov in Power BI Group RU
Vasily Prozorov
Я сам удивлен. Но так удобнее. ИМХО
просто неожиданно оказалось. невнимательно читал пункты апдейта.
привычку теперь надо переломить)
источник

EH

Emil Hasanov in Power BI Group RU
так можно в рабство внезапно попасть, читать надо внимательно ;)
источник

E

Evg in Power BI Group RU
Коллеги, вечер добрый!
Такая ситуация: настраиваю отображение информации на карте по IP клиентов.
Дано: MS SQL, где лежит нужная информация, в т.ч. IP.
Далее гружу данные в эксель, оттуда в PBI, где с помощью json все IP через API преобразую в запись, который сохраняю в пользовательский столбец.
В моменте все работает.

Собственно проблема: каждый раз при обновлении данных заново идут обращения по каждой строке (а число обращений ограничено и стоит денег так или иначе).

Можно ли грузить с источника не все данные, а только новые, чтобы не было повторных запросов?
Или нужен какой-то условный ETL-уровень, куда сгружать все ip из MS SQL, и добавлять все геоданные, а потом например загружать обратно?
MS SQL же вроде как безопасное хранилище не может абы куда обращаться и абы что в себя затягивать без отдельного шаманства с хитрыми процедурами?
источник

A

Alex in Power BI Group RU
используйте ms sql для хранения тех данных, которые вы уже обработали.
Создайте тамблицу
tbl_ip_info с атрибутами, которые вы через REST API получаете в этом платном сервисе.
и вставляйте туда только те адреса, которых там еще нет. (ключ - это IP адрес в числовом формате - погуглите алгоритм преобразования ip адреса в bigint)
А оттуда грузите уже в PBI.
Excel здесь, вообще, лишним этапом выглядит.
источник

A

Alex in Power BI Group RU
MS SQL куда безопаснее, чем PBI, потому что MS SQL на вашем сервере установлен, закрыт Firewall-ом, и абы кто туда не зайдет, не имея vpn или RDP, например.
А PBI-даннаые хранятся в облаке (если речь не про PBI Server), так что туда может любой человек попасть, который логин/пароль получит от учетки.
источник

EH

Emil Hasanov in Power BI Group RU
у меня импала и куду но схема в общем то та же, если обращаться к импале то это можно сразу топиться, у нее оптимизатор кривой и вообще все медленно, в куду можно обновлять данные, я собственно настроил механизм, который регулярно (каждые 15 минут) делает UPSERT и сгружает в kudu только нужные для отчетов данные, в итоге сотни миллионов строк (это наш пробный камень, первый клиент поскромнее, следующий в разы толще) превращается в полтораста тыщ строк в семи таблицах (допиливаю процесс, в итоге тут будет порядка 10-15 таблиц), обновление данных за последние час-два (поток данных идет от 1000 до 20000 EPS) занимает для всех таблиц не больше 2-3 минут (обновление данных за месяц заняло примерно 15 минут), выборка - несколько секунд
источник

EH

Emil Hasanov in Power BI Group RU
обновляться будут все данные, увы, догрузки тут нет
источник

EH

Emil Hasanov in Power BI Group RU
но если вы сам объем данных уменьшите до необходимого то будет проще
источник

A

Alexey in Power BI Group RU
Evg
Коллеги, вечер добрый!
Такая ситуация: настраиваю отображение информации на карте по IP клиентов.
Дано: MS SQL, где лежит нужная информация, в т.ч. IP.
Далее гружу данные в эксель, оттуда в PBI, где с помощью json все IP через API преобразую в запись, который сохраняю в пользовательский столбец.
В моменте все работает.

Собственно проблема: каждый раз при обновлении данных заново идут обращения по каждой строке (а число обращений ограничено и стоит денег так или иначе).

Можно ли грузить с источника не все данные, а только новые, чтобы не было повторных запросов?
Или нужен какой-то условный ETL-уровень, куда сгружать все ip из MS SQL, и добавлять все геоданные, а потом например загружать обратно?
MS SQL же вроде как безопасное хранилище не может абы куда обращаться и абы что в себя затягивать без отдельного шаманства с хитрыми процедурами?
Можно PowerBI dataflows посмотреть, там инкрементный рефреш есть. А данные, согласен с @ashamsh надо напрямую тянуть из SQL
источник

EH

Emil Hasanov in Power BI Group RU
либо, если вы хотите биться за каждый мегабайт, придется продумать систему подгрузки и объединять старые данные с новыми
источник

DL

Dmitry Lebedev in Power BI Group RU
Alexey
Можно PowerBI dataflows посмотреть, там инкрементный рефреш есть. А данные, согласен с @ashamsh надо напрямую тянуть из SQL
И в обычном есть, и без data flow вроде, но ключ нужен
источник