Size: a a a

ClickHouse не тормозит

2020 August 04

АВ

Александр Веселов... in ClickHouse не тормозит
всем привет) какое совпадение, тоже ковыряю КХ как организовать базу доменов с данными))
источник

D

Denis in ClickHouse не тормозит
Александр Веселов
всем привет) какое совпадение, тоже ковыряю КХ как организовать базу доменов с данными))
мы ещё и однофамильцы если что))))
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
А может вы брать?
источник

ДГ

Дима Гуманов... in ClickHouse не тормозит
Кто-то может поделится статьёй, как прикрутить к кликхаус tls? Ничего годного не нашёл на просторах интернета (
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Дима Гуманов
Кто-то может поделится статьёй, как прикрутить к кликхаус tls? Ничего годного не нашёл на просторах интернета (
в config.xml все написано
источник

D

Dj in ClickHouse не тормозит
Denis
после загрузки данных - большинство да, вот тот пример запроса что я привел выше - это первое что мне хочется проанализировать (правда, LIMIT 100 там стоит просто потому что pg не вывозит, вообще мне все домены получать хочется)
ну если лень делать умный парсер (который возьмет весь последний день в память и сделает дифф по нему), то можно так (грузите все записи тупо каждый день, ставите order by по полям по которым будет фильтрация):
select tgtdate, domainname, groupArray(ns), 
if(count(ns)=sum(deleted), 1,0) as isdeleted,
if(count(ns)=sum(added), 1,0) as isadded,
if(count(ns)!=sum(notchanged) and not isadded and not isdeleted, 1,0) as ismodified
from
(
 select all_dates[2] as tgtdate, domainname, ns,
 --- use for troubleshooting
 groupArrayInsertAt('none', 2)(ns, toUInt32(indexOf(all_dates, dt) - 1)) arrData,
 If( (countIf(dt=toDate('2020-01-09')) as existsYesterday ) and not (countIf(dt=toDate('2020-01-10')) as existsToday),1,0 ) as deleted,
 If( (not existsYesterday) and existsToday,1,0 ) as added,
 If(  existsYesterday  and  existsToday,1,0 ) as notchanged
 --arrayElement(groupArrayInsertAt(Null, 2)(tuple(toNullable(ns)), toUInt32(indexOf(all_dates, toDate(datadatetime)) - 1)).1 as values, 1) as "daybefore",
 from (
   with [ toDate('2020-01-09'), toDate('2020-01-10') ] as all_dates
   select dt, domainname, ns, all_dates
   from
   (
     -- this is generated sample data
     select dt, domainname, arraySort(x-> x, groupArray(NS)) sortedNSList from (
     select toDate('2020-01-08') +cityHash64(number,3)%4 as dt, 'ns'|| toString(cityHash64(number,0)%5) as NS, toString(cityHash64(number%25,1)) domainname from numbers(100)
     ) group by dt, domainname order by dt
   ) array join sortedNSList as ns
   where 1=1
--      and domainname='10497707425991577777'
     and dt in (all_dates)
 ) group by tgtdate, domainname, ns
)
group by tgtdate, domainname;
источник

D

Denis in ClickHouse не тормозит
Один вопрос: а какой движок для чего там сделать? Я ж даже с этого не могу начать и понять что нужно
источник

D

Denis in ClickHouse не тормозит
Спасибо за запрос, попробую разобраться
источник

D

Dj in ClickHouse не тормозит
Denis
Один вопрос: а какой движок для чего там сделать? Я ж даже с этого не могу начать и понять что нужно
merge tree, в таблицу лучше на каждый NS по строке прямо и грузите, partition by date, order by domainname or prefix_domainname
источник

D

Denis in ClickHouse не тормозит
А если мы говорим о том, что оно все в памяти будет работать, то с моим текущим сервером на 4ГБ RAM оно заработает вообще в теории?
источник
2020 August 05

D

Dj in ClickHouse не тормозит
Denis
А если мы говорим о том, что оно все в памяти будет работать, то с моим текущим сервером на 4ГБ RAM оно заработает вообще в теории?
4GB RAM - КХ вообще вряд ли заработает... начинайте от 32
источник

D

Denis in ClickHouse не тормозит
🤯 Оу
источник

D

Denis in ClickHouse не тормозит
Спачибо
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
Dj
4GB RAM - КХ вообще вряд ли заработает... начинайте от 32
ну это ты загнул
источник

D

Dj in ClickHouse не тормозит
Denis
🤯 Оу
вообще ваша проблема решается sqlite-ом, не говоря о ПГ, если делать парсером обновления состояния
источник

D

Dj in ClickHouse не тормозит
Денис Устинов
ну это ты загнул
делайте ваши ставки господа =)
источник

D

Dj in ClickHouse не тормозит
у нас подобная задача была, ВМ не хватало  24, правда там словарик был на 6-7Г, помимо всего прочего
источник

D

Dj in ClickHouse не тормозит
Denis
🤯 Оу
если всегда фильтровать по домену, то в принципе можно
источник

D

Denis in ClickHouse не тормозит
Dj
вообще ваша проблема решается sqlite-ом, не говоря о ПГ, если делать парсером обновления состояния
Sqlite? Можно подробнее как?
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
м, под задачу с доменами я бы вообще 48 выделил =)
источник