Д
не) вы не поняли, то что в pastebin это значение с которым сравнивается, а не в котором ищут и на это он выдает 100% совпадение @den_crane
и среди этих слов нету слова "поправки"
Size: a a a
2020 July 07
DC
не) вы не поняли, то что в pastebin это значение с которым сравнивается, а не в котором ищут и на это он выдает 100% совпадение @den_crane
да я понял, я вижу 1, я говорю 1 это сумма от того что я привел, мне неинтересно разбираться но я вижу в доке количество общих n-грамм,
DC
и среди этих слов нету слова "поправки"
что правда?
DC
ngram между словами, у вас одно слово 3 кб, другое поправки
Д
да я понял, я вижу 1, я говорю 1 это сумма от того что я привел, мне неинтересно разбираться но я вижу в доке количество общих n-грамм,
Понял. Просто в postgres это работало чуть иначе
DC
прошу прощения, но я поторопился. логика ясна не до конца. если надо выбрать 5 рандомно из 10, непонятно. rand(5) не работает, а повторять функцию на выбор одного как-то громоздко. при этом результат желательно сразу получить в виде массива
select arraySlice(arraySort( x -> rand(x), arr ),3) from (select ['a', 'b', 'c', 'd', 'e'] as arr);
сортируем рандомом, берем 3
сортируем рандомом, берем 3
МО
select arraySlice(arraySort( x -> rand(x), arr ),3) from (select ['a', 'b', 'c', 'd', 'e'] as arr);
сортируем рандомом, берем 3
сортируем рандомом, берем 3
спасибо, изящно
DC
я долго тупил написав rand() вместо rand(x) , прикол в том что rand() выдает одно и тоже число для всей строки (оптимизация)
DC
вызывая rand(x) мы просто обманываем оптимизатор, как бы вызывая функцию rand с разным аргументом
DC
похоже на память, по заббиксу хватало, а на самом деле нет, было 4, стало 8 и вроде заработало.
и в логе КХ в режиме trace ничего не было? не верю
AL
что было - подозрений не вызвало, запросы в осноном
AL
сделал 5 попыток отправки - помогало
DC
то что заббикс показывал что проблем нет, это понятно, скорее всего у вас 20.4 со сломанным memory accounting
AL
ну вобщем надо начинать с памяти, а потом уже ядро и прочее )
DC
сейчас более детально опишу пример
есть кластер из 2 шардов, на каждом по 2 реплики
на каждой ноде есть таблица “events_shard” (ReplicatedMergeTree) и “events” (Distributed)
В кафке есть топик с названием “events”.
Из этого топика нужно записывать данные в БД.
для этого я создал табличку “events_kafka” (Kafka)
на него хочу повесить матвью
Хочу понять нужно ли это матвью делать на каждой ноде и куда лучше писать, в Distributed таблицу, либо в ReplicatedMergeTree таблицу.
Боюсь задублировать либо недозаписать данные.
есть кластер из 2 шардов, на каждом по 2 реплики
на каждой ноде есть таблица “events_shard” (ReplicatedMergeTree) и “events” (Distributed)
В кафке есть топик с названием “events”.
Из этого топика нужно записывать данные в БД.
для этого я создал табличку “events_kafka” (Kafka)
на него хочу повесить матвью
Хочу понять нужно ли это матвью делать на каждой ноде и куда лучше писать, в Distributed таблицу, либо в ReplicatedMergeTree таблицу.
Боюсь задублировать либо недозаписать данные.
KafkaEngine+MV на каждой ноде и писать локально в ReplicatedMergeTree
VB
KafkaEngine+MV на каждой ноде и писать локально в ReplicatedMergeTree
как раз проверил
завелось вроде норм
завелось вроде норм
VB
спасибо
VB
еще вопрос есть
у меня первое чтение из таблицы с движком Kafka прошло нормально и данные записались через матвью в MergeTree табличку
но теперь запись остановилась и в кафке лаг по этой группе
в логах ошибок тоже не вижу
у меня первое чтение из таблицы с движком Kafka прошло нормально и данные записались через матвью в MergeTree табличку
но теперь запись остановилась и в кафке лаг по этой группе
в логах ошибок тоже не вижу
VB
что это может быть?
DC
Привет! подскажите, пожалуйста, как можно дополнить этот скрипт https://gist.github.com/alexey-milovidov/2ebeb97a6dfe2e885e6cbae3bb2d7545#file-rank-txt-L63 следующей логикой: в каждой строчке выводить в разрезе каждого deptid значение salary с rank=1. Фактически, first_value использовать
SELECT empid, deptid, salary,salaries[1], rank