DC
Скажите, имеет ли смысл юзать КХ для хранения пользовательских логов, которые при этом иногда нужно обновлять.
сначала нужно понять почему не подходят просто файлы. Т.е. КХ не для хранения хлама.
Size: a a a
2021 February 12
DC
Bedretdinov Nadir
query_thread_log - сожрал 120GB как можно ограничить логирование
RO
Добрый вечер коллеги. Задача со звездочкой: есть колонка типа массива куча линий. Есть секция where. Хотелось бы посчитать метрику по всем выбранным линиям и получить скалярное значение метрики. Идея использовать суффиксы State и Merge не работает. Пробовал на первом уровне делать arrayMap(x -> avgState(x)) as lvl1 кх ругается, что не знает колонку х от ламбда функции. Попробывал arrayMap(x -> avgState(clm[x]), arrayEnumerate(clm)) AS lvl1 - кх ругается: Unknown identifier: x there are columns: clm. avgForEach не позволяет потом собрать в скаляр... Функция то не линейная... Есть идеи?
DC
Required Optional
Добрый вечер коллеги. Задача со звездочкой: есть колонка типа массива куча линий. Есть секция where. Хотелось бы посчитать метрику по всем выбранным линиям и получить скалярное значение метрики. Идея использовать суффиксы State и Merge не работает. Пробовал на первом уровне делать arrayMap(x -> avgState(x)) as lvl1 кх ругается, что не знает колонку х от ламбда функции. Попробывал arrayMap(x -> avgState(clm[x]), arrayEnumerate(clm)) AS lvl1 - кх ругается: Unknown identifier: x there are columns: clm. avgForEach не позволяет потом собрать в скаляр... Функция то не линейная... Есть идеи?
боюсь никто не ответит, я прочитал 3 раза, ничено не понятно. Вы слишком далеко улетели, я например не знаю что такое "скалярное значение метрики"
pk
Required Optional
Добрый вечер коллеги. Задача со звездочкой: есть колонка типа массива куча линий. Есть секция where. Хотелось бы посчитать метрику по всем выбранным линиям и получить скалярное значение метрики. Идея использовать суффиксы State и Merge не работает. Пробовал на первом уровне делать arrayMap(x -> avgState(x)) as lvl1 кх ругается, что не знает колонку х от ламбда функции. Попробывал arrayMap(x -> avgState(clm[x]), arrayEnumerate(clm)) AS lvl1 - кх ругается: Unknown identifier: x there are columns: clm. avgForEach не позволяет потом собрать в скаляр... Функция то не линейная... Есть идеи?
что такое "типа массива куча линий"
RO
боюсь никто не ответит, я прочитал 3 раза, ничено не понятно. Вы слишком далеко улетели, я например не знаю что такое "скалярное значение метрики"
Ну в математике скаляр - это вещественное число (размерность = 0) потом идет вектор (размерность 1) потом матрица (размерность 2) и далее тензоры. Ну в общем я хотел бы посчитать например avg([1, 2, 3], [3, 4, 5])
DC
Required Optional
Ну в математике скаляр - это вещественное число (размерность = 0) потом идет вектор (размерность 1) потом матрица (размерность 2) и далее тензоры. Ну в общем я хотел бы посчитать например avg([1, 2, 3], [3, 4, 5])
arrayReduce('avg', flatten([[1],[2]])
DC
select arrayReduce('avg', groupArrayArray(a)) from (select [1,2] a union all select [3,4])
RO
что такое "типа массива куча линий"
куча линий в таблице в которой выбирается только некотрые. В таблице есть колонка у, которая есть массив вещественных чисел одной длины. Так вот хотелось бы посчитать одно число которое явлется метрикой по всем значениям в этом выбраных линиях массива.
DC
мы не используем слово линия, пишите уже сразу на англ.
RO
arrayReduce('avg', flatten([[1],[2]])
спасибо попробую агрегитировать массив в матрицу
RO
:) а как же чистота языка :)
DC
Required Optional
куча линий в таблице в которой выбирается только некотрые. В таблице есть колонка у, которая есть массив вещественных чисел одной длины. Так вот хотелось бы посчитать одно число которое явлется метрикой по всем значениям в этом выбраных линиях массива.
похоже что нужен avgMap, пример давайте что на входе что нужно на выходе
DC
Required Optional
:) а как же чистота языка :)
я в двуязычной провинции живу, мне можно
RO
есть такой avgMap? в доке не нашел в комбинаторах агрегатных функций...
l
Required Optional
есть такой avgMap? в доке не нашел в комбинаторах агрегатных функций...
Нету, но можно через суммап попробовать
DC
Похоже я нашел проблему. Помог перезапуск КХ. DDL запросы отработали. Видимо проблема подключения с ЗК. Но это не точно. Тут вопрос как этом можно понять и сделать переподключение к ЗК? Если это вообще проблема с этим, так как я же без проблем делаю
select * from system.zookeeper where path = '/clickhouse/task_queue/ddl' \G на проблемных хостах.такое надо по логам КХ смотреть. Что-то странное вы говорите.
DC
наверно STOP REPLICA/START REPLICA
это не поможет, это вообще не про репликацию
тут скорее detach table / attach
тут скорее detach table / attach
DC
Коллеги, привет! Какой сейчас самый быстрый и простой способ скопировать стендалон инстанс кликхауса на другой хост? Нужно переехать с одного хоста на другой
вообще, rsync диф несколько раз на ходу , потом остановить КХ и финальный rsync
❌
такое надо по логам КХ смотреть. Что-то странное вы говорите.
Подробные логи не были включены. Странно, не странно. А факт на лицо )) дитач/аттач чего? Я же создавал таблицу, как ее дитачить если ее нет?