D
Алексей Покидышев
Если есть возможность, опишите, какой metric_log и как его отключить
он кстати по умолчанию выключен... поэтому ничего страшного не будет, это для анализа истории метрик
Size: a a a
2020 September 06
АП
он кстати по умолчанию выключен... поэтому ничего страшного не будет, это для анализа истории метрик
Мы только собираем IPFIX, явно этот модуль не включал
АП
смотрите на какие именно, есть ли закономерность...
На разные, закономерности нет
D
Алексей Покидышев
Мы только собираем IPFIX, явно этот модуль не включал
ну, выключите, ну и почитайте другие ошибки... системные или ваши таблицы тоже есть?
l
Алексей Покидышев
Полный текст
2020.08.29 02:18:57.533854 [ 100223 ] {} <Error> void DB::BackgroundProcessingPool::workLoopFunc(): Code: 241, e.displayText() = DB::Exception: Memory limit (total)
exceeded: would use 57.54 GiB (attempt to allocate chunk of 4222464 bytes), maximum: 57.54 GiB: (while reading column CurrentMetric_StorageBufferBytes): (while rea
ding from part /var/db/clickhouse/data/system/metric_log/202008_23373_25048_335/ from mark 2 with max_rows_to_read = 5607), Stack trace (when copying this message,
always include the lines below):
2020.08.29 02:18:57.533854 [ 100223 ] {} <Error> void DB::BackgroundProcessingPool::workLoopFunc(): Code: 241, e.displayText() = DB::Exception: Memory limit (total)
exceeded: would use 57.54 GiB (attempt to allocate chunk of 4222464 bytes), maximum: 57.54 GiB: (while reading column CurrentMetric_StorageBufferBytes): (while rea
ding from part /var/db/clickhouse/data/system/metric_log/202008_23373_25048_335/ from mark 2 with max_rows_to_read = 5607), Stack trace (when copying this message,
always include the lines below):
Интересная ошибка
АП
ну, выключите, ну и почитайте другие ошибки... системные или ваши таблицы тоже есть?
Есть и наши таблицы в ошибках
D
Алексей Покидышев
Есть и наши таблицы в ошибках
может ФС нехорошая...
смотрите что в этом потоке до этого. Поток - в квадратных скобках... грепните, посмотрите что до, что после...
2020.08.29 02:18:57.533854 [ 100223 ] {} <Error> void DB::BackgroundProcessingPool::workLoopFunc(): Code: 241, e.displayText() = DB::Exception: Memory limit (total)
exceeded: would use 57.54 GiB (attempt to allocate chunk of 4222464 bytes), maximum: 57.54 GiB: (while reading colu
смотрите что в этом потоке до этого. Поток - в квадратных скобках... грепните, посмотрите что до, что после...
2020.08.29 02:18:57.533854 [ 100223 ] {} <Error> void DB::BackgroundProcessingPool::workLoopFunc(): Code: 241, e.displayText() = DB::Exception: Memory limit (total)
exceeded: would use 57.54 GiB (attempt to allocate chunk of 4222464 bytes), maximum: 57.54 GiB: (while reading colu
АП
может ФС нехорошая...
смотрите что в этом потоке до этого. Поток - в квадратных скобках... грепните, посмотрите что до, что после...
2020.08.29 02:18:57.533854 [ 100223 ] {} <Error> void DB::BackgroundProcessingPool::workLoopFunc(): Code: 241, e.displayText() = DB::Exception: Memory limit (total)
exceeded: would use 57.54 GiB (attempt to allocate chunk of 4222464 bytes), maximum: 57.54 GiB: (while reading colu
смотрите что в этом потоке до этого. Поток - в квадратных скобках... грепните, посмотрите что до, что после...
2020.08.29 02:18:57.533854 [ 100223 ] {} <Error> void DB::BackgroundProcessingPool::workLoopFunc(): Code: 241, e.displayText() = DB::Exception: Memory limit (total)
exceeded: would use 57.54 GiB (attempt to allocate chunk of 4222464 bytes), maximum: 57.54 GiB: (while reading colu
ufs, фс новая, ей 2 недели от роду))))) на 36Тб
АП
может ФС нехорошая...
смотрите что в этом потоке до этого. Поток - в квадратных скобках... грепните, посмотрите что до, что после...
2020.08.29 02:18:57.533854 [ 100223 ] {} <Error> void DB::BackgroundProcessingPool::workLoopFunc(): Code: 241, e.displayText() = DB::Exception: Memory limit (total)
exceeded: would use 57.54 GiB (attempt to allocate chunk of 4222464 bytes), maximum: 57.54 GiB: (while reading colu
смотрите что в этом потоке до этого. Поток - в квадратных скобках... грепните, посмотрите что до, что после...
2020.08.29 02:18:57.533854 [ 100223 ] {} <Error> void DB::BackgroundProcessingPool::workLoopFunc(): Code: 241, e.displayText() = DB::Exception: Memory limit (total)
exceeded: would use 57.54 GiB (attempt to allocate chunk of 4222464 bytes), maximum: 57.54 GiB: (while reading colu
И потоки разные
АП
Может в конфиге можно использовать конеркретное количество памяти? он пытается ее испоьзовать а ее нет. Паралельно работает influx
D
Алексей Покидышев
И потоки разные
не не, имел ввиду посмотрите что именно пытался делать этот поток перед ошибкой
DT
Алексей Покидышев
Может в конфиге можно использовать конеркретное количество памяти? он пытается ее испоьзовать а ее нет. Паралельно работает influx
сколько оперативной памяти?
АП
сколько оперативной памяти?
всего на серванте 64gb
DT
57 гб это ровнехенько 0.9 от общей памяти
D
Алексей Покидышев
Может в конфиге можно использовать конеркретное количество памяти? он пытается ее испоьзовать а ее нет. Паралельно работает influx
КХ как минимум неправильно считает сколько ему нужно... когда он не может саллоцировать ошибка другая.
DT
недавно в кх поменяли максимальный объем, который он может брать у озу до 0.9 от ее объема
АП
недавно в кх поменяли максимальный объем, который он может брать у озу до 0.9 от ее объема
мы сейчас прикрутили до 8 гигов памяти, он продолжает работать нормально
n🐈
а может во фре оверкоммит другой?
DC
OG
Алексей Покидышев
На фряхе стоит 20,7,2,30
а на 20.5.4.40 были проблемы или сразу на 20.7.2.30 прыгнули? У меня тоже есть CH для аналитики на FreeBSD в финтехе ( + линуксы ). Если патч сможешь проверить ( https://github.com/ClickHouse/ClickHouse/pull/13869 ), то я на уровне FreeBSD ports его могу притянуть, пока официально не в апстриме.