V
Size: a a a
2020 February 26
H
Позавтракали в граблях про построение карты потока ценности (VSM), разобрали кейсы, когда и для чего это имеет смысл :)
А скажите пожалуйста, что за девайс?
IM
А скажите пожалуйста, что за девайс?
айпад?
KT
А скажите пожалуйста, что за девайс?
ипад
c
Выкинь компоуз, настрой оркестрацию
+
2020 February 27
VK
Гуру glusterfs и/или linux есть?
При попытке чтения или записи файла на примонтированном glusterfs вольюме система уходит во фриз. При этом
Система centos-7. Поведение стабильно воспроизводится на “проде”, на тестовых окружениях (которые чем-то да отличаются) все прекрасно работает.
Зависает примерно на 30 минут.
Запустил параллельно iotop, iostat, dstat и atop. iotop - завис, остальные работают. По метрикам не вижу никаких проблем, возможно не туда смотрю.
CPU почти все время в idle, iowait не растет. На диски что-то даже пишется. По сети что-то ходит.
Зайти по ssh или выполнить новую команду, конечно же, нельзя
В логах из примечательного:
Несколько процессов отваливаются со стректрейсом и записью
На одном сервере были такие вот записи во время фриза. На других не видел.
При попытке чтения или записи файла на примонтированном glusterfs вольюме система уходит во фриз. При этом
ls работает.Система centos-7. Поведение стабильно воспроизводится на “проде”, на тестовых окружениях (которые чем-то да отличаются) все прекрасно работает.
Зависает примерно на 30 минут.
Запустил параллельно iotop, iostat, dstat и atop. iotop - завис, остальные работают. По метрикам не вижу никаких проблем, возможно не туда смотрю.
CPU почти все время в idle, iowait не растет. На диски что-то даже пишется. По сети что-то ходит.
Зайти по ssh или выполнить новую команду, конечно же, нельзя
В логах из примечательного:
Несколько процессов отваливаются со стректрейсом и записью
INFO: task <proc>:<pid> blocked for more than 120 seconds.
На одном сервере были такие вот записи во время фриза. На других не видел.
notice: High CPU load detected: 23.740000
VK
Что делать? куда копать?
SP
Что делать? куда копать?
Попробуй снизить таймаут TCP - будет отваливаться быстрее.
V
Я думаю в @nginx_ru точно много экспертов на этот вопрос)
D
AL
Гуру glusterfs и/или linux есть?
При попытке чтения или записи файла на примонтированном glusterfs вольюме система уходит во фриз. При этом
Система centos-7. Поведение стабильно воспроизводится на “проде”, на тестовых окружениях (которые чем-то да отличаются) все прекрасно работает.
Зависает примерно на 30 минут.
Запустил параллельно iotop, iostat, dstat и atop. iotop - завис, остальные работают. По метрикам не вижу никаких проблем, возможно не туда смотрю.
CPU почти все время в idle, iowait не растет. На диски что-то даже пишется. По сети что-то ходит.
Зайти по ssh или выполнить новую команду, конечно же, нельзя
В логах из примечательного:
Несколько процессов отваливаются со стректрейсом и записью
На одном сервере были такие вот записи во время фриза. На других не видел.
При попытке чтения или записи файла на примонтированном glusterfs вольюме система уходит во фриз. При этом
ls работает.Система centos-7. Поведение стабильно воспроизводится на “проде”, на тестовых окружениях (которые чем-то да отличаются) все прекрасно работает.
Зависает примерно на 30 минут.
Запустил параллельно iotop, iostat, dstat и atop. iotop - завис, остальные работают. По метрикам не вижу никаких проблем, возможно не туда смотрю.
CPU почти все время в idle, iowait не растет. На диски что-то даже пишется. По сети что-то ходит.
Зайти по ssh или выполнить новую команду, конечно же, нельзя
В логах из примечательного:
Несколько процессов отваливаются со стректрейсом и записью
INFO: task <proc>:<pid> blocked for more than 120 seconds.
На одном сервере были такие вот записи во время фриза. На других не видел.
notice: High CPU load detected: 23.740000
Судя по https://docs.gluster.org/en/latest/Quick-Start-Guide/Architecture/ у гластера есть трянсляторы Debug и Performance, которые могут помочь в раскопках
GM
Гуру glusterfs и/или linux есть?
При попытке чтения или записи файла на примонтированном glusterfs вольюме система уходит во фриз. При этом
Система centos-7. Поведение стабильно воспроизводится на “проде”, на тестовых окружениях (которые чем-то да отличаются) все прекрасно работает.
Зависает примерно на 30 минут.
Запустил параллельно iotop, iostat, dstat и atop. iotop - завис, остальные работают. По метрикам не вижу никаких проблем, возможно не туда смотрю.
CPU почти все время в idle, iowait не растет. На диски что-то даже пишется. По сети что-то ходит.
Зайти по ssh или выполнить новую команду, конечно же, нельзя
В логах из примечательного:
Несколько процессов отваливаются со стректрейсом и записью
На одном сервере были такие вот записи во время фриза. На других не видел.
При попытке чтения или записи файла на примонтированном glusterfs вольюме система уходит во фриз. При этом
ls работает.Система centos-7. Поведение стабильно воспроизводится на “проде”, на тестовых окружениях (которые чем-то да отличаются) все прекрасно работает.
Зависает примерно на 30 минут.
Запустил параллельно iotop, iostat, dstat и atop. iotop - завис, остальные работают. По метрикам не вижу никаких проблем, возможно не туда смотрю.
CPU почти все время в idle, iowait не растет. На диски что-то даже пишется. По сети что-то ходит.
Зайти по ssh или выполнить новую команду, конечно же, нельзя
В логах из примечательного:
Несколько процессов отваливаются со стректрейсом и записью
INFO: task <proc>:<pid> blocked for more than 120 seconds.
На одном сервере были такие вот записи во время фриза. На других не видел.
notice: High CPU load detected: 23.740000
с таким количеством информации как вообще можно помочь? может у тебя версия с багом, может у тебя диски не из HCL, может у тебя сетевые настройки не правильные. Вариантов огромное множество.
GM
Судя по https://docs.gluster.org/en/latest/Quick-Start-Guide/Architecture/ у гластера есть трянсляторы Debug и Performance, которые могут помочь в раскопках
а судя по практичскому опыту гластер можно использовать только с премиум саппортом от редахата и на редхате и железо должен специально обученный человек подбирать
AL
а судя по практичскому опыту гластер можно использовать только с премиум саппортом от редахата и на редхате и железо должен специально обученный человек подбирать
можно пофлеймить, можно человеку попробовать помочь советом. Ты советуешь ему сегодня купить поддержку и поменять железо? 😁
GM
я давно таких советов не даю, но для любого же очевидно что лезть в такие сложные штуки как гластер, цеф и прочее без компетенций самоубийство
AL
все что нас не убивает, делает сильнее )
GM
тут дебага может быть на херову кучу часов, надо или сразу ценник за час выкладывать или идти искать краткие курсы по дебагу линукс бейсд систем начав например с сайта Брендана Грегга :D
AL
Виталий ведь не спрашивал, сколько денег с клиента взять
GM
у меня был прекрасный случай с гластером и саппортом от редаха - в итоге оказалось что диски "не те" были