Size: a a a

OpenStack — русскоговорящее сообщество

2020 November 17

AM

Aleksey Myltsev in OpenStack — русскоговорящее сообщество
Danil
нет. В одной
А вот второе проверю. А где эта инфа хранится? В базе мб поле какое-то есть?
https://github.com/openstack/nova/blob/9419c3e05499e55beda93d664197a7b0f0011ff7/nova/scheduler/weights/compute.py
ну вот тут код намекает что у хостов есть какой-то счетчик failed_builds
источник

EM

Eugen Mikhailenko in OpenStack — русскоговорящее сообщество
Danil
Я забил на какое-то время, теперь вернулся к теме. На данный момент после включения дебаг логов похоже, что почему-то scheduler то ли не видит, то ли не включает в выборку все ноды кроме одной, которая до этого была руками задизейблена.
В host_manager.py докопался до функции "_get_computes_for_cells", которая действительно возвращает только один хост, видит что он выключен и рапортует, что хостов нет. Сейчас я пытаюсь понять почему она не видит свободные хосты

Есть подозрение, что это связано со следующими строчками. Всего у меня 3 хоста сейчас, и в логе я вижу
oslo_concurrency.lockutils [req-3c77b138-d6f8-465b-a5e0-d18be8d5818d 26f288d0831a4dcbb4c6ccc1aa30258c 968fc03383e14cc2aa30b8bacc3de263 - default default] Lock "b2194806-d9b1-4539-8cb0-e036aa2e3ec8" acquired by "nova.context.get_or_set_cached_cell_and_set_connections" :: waited 0.000s inner /usr/lib/python2.7/site-packages/oslo_concurrency/lockutils.py:270

oslo_concurrency.lockutils [req-3c77b138-d6f8-465b-a5e0-d18be8d5818d 26f288d0831a4dcbb4c6ccc1aa30258c 968fc03383e14cc2aa30b8bacc3de263 - default default] Lock "b2194806-d9b1-4539-8cb0-e036aa2e3ec8" released by "nova.context.get_or_set_cached_cell_and_set_connections" :: held 0.000s inner /usr/lib/python2.7/site-packages/oslo_concurrency/lockutils.py:282

oslo_concurrency.lockutils [req-3c77b138-d6f8-465b-a5e0-d18be8d5818d 26f288d0831a4dcbb4c6ccc1aa30258c 968fc03383e14cc2aa30b8bacc3de263 - default default] Lock "(u'iris.*****', u'iris.******')" acquired by "nova.scheduler.host_manager._locked_update" :: waited 0.000s inner /usr/lib/python2.7/site-packages/oslo_concurrency/lockutils.py:270

Есть какие-то идеи, что это за блокировки и как они могут влиять?
nova-manage cell_v2 discover_hosts нормально отрабатывает?
источник

D

Danil in OpenStack — русскоговорящее сообщество
да, если под нормально считать, что ничего не выводит
источник

EM

Eugen Mikhailenko in OpenStack — русскоговорящее сообщество
Danil
да, если под нормально считать, что ничего не выводит
и в openstack host list всё также один активный хост? после этого
источник

EM

Eugen Mikhailenko in OpenStack — русскоговорящее сообщество
Danil
Я забил на какое-то время, теперь вернулся к теме. На данный момент после включения дебаг логов похоже, что почему-то scheduler то ли не видит, то ли не включает в выборку все ноды кроме одной, которая до этого была руками задизейблена.
В host_manager.py докопался до функции "_get_computes_for_cells", которая действительно возвращает только один хост, видит что он выключен и рапортует, что хостов нет. Сейчас я пытаюсь понять почему она не видит свободные хосты

Есть подозрение, что это связано со следующими строчками. Всего у меня 3 хоста сейчас, и в логе я вижу
oslo_concurrency.lockutils [req-3c77b138-d6f8-465b-a5e0-d18be8d5818d 26f288d0831a4dcbb4c6ccc1aa30258c 968fc03383e14cc2aa30b8bacc3de263 - default default] Lock "b2194806-d9b1-4539-8cb0-e036aa2e3ec8" acquired by "nova.context.get_or_set_cached_cell_and_set_connections" :: waited 0.000s inner /usr/lib/python2.7/site-packages/oslo_concurrency/lockutils.py:270

oslo_concurrency.lockutils [req-3c77b138-d6f8-465b-a5e0-d18be8d5818d 26f288d0831a4dcbb4c6ccc1aa30258c 968fc03383e14cc2aa30b8bacc3de263 - default default] Lock "b2194806-d9b1-4539-8cb0-e036aa2e3ec8" released by "nova.context.get_or_set_cached_cell_and_set_connections" :: held 0.000s inner /usr/lib/python2.7/site-packages/oslo_concurrency/lockutils.py:282

oslo_concurrency.lockutils [req-3c77b138-d6f8-465b-a5e0-d18be8d5818d 26f288d0831a4dcbb4c6ccc1aa30258c 968fc03383e14cc2aa30b8bacc3de263 - default default] Lock "(u'iris.*****', u'iris.******')" acquired by "nova.scheduler.host_manager._locked_update" :: waited 0.000s inner /usr/lib/python2.7/site-packages/oslo_concurrency/lockutils.py:270

Есть какие-то идеи, что это за блокировки и как они могут влиять?
по-моему эти команды не делают погоду, они нужны лишь для того, чтоб регулярно собирать статистику (если ошибаюсь, поправьте)
источник

D

Danil in OpenStack — русскоговорящее сообщество
Aleksey Myltsev
1. а случаем у тебя компьюты не в разных cells?
2. случаем на других нодах ВМ не фейлились? У шедулера есть фильтр который выводит ноду из шедулинга если на ней фейлилась ВМ. Типа чтобы не плодить фейлы. Выключается вот так:
[filter_scheduler]
build_failure_weight_multiplier = 0
не помогло
источник

D

Danil in OpenStack — русскоговорящее сообщество
В общем завтра видимо буду разбираться каким конкретно запросом он получает только один хост
источник

EM

Eugen Mikhailenko in OpenStack — русскоговорящее сообщество
Danil
В общем завтра видимо буду разбираться каким конкретно запросом он получает только один хост
а какие вообще фильтры присутствуют ?
источник

AM

Aleksey Myltsev in OpenStack — русскоговорящее сообщество
Danil
нет. В одной
А вот второе проверю. А где эта инфа хранится? В базе мб поле какое-то есть?
как минимум в nova есть таблица instance_faults и там лежат сфейленые ВМ с привязкой по хостам
источник

D

Danil in OpenStack — русскоговорящее сообщество
ок, гляну
источник

AM

Aleksey Myltsev in OpenStack — русскоговорящее сообщество
Danil
В общем завтра видимо буду разбираться каким конкретно запросом он получает только один хост
погоди у тебя прямо в листинге 1 хост?
источник

D

Danil in OpenStack — русскоговорящее сообщество
Aleksey Myltsev
погоди у тебя прямо в листинге 1 хост?
не в листинге. В host list 3 хоста, один из которых выключен руками, и именно он попадает в выборку, но естественно не подходит, потому что в статусе disable
источник

AM

Aleksey Myltsev in OpenStack — русскоговорящее сообщество
проблема в том что он попадает или в том что другие не принимаются?
источник

AM

Aleksey Myltsev in OpenStack — русскоговорящее сообщество
зона одна?
источник

AM

Aleksey Myltsev in OpenStack — русскоговорящее сообщество
openstack resource provider list
что показывает?
источник

D

Danil in OpenStack — русскоговорящее сообщество
service provider только есть и resource member. Релиз pike если что
источник

EM

Eugen Mikhailenko in OpenStack — русскоговорящее сообщество
Danil
не в листинге. В host list 3 хоста, один из которых выключен руками, и именно он попадает в выборку, но естественно не подходит, потому что в статусе disable
а если явно указать, какой хост использовать?
openstack server create --availability-zone ZONE:HOST:NODE ... SERVER https://docs.openstack.org/nova/latest/admin/availability-zones.html
источник

D

Danil in OpenStack — русскоговорящее сообщество
Aleksey Myltsev
проблема в том что он попадает или в том что другие не принимаются?
Проблема в том, что в выборке один хост, хотя должно бы быть 3, и з которых выключенный потом отфильтруется
источник

D

Danil in OpenStack — русскоговорящее сообщество
зоны доступности я не создавал
источник

EM

Eugen Mikhailenko in OpenStack — русскоговорящее сообщество
Danil
Проблема в том, что в выборке один хост, хотя должно бы быть 3, и з которых выключенный потом отфильтруется
openstack host set [-h] [--enable | --disable]
                         [--enable-maintenance | --disable-maintenance]
                         <host>
может, они отключены ?
источник