Size: a a a

2021 January 22

A

Andrey 🐘 in Scrapy
Тогда я не совсем вот это понял: "The evil egg is because scrapyd is not behind firewall and they have access to deploy from scrapyd api. I uses iptables to let scrapyd accessible only for defined ips and into local network to can interact with api from another server."
источник

i

i in Scrapy
не ну не. вона постгрес валяясь на правильном порту прекрасно взламывается через уязвимости. Хотя и база защищена паролем может быть
источник

К

Кирилл in Scrapy
Andrey 🐘
Короче я так понял проблема в связке scrapy - scrapyd, посколько scrapy использует scrapyd API. Нужно настроить iptables так, чтобы scrapy мог только локально взаимодейстовать со scrapyd.
scrapyd только запускает скрапи, скрапи вообще трогать не нужно. Нужно разбираться с публичным доступом к scrapyd
источник

A

Andrey 🐘 in Scrapy
i
не ну не. вона постгрес валяясь на правильном порту прекрасно взламывается через уязвимости. Хотя и база защищена паролем может быть
Да, проблема в том что настраивал не я. Я пришёл на сервер заниматься оптимизацией базы а там такое.
источник

AR

Andrey Rahmatullin in Scrapy
в чём вопрос тогда
источник

AR

Andrey Rahmatullin in Scrapy
и нет, "Поможет ли обновление до последней версии 2.4.1. " - нет, не поможет, т.к. проблема не в скрапи
источник

A

Andrii in Scrapy
Тогда не трогай, а оптимизируй базу и укажи на проблему нужному человеку
источник

AR

Andrey Rahmatullin in Scrapy
и да
источник

i

i in Scrapy
Andrey 🐘
Всем привет! Используем версию 2.3.0 и словили трояна kinsing. Поможет ли обновление до последней версии 2.4.1. Кто-нибудь слышал об этом?
а что за сервер? я обычно, если это убунту, настраиваю canonical livepatch service, чтобы автоматом прилетали патчи и ставились без перезагрузки на секурные уязвимости. Ну и проверяю, чтобы порты внезапно не оказались бы открыты снаружи (в частности, таким образом когда-то я и обнаружил странное поведение ufw  с докером - вроде ufw пашет, а постгрес видать).
https://ubuntu.com/livepatch
источник

К

Кирилл in Scrapy
i
а что за сервер? я обычно, если это убунту, настраиваю canonical livepatch service, чтобы автоматом прилетали патчи и ставились без перезагрузки на секурные уязвимости. Ну и проверяю, чтобы порты внезапно не оказались бы открыты снаружи (в частности, таким образом когда-то я и обнаружил странное поведение ufw  с докером - вроде ufw пашет, а постгрес видать).
https://ubuntu.com/livepatch
Ты закрываешь постгрес через ufw или граничиваешь доступ?
источник

i

i in Scrapy
ну база запаролена. она вне конта лежит. постгресс к примеру запускается контом. и все это сверху закрыто с ufw, чтобы снаружи вообще ничего не было доступно. что-то можно еще сделать?
источник

К

Кирилл in Scrapy
Можно просто на локалхост только направить
источник

К

Кирилл in Scrapy
короче 127.0.0.1 вместо 0.0.0.0
источник

i

i in Scrapy
а, еще fail2ban. Дальше моя прогерская мысль уже не доходила)
источник

i

i in Scrapy
да там в логах постоянно перебирают айпишники - либо самого сервера, либо localhost пишут, либо 127.0.0.1 этот же, подозреваю есть какие-то уязвимости и с такой фигней. вообще конечно смотреть на логи страшно. Я как-то так залез, напугался, и обновил джанго в итоге до последней версии LTS, там где-то в середине есть CVE вида "можно увести пароль админа".
источник

i

i in Scrapy
источник

К

Кирилл in Scrapy
Это стандартная тема, всё делаешь на локалхост, к примеру сервисы, скрапид и всё такое. И уже потом через nginx к примеру открываешь публично. Или можно не открывать, но через тот же курл через ssh использовать
источник

i

i in Scrapy
источник

К

Кирилл in Scrapy
Ну, это уже джанговские проблемы)
источник

К

Кирилл in Scrapy
Я имел ввиду, что можно изначально наружу не открываться, чтоб потом порты не прятать, как вариант. Но оба варианта рабочие
источник