VK
ну дык с этим и разбираемся с @lilqu
Size: a a a
2021 June 12
ЧВ
Пусть уменьшит поток
VK
просто лягуха быстро работает когда, она начинает получать 429 ошибки валом
VK
и по идее там есть стоп на это событие
VK
ты видимо недочитал до этого момента
ЧВ
Я давно сократил поток до 3х сессий вроде в место 5
VK
да ну обычный сайт выдерижвает и сотку
VK
точнее нормальный сайт
VK
а обычный 5-10 потоков и без ограничения скорости
ЧВ
Все зависит от сервера, если обычный дешман хостинг, то большой сайт быстро ошибки кидать будет, если выделенный то нагрузка больше, он со своим сканом эмулирует dDos аттаку, число запросов больше, чем успевает ответить сервер. В итоге образуется очередь без ответов.
ЧВ
В добавок кривой прогер который написал шаблон через одно место и сервер на лопатках
VK
ну да. но я по оптыу говорю - 5 потоков большинство спокойно тянет.
если не тянет - ввопросы к хостингу. серверу и в целом системе по производительности
если не тянет - ввопросы к хостингу. серверу и в целом системе по производительности
VK
если миллионник, напримре, нельзя парсить со скорость больше 3 урлов в секунду, ну как бы он и индексироваться не будет нормально
ЧВ
Тут еще может быть временной фактор - на сайте поисковый болт, + в это время много посетителей на сайте + синхронизация с базой если это магазин
ЧВ
факторов море! У меня сайт один проседал, оказалось на сервере не разграничили рессурсы, большой магазин начинает синхранизачию товарки и все сайты в попе
VK
ну это редкое событие
VK
@lilqu блин, кажись я спугнул пацика с секретными функциями лягушки ) сорян
ЧВ
не такое как мы думаем! Многие берут просто VPS и сажают на него много сайтов. У меня так. И если один из сайтов более прожорлив то остальные в попе. Но у меня на серваке менее 5% нагрузки :)))))
ЧВ
Вру 10 уже!
VK
а я беру облачный хостинг и кидаю в один контейнер дофига сайтов ) ахаха. я еще безрассудней