T
Это сам парсер, с разбором данных нет проблем. Вопрос в том чтобы обработать 10к страниц, максимально быстро
У меня 10к страниц минут за 15 в один поток парсится
Size: a a a
2021 January 28
D
Без разроба данных что ли?
T
Без разроба данных что ли?
Вообще вру, 10к наверное чуть подольше) за час наверное
D
Tim
Вообще вру, 10к наверное чуть подольше) за час наверное
Во, другое дело.
RK
Tim
Вообще вру, 10к наверное чуть подольше) за час наверное
а что по нагрузке на сервак и грузишь ли ты js?
T
а что по нагрузке на сервак и грузишь ли ты js?
Нет, ниче не гружу, просто dom забираю и обхожу, хз
RK
а ну это проще, сайт что мне нужен js запускает, без него почти пустой дом
IS
Погугли как работает CORS
Т.Е. если в response headers с сервера к API которого я обращаюсь нету Access-Control-Allow-Origin:* (вместо звездочки могут быть домены с которых разрешен запрос) то браузер блокирует данные запросы. Получаеться чтобы получить эти данные я могу сделать запрос на мой бэк, оттуда из PHP сделать запрос на требуемый API и вернуть данные на мой фронт. Верно?
RK
Ivan Savchenko
Т.Е. если в response headers с сервера к API которого я обращаюсь нету Access-Control-Allow-Origin:* (вместо звездочки могут быть домены с которых разрешен запрос) то браузер блокирует данные запросы. Получаеться чтобы получить эти данные я могу сделать запрос на мой бэк, оттуда из PHP сделать запрос на требуемый API и вернуть данные на мой фронт. Верно?
не браузер блокирует, а сервер
SC
Ivan Savchenko
Т.Е. если в response headers с сервера к API которого я обращаюсь нету Access-Control-Allow-Origin:* (вместо звездочки могут быть домены с которых разрешен запрос) то браузер блокирует данные запросы. Получаеться чтобы получить эти данные я могу сделать запрос на мой бэк, оттуда из PHP сделать запрос на требуемый API и вернуть данные на мой фронт. Верно?
Ну, типа проксировать можно.
SC
не браузер блокирует, а сервер
Чё?
RK
ну тыж правила приема на серваке указываешь
SC
ну тыж правила приема на серваке указываешь
А блокирует кто?
IS
Ну, типа проксировать можно.
Ок. Спасибо.
SC
Ivan Savchenko
Ок. Спасибо.
Ты как бы можешь это делать и без пыхи. Например настроить nginx, что бы он подкинул заголовки. Но надо понимать, что ты делаешь. Странно делать фронт к беку, который не может тебе правильно отдать заголовки
V
а че оно подсвечивает? это .twig файл в котором есть вуйный темплейт,
собсна в двойных кавычках твиг
собсна в двойных кавычках твиг
V
на рабочем шторме все норм было
V
а тут вот
V
на ноуте моем чет не то
T
а че оно подсвечивает? это .twig файл в котором есть вуйный темплейт,
собсна в двойных кавычках твиг
собсна в двойных кавычках твиг
плагин ларавельный стоит?