AR
" Добавить сайт для парсинга" ээ чо
Size: a a a
2020 March 17
AR
оно само будет спайдер писать?
МС
ну, это тогда да, тогда свое пилить....
запуск - тут, скорее всего, scrapyd, хотя, можено и из любоко питонового скрипта запутить... Только будут проблемы с паузами/прерываниями, скорее всего.
сравнивание/выгрузка - это тянет за собой базу...
"сайт добавить" - это типа заявки будет? паука сам будешь пистаь?
запуск - тут, скорее всего, scrapyd, хотя, можено и из любоко питонового скрипта запутить... Только будут проблемы с паузами/прерываниями, скорее всего.
сравнивание/выгрузка - это тянет за собой базу...
"сайт добавить" - это типа заявки будет? паука сам будешь пистаь?
BK
" Добавить сайт для парсинга" ээ чо
добавить магазин для парсинга вернее)
магазины заранее будут подготовлены
магазины заранее будут подготовлены
МС
добавить магазин для парсинга вернее)
магазины заранее будут подготовлены
магазины заранее будут подготовлены
так может "выбрать магазин"? :)
и да, если будет какой то ограниченный список магазинов, тогда точно есть смысл в в базе, только будет вопрос хранения данных. Я бы написал "данные а базе обновляются автоматически" :).
и да, если будет какой то ограниченный список магазинов, тогда точно есть смысл в в базе, только будет вопрос хранения данных. Я бы написал "данные а базе обновляются автоматически" :).
BK
так может "выбрать магазин"? :)
и да, если будет какой то ограниченный список магазинов, тогда точно есть смысл в в базе, только будет вопрос хранения данных. Я бы написал "данные а базе обновляются автоматически" :).
и да, если будет какой то ограниченный список магазинов, тогда точно есть смысл в в базе, только будет вопрос хранения данных. Я бы написал "данные а базе обновляются автоматически" :).
может тогда если клиентская часть будет на реакте допустим, стоит использовать что-то типа такого? вместо джанги? https://fastapi.tiangolo.com/
МС
в общем, мое мнение - бакэнд, та же джанга (по большому счету пофиг что именно),
но обязательно выключить комп, взять стовку бумаги и долго и упорно писать/рисовать. Что бы сформировалось в мозгах "а что собственно хочется"
но обязательно выключить комп, взять стовку бумаги и долго и упорно писать/рисовать. Что бы сформировалось в мозгах "а что собственно хочется"
МС
может тогда если клиентская часть будет на реакте допустим, стоит использовать что-то типа такого? вместо джанги? https://fastapi.tiangolo.com/
я тебе уже ответил. Пофиг на чем у тебя будет бэк, если сможешь паука из него запустить.
Одна из двух оболочек (что выше бросал) написана на GO
Одна из двух оболочек (что выше бросал) написана на GO
AR
не слышал чтобы в scrapyd что-то планировали
AR
я даже не знаю кто его пишет
BK
я тебе уже ответил. Пофиг на чем у тебя будет бэк, если сможешь паука из него запустить.
Одна из двух оболочек (что выше бросал) написана на GO
Одна из двух оболочек (что выше бросал) написана на GO
несовсем понял за этот момент
Одна из двух оболочек (что выше бросал) написана на GO
МС
несовсем понял за этот момент
Одна из двух оболочек (что выше бросал) написана на GO
https://github.com/crawlab-team/crawlab - вот это написано на GO, но так же работает с питоновыми пауками, и со скрапи в том числе...
BK
А можете еще подсказать, чем отличается использование scrapy от библеотеки requests, в scrapy насколько я понял больше всяких готовых фич?
AR
ну ээ всем
AR
в requests ты руками делаешь реквест и руками же его обрабатываешь
AR
причём синхронно лол
AR
можно сказать что где-то в глубине внутри скрапи есть кусок кода, аналогичный requests