К
немного не по теме, но посоветуйте какую-нибудь либу для геокодинга(есть один файл с полигонами и названиями, и второй с координатами, нужно найти какая координата в каком полигоне)
Size: a a a
2020 June 19
Pu
Не нужен там сплэш
не улавливаю, почему.
В доке написанно
Some webpages show the desired data when you load them in a web browser. However, when you download them using Scrapy, you cannot reach the desired data using selectors.
When this happens, the recommended approach is to find the data source and extract the data from it.
If you fail to do that, and you can nonetheless access the desired data through the DOM from your web browser, see Pre-rendering JavaScript.
Далее https://docs.scrapy.org/en/latest/topics/dynamic-content.html#pre-rendering-javascript
Что собственно говоря вроде бы подходит под мою задачу
В доке написанно
Some webpages show the desired data when you load them in a web browser. However, when you download them using Scrapy, you cannot reach the desired data using selectors.
When this happens, the recommended approach is to find the data source and extract the data from it.
If you fail to do that, and you can nonetheless access the desired data through the DOM from your web browser, see Pre-rendering JavaScript.
Далее https://docs.scrapy.org/en/latest/topics/dynamic-content.html#pre-rendering-javascript
Что собственно говоря вроде бы подходит под мою задачу
EB
а на питоне?
К
не улавливаю, почему.
В доке написанно
Some webpages show the desired data when you load them in a web browser. However, when you download them using Scrapy, you cannot reach the desired data using selectors.
When this happens, the recommended approach is to find the data source and extract the data from it.
If you fail to do that, and you can nonetheless access the desired data through the DOM from your web browser, see Pre-rendering JavaScript.
Далее https://docs.scrapy.org/en/latest/topics/dynamic-content.html#pre-rendering-javascript
Что собственно говоря вроде бы подходит под мою задачу
В доке написанно
Some webpages show the desired data when you load them in a web browser. However, when you download them using Scrapy, you cannot reach the desired data using selectors.
When this happens, the recommended approach is to find the data source and extract the data from it.
If you fail to do that, and you can nonetheless access the desired data through the DOM from your web browser, see Pre-rendering JavaScript.
Далее https://docs.scrapy.org/en/latest/topics/dynamic-content.html#pre-rendering-javascript
Что собственно говоря вроде бы подходит под мою задачу
Тебе нужна та часть что выше, с network и reproduce
EB
если бы знал, то не спрашивал
EB
сейчас посмотрю
EB
ну постгресе то с ним работал, довольно интерестная штука)
2020 June 20
🎱
есть вот такая таблица с thead и tbody , как ее правильно спарсить, с помощью xpath ? Есть какие нибудь подводные камни ?
хочу привести в такой вид
хочу привести в такой вид
table_results = [
'40003': {
'color': 'black',
'units/case': 12,
'case_weight': '1.3lbs',
'marker_tip': 'medium',
},
'40001': {
'color': 'blue',
'units/case': 12,
'case_weight': '1.3lbs',
'marker_tip': 'medium',
},
....
]
AB
есть вот такая таблица с thead и tbody , как ее правильно спарсить, с помощью xpath ? Есть какие нибудь подводные камни ?
хочу привести в такой вид
хочу привести в такой вид
table_results = [
'40003': {
'color': 'black',
'units/case': 12,
'case_weight': '1.3lbs',
'marker_tip': 'medium',
},
'40001': {
'color': 'blue',
'units/case': 12,
'case_weight': '1.3lbs',
'marker_tip': 'medium',
},
....
]
Ну забери хедеры в список, потом итерируйся по tr и зиппуй хедеры со списками из tr) подводных камней нет))
AB
Всем привет. По умолчанию как я понимаю scrapy парсит мультипоточно. А если открывать страницу через browser headless, оно также мультипоточно будет?
Ты типа хочешь подключить селениум? Если все правильно сделаешь, то да
t
Ты типа хочешь подключить селениум? Если все правильно сделаешь, то да
да, селениум. Просто есть сайты которые не дают парсить без js
AB
все что тебе надо