Size: a a a

2021 January 20

A

Archie in Scrapy
как парсить инстаграм профиль (картинки и видео) ? есть апи какой?
источник

S

SoHard 🎄 in Scrapy
Archie
как парсить инстаграм профиль (картинки и видео) ? есть апи какой?
источник

A

Archie in Scrapy
спс
источник

A

AstralRomance in Scrapy
Сделал я себе паука, вот все, что в нем есть (https://pastebin.com/0cQcqurh), его дергает телеграм бот, сам паук крутится под скрапирт.
Собственно, вопрос в том, что на некоторые, специфические запросы, паук ничего не возвращает. Посмотрел текст респонса, там, вроде как, есть нужные данные по тому же селектору, что и везде. Пример ссылки, от которой ничего не получить:
https://starcitygames.hawksearch.com/sites/starcitygames/?card_name=Polymorph
источник

AM

Alek Mosk in Scrapy
Кто парсил товары  ozon.ru ?
Подскажите, можно ли обойтись обычным requests?  нужно прогружать js?
источник

S

S in Scrapy
Подскажите, в чем гуманнее всего хранить базу данных аккаунтов?
источник

S

SoHard 🎄 in Scrapy
S
Подскажите, в чем гуманнее всего хранить базу данных аккаунтов?
в базе данных
источник

S

S in Scrapy
SoHard 🎄
в базе данных
Sql ?
источник

S

SoHard 🎄 in Scrapy
в той какую знаешь
источник

S

S in Scrapy
SoHard 🎄
в той какую знаешь
Ну я о том что excel как для такого не оч ?
источник

S

SoHard 🎄 in Scrapy
S
Ну я о том что excel как для такого не оч ?
смотря сколько их, смотря кто использовать будет и тд.
источник

S

S in Scrapy
SoHard 🎄
смотря сколько их, смотря кто использовать будет и тд.
Буду использовать только я, и база порядка около 10к
источник

A

Andrii in Scrapy
На 10к и блокнот пойдет
источник

S

S in Scrapy
Andrii
На 10к и блокнот пойдет
Ну пока что так и есть, но я думаю блокнот это извращение
источник

S

Shaman89 in Scrapy
База на 10к это извращение)
источник

S

S in Scrapy
Shaman89
База на 10к это извращение)
Тоже верно конечно же, но стараюсь делать сразу по человечески
источник

S

Shaman89 in Scrapy
Ну монгу попробуй если охото бд
Или скулайт. Дешево и сердито
источник

К

Кирилл in Scrapy
S
Тоже верно конечно же, но стараюсь делать сразу по человечески
Всё же лучше реляционную бд, потому что там есть некоторые ограничения которые направляют начинающих разработчиков в нужную сторону. В монге же больше свободы, которая может навредить. Бери postgresql и не ошибешься, точно ещё пригодиться
источник

A

AstralRomance in Scrapy
AstralRomance
Сделал я себе паука, вот все, что в нем есть (https://pastebin.com/0cQcqurh), его дергает телеграм бот, сам паук крутится под скрапирт.
Собственно, вопрос в том, что на некоторые, специфические запросы, паук ничего не возвращает. Посмотрел текст респонса, там, вроде как, есть нужные данные по тому же селектору, что и везде. Пример ссылки, от которой ничего не получить:
https://starcitygames.hawksearch.com/sites/starcitygames/?card_name=Polymorph
А все-таки?  У меня вообще нет идей, почему он так себя ведет(
источник

S

Shaman89 in Scrapy
Благодаря скрапи начал юзать постгрес кстати. Норм прям зашло👍
источник