Size: a a a

2021 February 12

К

Кирилл in Scrapy
Михаил Синегубов
Ох. Общался я с одним из ботописцев на тему польских виз. Пес..ц, расписание на получение виз выбирается за несколько минут. Когда поставили флешевскую каптчу, они как то вышли на кодера, купили исходники за некоторое количество американских денег.
Хз, чем закончилось, мы как-то потерялись.
Но это реально жопа, это только этой темой жить и ничего более.
Самое ржачное, что в то время на fl постоянно возникали проекты на польскую визу с бюджетом в max 50 usd😂
типа того
источник
2021 February 13

П

Пастырь in Scrapy
Михаил Синегубов
Ох. Общался я с одним из ботописцев на тему польских виз. Пес..ц, расписание на получение виз выбирается за несколько минут. Когда поставили флешевскую каптчу, они как то вышли на кодера, купили исходники за некоторое количество американских денег.
Хз, чем закончилось, мы как-то потерялись.
Но это реально жопа, это только этой темой жить и ничего более.
Самое ржачное, что в то время на fl постоянно возникали проекты на польскую визу с бюджетом в max 50 usd😂
Михаил, здравствуйте!
Помните, мы разговаривали о добычи start_urls из базы и выставлением статуса?

Так вот я реализовал это с помощью spider_idle и DontCloseSpider
Сейчас возник вопрос, у меня падает скорость после ошибок
источник

П

Пастырь in Scrapy
Такое чувство, что паук зависает
источник

П

Пастырь in Scrapy
источник

П

Пастырь in Scrapy
источник

AR

Andrey Rahmatullin in Scrapy
ну так в базу синхронно ходим, остальной паук ждёт
источник

П

Пастырь in Scrapy
хм, понял :D
источник

МС

Михаил Синегубов... in Scrapy
👀, уже все?
источник

П

Пастырь in Scrapy
Блин, похоже не понял :/
источник

П

Пастырь in Scrapy
Andrey Rahmatullin
ну так в базу синхронно ходим, остальной паук ждёт
Как это можно побороть? с 12 итемами в минуту я до пенсии буду парсить :/
источник

AR

Andrey Rahmatullin in Scrapy
ходить в базу асинхронно 🤷‍♂️
источник

МС

Михаил Синегубов... in Scrapy
Пастырь
Как это можно побороть? с 12 итемами в минуту я до пенсии буду парсить :/
1. не понятно как ты пишешь в базу
2. не понятно по сколько ты берешь из базы
3. не понятно какое количество записей в базе при чтении и при записи (я про таблицы из которых читаешь и в которые пишешь)
4. не понятно, что и как у тебя с уникальностью
источник

П

Пастырь in Scrapy
Беру по N количеству записей с фильтрацией по статусу. Меняю им статусы на on_process и отдаю пауку url
В трубопроводе при заливке итема меняю статус задачи на complete
источник

M

Michael in Scrapy
Type error unsupported operand type(s) for -: 'nonetype' and 'int'
источник

К

Кирилл in Scrapy
Пастырь
Беру по N количеству записей с фильтрацией по статусу. Меняю им статусы на on_process и отдаю пауку url
В трубопроводе при заливке итема меняю статус задачи на complete
"Сколько берешь?" "Беру N"
источник

П

Пастырь in Scrapy
1000 пока что
источник

МС

Михаил Синегубов... in Scrapy
Пастырь
1000 пока что
пишешь как?
источник

П

Пастырь in Scrapy
for data in url_data:
       urls.append(f'https://hh.ru/resume/{data.uid}')
       data.status = 'on_process'

   session.commit()
источник

M

Michael in Scrapy
Print(9**19)-into(float(9**19)
источник

M

Michael in Scrapy
Int
источник