МС
ну, ты же, в момент выдергивания поставишь статус "в работе"?
Size: a a a
2021 February 04
МС
ну, по умолчанию статус 0
делаешь
делаешь
select url from table where status = 0 limits 1000
МС
и еще вопрос. Мне кажется не совсем правильно каждый раз по закрытии пайпа в цикле лезть в бд и ставить complete, мб как-нибудь bulk_update можно реализовать ?
от щас ворчать уже начну
AR
ну формально два селекта друг друга не блокируют и действительно могут вернуть одно и то же
AR
даже если в той же транзакции делать апдейт
AR
не ДБА, но прозреваю что вопрос довольно популярный, могут быть готовые решения
AR
(помимо "взять очередь")
МС
ну формально два селекта друг друга не блокируют и действительно могут вернуть одно и то же
формально, два селекта разнесены во времени охренеть как. И все транзакции должны уже быть закрыты.
кроме, кончено, чумачечей транзакции длинной во весь парсинг :))
кроме, кончено, чумачечей транзакции длинной во весь парсинг :))
AR
да вон же выше "Допустим в один момент времени выдернется"
МС
так, а где сказано что два паука будут одновременно дергать данные?
П
не ДБА, но прозреваю что вопрос довольно популярный, могут быть готовые решения
гугл показал примеры реализации, когда урлы просто выдергиваются из базы. Но со сменой статуса я не нашел
AR
так, а где сказано что два паука будут одновременно дергать данные?
но ведь правильный вопрос "а где гарантия что не"
AR
но я не читал что вы там выше писали
МС
def get_url_from_db():
records = CatalogModel().select().where(CatalogModel.status == 0).limit(1000)
items = []
with db_handle.atomic() as transaction:
for rec in records:
items.append({
'id': rec.id,
'str_id': rec.str_id,
'url': rec.url,
})
CatalogModel.update({'status': 1}).where(CatalogModel.id == rec.id).execute()
s = ''
transaction.commit()
return items
МС
@gray_smm ☝️но это на пиве сделано