Size: a a a

2020 June 05

И

Илья in Scrapy
499
источник

И

Илья in Scrapy
Пьянка отменяется
источник

AR

Andrey Rahmatullin in Scrapy
😹😹
источник

МС

Михаил Синегубов... in Scrapy
найдите эту сволочь 😡
источник

A

Andrii in Scrapy
Кстати вопрос.  Скрапил вчера конверт. пдф в html размером 100мб, то скрепи выдавал одну строку в 1-2 секунды.  Как можно ускорить этот процесс?
источник

A

Andrii in Scrapy
Донлоад делай и все другое дефолт
источник

МС

Михаил Синегубов... in Scrapy
эээ, еще раз
ты заливал ПДФ на сайт?
источник

МС

Михаил Синегубов... in Scrapy
или скачивал?
источник

A

Andrii in Scrapy
Не, локально
источник

A

Andrii in Scrapy
Пдф конвертнул в хтмл
источник

A

Andrii in Scrapy
И итого хтмл стал 100мб файлом
источник

A

Andrii in Scrapy
И очень долго парсил (
источник

A

Andrii in Scrapy
Andrii
И итого хтмл стал 100мб файлом
500страниц таблиц
источник

МС

Михаил Синегубов... in Scrapy
ну, а че ты хотел то? и еще файлик в пару гиг через xpath/css прогони, думаю, удивишся
источник

A

Andrii in Scrapy
:)
источник

A

Andrii in Scrapy
Ну интересно как ускорить, может проц нужен или еще что
источник

МС

Михаил Синегубов... in Scrapy
выкинь питон
источник

A

Andrii in Scrapy
😂
источник

МС

Михаил Синегубов... in Scrapy
причем я вполне серьезно. Если хочешь обработать что то большого размера - скриптовые языки не проканают.
Надо что то вроде C++, делфи (если винда).
У меня  6Гб файл - поиск 8-12 значений, + генерация PSD (Адоб Фотошоп) - занимает ~1-4 секунд
источник

AS

Alexander Serebrov in Scrapy
Rust!
источник