Size: a a a

2020 May 29

R

Roma in Scrapy
Ну информатика - сильно конечно! Сложно на ней писать
источник

РТ

Ренат Турсунбаев... in Scrapy
sas?)
источник

R

Roma in Scrapy
щас создано куча разных псевдо ETL - типа Perfect, flyte, airflow
источник

У

Уруруборос Иванович... in Scrapy
Roma
Ну информатика - сильно конечно! Сложно на ней писать
Ну мне вроде норм зашло. Есть блин куча нюансов о которых надо помнить, и интерфейс местами адовый.
Но мне нравится, особенно после прошлой работы - там я внезапно пилил интерфейс к бд на APEX.
источник

У

Уруруборос Иванович... in Scrapy
Ну короче буду покуривать скрапинг :)
источник

R

Roma in Scrapy
ну если интересн ETL - вакансии по информатики есть - в банках любят юзать
источник

РТ

Ренат Турсунбаев... in Scrapy
на оракле значит работали)
источник

РТ

Ренат Турсунбаев... in Scrapy
Уруруборос Иванович
Ну мне вроде норм зашло. Есть блин куча нюансов о которых надо помнить, и интерфейс местами адовый.
Но мне нравится, особенно после прошлой работы - там я внезапно пилил интерфейс к бд на APEX.
по мне APEX - какая-то специфичная трудная фигня в целом)
источник

У

Уруруборос Иванович... in Scrapy
Ренат Турсунбаев
по мне APEX - какая-то специфичная трудная фигня в целом)
Скорее мутная
источник

У

Уруруборос Иванович... in Scrapy
Делаешь сайтик - вроде всё норм. Шаг влево, шаг вправо и начинается магия.
источник

R

Roma in Scrapy
Уруруборос Иванович
Ну короче буду покуривать скрапинг :)
Да я тоже скрапинг смотрю, кстати тут иногда попадаются интересные мысли и решения....
источник

РТ

Ренат Турсунбаев... in Scrapy
Уруруборос Иванович
Делаешь сайтик - вроде всё норм. Шаг влево, шаг вправо и начинается магия.
он заточен только под работу со своей базой и своими плюшками
источник

У

Уруруборос Иванович... in Scrapy
Ренат Турсунбаев
он заточен только под работу со своей базой и своими плюшками
Дак бд оракл была.
Вот например:
Есть 50 таблиц-справочников в системе. И надо дать юзерам их редактировать, чтобы они по базе руками не лазили.
И логичное решение завести справочник справочников, вывести его в селексбокс и при выборе в нём, отображать нужный справочник в гриде.
источник

У

Уруруборос Иванович... in Scrapy
И всё - дальше костыли, боль и извращения.
источник

РТ

Ренат Турсунбаев... in Scrapy
да нормально)
источник

У

Уруруборос Иванович... in Scrapy
Нервы сильно убивает
источник
2020 May 30

i

ildar in Scrapy
Stepan Smirnov
на больших объемах может выйти дешевле все по второму кругу обойти. Но здесь нужно садиться за эксель и считать.
на скрапи 1.7 еще не выпилили leveldb, она очень хорошо работает на огромных данных, там и сжатие есть и файликов типа штук 100 нагенерит - потом ты этот терабайт легко удалишь.
источник

VS

Vlad Savva in Scrapy
Здравствуйте.
Паршу avito. Нужно парсить первые N объявлений в каждой из 59 категорий. Но уже при переходе на ~10-ую ссылку происходит редирект на другую страницу.
Уменьшил количество конкурентных запросов до 1, поставил задержку на 10 секунд. Редирект не происходит. Но 10 секунд очень долго, что не подходит для выполнения задачи.
Что делать в этой ситуации?
источник

SR

Sam Rover in Scrapy
pip install scrapy

а тут такое:
ERROR: Command errored out with exit status 1
источник

AR

Andrey Rahmatullin in Scrapy
читай ошибку
источник