AR
уменьшай конкуренси :))
Size: a a a
2020 April 16
AR
если у тебя сервер каждый запрос отдаёт по 40 секунд, тут мало что сделаешь
VB
если у тебя сервер каждый запрос отдаёт по 40 секунд, тут мало что сделаешь
В среднем 17-20 секунд
VB
Но я подсчитал где-то ещё теряется 2-3 секунды на айтеме. Это нормально?
VB
Ноут слабый
AR
на запись в БД? на процессинг? на коллбэк? на что?
МС
Но я подсчитал где-то ещё теряется 2-3 секунды на айтеме. Это нормально?
От, блин, сколько можно говорить, давайте полную инфу....
Либо нормально, либо не нормально, одно из двух
Либо нормально, либо не нормально, одно из двух
VB
на запись в БД? на процессинг? на коллбэк? на что?
Скорее всего на процессинг
AR
и что там за процессинг такой сложный?
VB
Та я думаю он должен быть не сложный. Просто загружаю айтемы. Некоторые поля обработываю дополнительно
AR
если несложный, он не может занимать заметное время
D
Доброе Утро! Подскажите, а как справиться вот с какой проблемой:
пытаюсь соскрабить страницу(google maps) в сплеше , данные находятся под кликом мыши.
Я отправляю сплеш реквест по каждому, делаю клик, и собираю данные .
Но память улетает в небеса и все зависает.
Что я делаю не правильно? Надо к одной сессии обращаться? Или как то очередь настроить ?
пытаюсь соскрабить страницу(google maps) в сплеше , данные находятся под кликом мыши.
Я отправляю сплеш реквест по каждому, делаю клик, и собираю данные .
Но память улетает в небеса и все зависает.
Что я делаю не правильно? Надо к одной сессии обращаться? Или как то очередь настроить ?
VB
Покажи код, на pastebin.org
B
D
Доброе Утро! Подскажите, а как справиться вот с какой проблемой:
пытаюсь соскрабить страницу(google maps) в сплеше , данные находятся под кликом мыши.
Я отправляю сплеш реквест по каждому, делаю клик, и собираю данные .
Но память улетает в небеса и все зависает.
Что я делаю не правильно? Надо к одной сессии обращаться? Или как то очередь настроить ?
пытаюсь соскрабить страницу(google maps) в сплеше , данные находятся под кликом мыши.
Я отправляю сплеш реквест по каждому, делаю клик, и собираю данные .
Но память улетает в небеса и все зависает.
Что я делаю не правильно? Надо к одной сессии обращаться? Или как то очередь настроить ?
можно попробовать через апи, у них на сколько помню для мобильных устройств бесплатное апи. Ну похоже так и осталось: https://cloud.google.com/maps-platform/pricing?hl=ru
D
Покажи код, на pastebin.org
Спасибо за ответ! сейчас нет возможности, если у тебя будет минута, я вечером отправлю показать
VB
Может такое быть что скрапи в 40 конкурентных запросов работает медленнее чем просто 40 питоновских потоков
VB
Откуда все мои вопросы. Скрипт на чистом питоне без скрапи в 40 потоков работает быстрее чем скрапи в 40 потоков
iz
Откуда все мои вопросы. Скрипт на чистом питоне без скрапи в 40 потоков работает быстрее чем скрапи в 40 потоков
начиная с того что ты понимаешь под потоком скрапи