Size: a a a

2021 January 11

N

Nelson in Scrapy
Daniil Okhlopkov
Всем привет! Немного нерелевантный вопрос: как парсить твиттер?

Задача - получить user_info и последние твиты. Нужно жестко парсить или твиттер сам выдаст эти данные? Я просто почитал доку и невкурил, насколько это для сметрных
Уже получил аккаунт разработчика?
источник

DO

Daniil Okhlopkov in Scrapy
не, я когда-то давно получал, но мне отказали
источник

N

Nelson in Scrapy
Тогда не знаю как помочь. Я сам не знаю как получил его и через апи все сделал
источник

DO

Daniil Okhlopkov in Scrapy
интересно, что ты там указывал, чтобы я второй раз не продолбался
источник
2021 January 12

i

i in Scrapy
Daniil Okhlopkov
Всем привет! Немного нерелевантный вопрос: как парсить твиттер?

Задача - получить user_info и последние твиты. Нужно жестко парсить или твиттер сам выдаст эти данные? Я просто почитал доку и невкурил, насколько это для сметрных
они вроде в письме пишут и спрашивают новые данные, судя по faq, что тебе писали? https://developer.twitter.com/en/docs/developer-portal/faq
источник

i

i in Scrapy
а не, об отказе они не обязаны уведомлять похоже. и на форумсах об этом орать нельзя. можно только смиренно согласившись уйти в закат. ну и перед подачей удостовериться, что не нарушаешь  Developer Agreement and Policy, Automation Rules, Display Requirements, and/or the Twitter Rules.
источник

i

i in Scrapy
Daniil Okhlopkov
не, я когда-то давно получал, но мне отказали
создавай новый твиттор акк похоже (и видать, если они обнаружут связь, то тебе опять прилетит банан)
: Can I re-apply for a developer account?
No, not at this time.
источник
2021 January 13

М

Максим in Scrapy
Всем привет. Я не очень прошареный в регулярках, можете подсказать мне в кое-чем:
я сейчас пытаюсь написать регулярку для проверки таких строк: "RequestId":16114260

пробую выражение "RequestId": \d{1,8}, но не получается
источник

К

Кирилл in Scrapy
Максим
Всем привет. Я не очень прошареный в регулярках, можете подсказать мне в кое-чем:
я сейчас пытаюсь написать регулярку для проверки таких строк: "RequestId":16114260

пробую выражение "RequestId": \d{1,8}, но не получается
Там же нет пробела в строке
источник

М

Максим in Scrapy
блин, ок. Тоже заметил только что
источник

М

Михаил in Scrapy
Добрый день, Вообщем начал изучать scrapy по tutorial. И тут началось))

Установил conda, установил скрапи на Windows. Выдает следущую ошибку:

Usage
=====
 scrapy runspider [options] <spider_file>

runspider: error: File not found: scraper.py

Пытаюсь ввести команду scrapy list, так же выдает ошибку.

Scrapy 2.4.1 - no active project

Unknown command: list

Use "scrapy" to see available commands


Я так понимаю ошибка в установке scrapy??? Спасибо
источник

К

Кирилл in Scrapy
Смотря откуда ты вызываешь, cwd должна быть там где scrapy.cfg
источник

S

SoHard 🎄 in Scrapy
Михаил
Добрый день, Вообщем начал изучать scrapy по tutorial. И тут началось))

Установил conda, установил скрапи на Windows. Выдает следущую ошибку:

Usage
=====
 scrapy runspider [options] <spider_file>

runspider: error: File not found: scraper.py

Пытаюсь ввести команду scrapy list, так же выдает ошибку.

Scrapy 2.4.1 - no active project

Unknown command: list

Use "scrapy" to see available commands


Я так понимаю ошибка в установке scrapy??? Спасибо
А что это за тутор с extract_first?
источник

К

Кирилл in Scrapy
А для runspider понятно нужен путь до паука
источник

A

Andrii in Scrapy
SoHard 🎄
А что это за тутор с extract_first?
ну как сказать, если сайт под cloudflare 😂
источник

М

Михаил in Scrapy
Кирилл
Смотря откуда ты вызываешь, cwd должна быть там где scrapy.cfg
Спасибо, не помогло(
источник

К

Кирилл in Scrapy
Михаил
Спасибо, не помогло(
Откуда и что вызывал?
источник

М

Михаил in Scrapy
Кирилл
Откуда и что вызывал?
Из  scrapy.cfg
источник

МС

Михаил Синегубов... in Scrapy
Михаил
Из  scrapy.cfg
😕
источник

М

Михаил in Scrapy
Файл с настройками
источник