Size: a a a

2021 February 14

AR

Andrey Rahmatullin in Scrapy
Так надо чтоб предложения писали
источник

AR

Andrey Rahmatullin in Scrapy
Просто в чате потеряется
источник

К

Кирилл in Scrapy
Тогда гуглоформы наверное 👍
источник

MM

Marat Mkhitaryan in Scrapy
Мне кажется стоит на asyncio переехать, вить все эти асинхронные модули нужны были когда в питоне небыло из поддержи асинхронности из коробки.
источник

К

Кирилл in Scrapy
Marat Mkhitaryan
Мне кажется стоит на asyncio переехать, вить все эти асинхронные модули нужны были когда в питоне небыло из поддержи асинхронности из коробки.
Это уже происходит
источник

К

Кирилл in Scrapy
начиная с версии 2.0
источник

AR

Andrey Rahmatullin in Scrapy
Marat Mkhitaryan
Мне кажется стоит на asyncio переехать, вить все эти асинхронные модули нужны были когда в питоне небыло из поддержи асинхронности из коробки.
Никто не будет выкидывать твистед из ядра, если ты об этом
источник

MM

Marat Mkhitaryan in Scrapy
Andrey Rahmatullin
Никто не будет выкидывать твистед из ядра, если ты об этом
Почему бы не выкинуть? Запросы все через asyncio можно же отправлять
источник

К

Кирилл in Scrapy
В принципе, если можно выбирать асинк реактор, и писать нэйтивный пайтоновский асинк, то особо не важно что там твистед это крутит
источник

AR

Andrey Rahmatullin in Scrapy
Потому что очень много работы ради мало чего, и всё сломается
источник

К

Кирилл in Scrapy
Раньше была проблема, что нельзя было кучу либ использовать которые на asyncio, сейчас с этим всё нормально, и отлично интегрируются
источник

МС

Михаил Синегубов... in Scrapy
люди, объясните тормозу человечим языком. Что такое ItemAdapter и нафига он нужен?
Доки пытаюсь прочитать, не могу для себя понять, в чем плюсы и плюшки 😔
источник

К

Кирилл in Scrapy
Первый же коммент на рэдите, про докер образ со скрапи
источник

К

Кирилл in Scrapy
Михаил Синегубов
люди, объясните тормозу человечим языком. Что такое ItemAdapter и нафига он нужен?
Доки пытаюсь прочитать, не могу для себя понять, в чем плюсы и плюшки 😔
Айтемы могут быть разних типов, скрапи айтем, датакласс и т.п. это интерфейс, чтоб с ними всеми можно было одинаково взаимодействовать
источник

К

Кирилл in Scrapy
Михаил Синегубов
люди, объясните тормозу человечим языком. Что такое ItemAdapter и нафига он нужен?
Доки пытаюсь прочитать, не могу для себя понять, в чем плюсы и плюшки 😔
Классическое использования паттерна адаптера https://refactoring.guru/ru/design-patterns/adapter
источник

МС

Михаил Синегубов... in Scrapy
Кирилл
Айтемы могут быть разних типов, скрапи айтем, датакласс и т.п. это интерфейс, чтоб с ними всеми можно было одинаково взаимодействовать
ох... наверное я пока не созрел для него...
Кирилл, какой вариант верный или несколько:
1. я пилю проект со 100500 пауками, использую скрапи айтем. Зачем то в пайпе использую айтем адаптер...
2. продолжаю чей то проект, там порнуха с айтемами (разные пауки разные типы отдают), я пилю свой "православный" пайп, и,чтобы не переписывать 100500 кусков кода, просто оборачиваю все айтемы в адаптер
3. я просто пилю свой пайп для людей. И, что бы никто не заморачивался какой тип айтмеов кормить моему пайпу, я просто работаю с данными через адаптер.

я правильно понимаю,что самое верное, это пункты 2 и 3, первый - если проект только мой и никто более в него не полезет, адаптер, в принцпе, нафиг не нужен
источник

К

Кирилл in Scrapy
Михаил Синегубов
ох... наверное я пока не созрел для него...
Кирилл, какой вариант верный или несколько:
1. я пилю проект со 100500 пауками, использую скрапи айтем. Зачем то в пайпе использую айтем адаптер...
2. продолжаю чей то проект, там порнуха с айтемами (разные пауки разные типы отдают), я пилю свой "православный" пайп, и,чтобы не переписывать 100500 кусков кода, просто оборачиваю все айтемы в адаптер
3. я просто пилю свой пайп для людей. И, что бы никто не заморачивался какой тип айтмеов кормить моему пайпу, я просто работаю с данными через адаптер.

я правильно понимаю,что самое верное, это пункты 2 и 3, первый - если проект только мой и никто более в него не полезет, адаптер, в принцпе, нафиг не нужен
да, ты всё правильно понял
источник

МС

Михаил Синегубов... in Scrapy
афигеть, вери биг сенкс тебе, добрый человек :)
источник

AR

Andrey Rahmatullin in Scrapy
Адаптер вырос из поддержки датаклассов
источник

AR

Andrey Rahmatullin in Scrapy
Когда по дороге оказалось что можно ещё что-то поддержать
источник