AE
задача для многих порталов нужна и важная, но очень не тривиальная
Size: a a a
2021 January 29
AE
помимо парсинга всех этих сайтов, нужно уметь объединять разных людей в одного, т.е. быть уверенным что это один и тот же человек
AE
ну и этих людей продавать всяким рекрутерам
AL
что то типа библиотеки newspaper3k?
прикольная ) типа да, но нет задачи написать свою библиотеку. Хочется понять, какие есть задачи, требующие обхода тысяч и сотен тысяч сайтов )
AL
задача для многих порталов нужна и важная, но очень не тривиальная
все же, тут все-равно чуть другое )) ...кстати, пол дня общения в ФБ и тут показали - что, не смотря на наличие большого количества предложений на рынке парсинга, есть спрос на парсинг отдельных крупных сайтов ) или набора из 5-10 )
просто эти задачи решаются ведь уже )
неужели никому не нужно обходить тысячи и более сайтов и что-то автоматом из них извлекать? )) нишевой поисковик там сделать... не знаю )
просто эти задачи решаются ведь уже )
неужели никому не нужно обходить тысячи и более сайтов и что-то автоматом из них извлекать? )) нишевой поисковик там сделать... не знаю )
AE
зачем? )))
AE
ну правда
AE
цены можно наверняка извлекать из яндекс маркета
AE
новости ... вообще сомнительная ценность
AL
вот и я ищу - зачем :)
AS
все же, тут все-равно чуть другое )) ...кстати, пол дня общения в ФБ и тут показали - что, не смотря на наличие большого количества предложений на рынке парсинга, есть спрос на парсинг отдельных крупных сайтов ) или набора из 5-10 )
просто эти задачи решаются ведь уже )
неужели никому не нужно обходить тысячи и более сайтов и что-то автоматом из них извлекать? )) нишевой поисковик там сделать... не знаю )
просто эти задачи решаются ведь уже )
неужели никому не нужно обходить тысячи и более сайтов и что-то автоматом из них извлекать? )) нишевой поисковик там сделать... не знаю )
крупные сайт обычно в облаке. а там на хостинге защита от краулинга - показывает капчу. я не знаю как это обойти
AL
крупные сайт обычно в облаке. а там на хостинге защита от краулинга - показывает капчу. я не знаю как это обойти
это немного не по теме этой группы, но ... есть сервисы для разгадывания капч, есть прокси разные )
AS
это немного не по теме этой группы, но ... есть сервисы для разгадывания капч, есть прокси разные )
я пробовал ТОР, там сразу капча. поскольку на хостинге амазона(как пример) куча сайтов, и много умников с ботами за проксей, то каждый айпи адрес прокси имеет высокую частоту и как следствие блокируется
AS
сервисы для разгадывания капч - сомнительно, если там не индусы в виде бекенда
AE
мне кажется тут важнее даже сам концептуальный вопрос, а для кого
AL
я исхожу из "для чего" - как только ясно "для чего" - можно придумать "для кого" ) ...у маркетологов есть модное слово jtbd в разработке продуктов )) типа, на первом месте все же задача ) ...а уж потом портрет )
FF
я исхожу из "для чего" - как только ясно "для чего" - можно придумать "для кого" ) ...у маркетологов есть модное слово jtbd в разработке продуктов )) типа, на первом месте все же задача ) ...а уж потом портрет )
Круто будет, если для примера будет доступен хотя бы какой-нибудь датасет
FF
Чтобы понимать о чём речь
AL
зачем? )))
только что вот ещё один вариант задачи обнаружился - "собрать параллельный корпус из переводов" :) там, правда, если источников не много - это тоже про обычный парсинг задача )