В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

506 membersпожаловаться на группу
2020 June 09

G

Georg in Scrapy
Alex
а, да нет)
это я для себя
вникаю и по ходу задачки придумываю)
Зависит вроде как от политики сайта. Читал, что например фейсбук очень жесток в этом плане, в отличие от vk, твиттера, инстаграмма или реддита (у последнего даже апи есть)
источник
22:46пожаловаться#1

D

Dr. Bot in Scrapy
Georg
Зависит вроде как от политики сайта. Читал, что например фейсбук очень жесток в этом плане, в отличие от vk, твиттера, инстаграмма или реддита (у последнего даже апи есть)
нет законов запрещающих сбор данных с открытых источников
источник
22:47пожаловаться#2

A

Alex in Scrapy
Dr. Bot
тем более. порнохаб хочешь спарсить по любимой актрисе? по аватарке вижу, что так и есть 🙂
ну про порнохаб ты это зря сказал)
хотя... вай нот?))
источник
22:48пожаловаться#3

AR

Andrey Rahmatullin in Scrapy
чтоб политика сайта была важна, надо её подписать
источник
22:48пожаловаться#4

AR

Andrey Rahmatullin in Scrapy
см. тж. судебный процесс с линкедином
источник
22:48пожаловаться#5

G

Georg in Scrapy
Dr. Bot
тем более. порнохаб хочешь спарсить по любимой актрисе? по аватарке вижу, что так и есть 🙂
На гитхабе недавно видел скрипт, чисто случайно), поднимает страничку с кучей прямых трансляций на порнохабе). Полезная штука). То-есть как я понял копируешь ссылки, дальше либа youtube-dl получает потоки и выводит все)
источник
22:48пожаловаться#6

D

Dr. Bot in Scrapy
"чисто случайно" – так мы тебе и поверили ))
источник
22:50пожаловаться#7

G

Georg in Scrapy
Dr. Bot
нет законов запрещающих сбор данных с открытых источников
Что если это персональные данные и в соглашении с сайтом указанно, что 3-м лицам доступ запрещен политикой конфиденциальности? Это уже нарушение личных данных.
источник
22:50пожаловаться#8

AR

Andrey Rahmatullin in Scrapy
не скрейпи залогиненный
источник
22:50пожаловаться#9

G

Georg in Scrapy
Andrey Rahmatullin
не скрейпи залогиненный
Да, все верно. Но если, например в том же robot.txt прописано, что например данные профиля - не индексировать и не трогать. Законно ли будет игнорировать это?
источник
22:52пожаловаться#10

AR

Andrey Rahmatullin in Scrapy
обратись к юристу
источник
22:53пожаловаться#11

D

Dr. Bot in Scrapy
Georg
Да, все верно. Но если, например в том же robot.txt прописано, что например данные профиля - не индексировать и не трогать. Законно ли будет игнорировать это?
законов по сути нет. если публичный сайт. а вроботс что-то они закрыли. то пофиг
источник
22:53пожаловаться#12

AR

Andrey Rahmatullin in Scrapy
https://blog.scrapinghub.com/solution-architecture-part-3-conducting-a-web-scraping-legal-review
Scrapinghub
Solution Architecture Part 3: Conducting a Web Scraping Legal Review
In this the third post in our solution architecture series, we will share with you our step-by-step process for conducting a legal review of every web scraping project we work on.
источник
22:54пожаловаться#13

AR

Andrey Rahmatullin in Scrapy
(мне просто невероятно нравится дисклеймер в этих статьях)
источник
22:54пожаловаться#14

AR

Andrey Rahmatullin in Scrapy
https://blog.scrapinghub.com/gdpr-public-personal-data-update
Scrapinghub
GDPR Update: Scraping Public Personal Data
Can you scrape someone's personal data if it is available on a public website? Most of the times, the answer is NO. Read our latest blog to find out when you can and cannot scrape personal data.
источник
22:55пожаловаться#15

AR

Andrey Rahmatullin in Scrapy
https://blog.scrapinghub.com/gdpr-web-scraping-iiap-europe-data-protection-congress
Scrapinghub
Do What is Right Not What is Easy!
Find out what Europe's leading data protection experts had to say about web scraping and GDPR at the IIAP Europe Data Protection Congress 2018.
источник
22:55пожаловаться#16

AR

Andrey Rahmatullin in Scrapy
https://blog.scrapinghub.com/web-scraping-gdpr-compliance-guide
Scrapinghub
GDPR Compliance For Web Scrapers: The Step-By-Step Guide
The complete step-by-step guide to ensure your web scraping is GDPR compliant.
источник
22:55пожаловаться#17

AR

Andrey Rahmatullin in Scrapy
последние три про гдпр в основном, правда
источник
22:55пожаловаться#18

G

Georg in Scrapy
Dr. Bot
законов по сути нет. если публичный сайт. а вроботс что-то они закрыли. то пофиг
https://www.facebook.com/apps/site_scraping_tos_terms.php
источник
22:55пожаловаться#19

AR

Andrey Rahmatullin in Scrapy
Georg
https://www.facebook.com/apps/site_scraping_tos_terms.php
ты это подписывал?
источник
22:56пожаловаться#20