Ra
и прочие мелочи
Size: a a a
2020 January 10
ДК
Скачиваешь торрент, в торрент файле находится информация о серверах, на которых находится инфа об участниках раздачи
Ra
назвается - трекер
или анонсер
или анонсер
Ra
разве что с помощью DHT удается свести парсинг к минимуму
но помоему даже богом забытая раздача появится в списке
но помоему даже богом забытая раздача появится в списке
Ra
серьезно
я думаю парсят хеши
я думаю парсят хеши
Ra
т.к. отправить 100000 запросов хеша не так уж и "долго"
s
Там же написано у них как они данные добывают:
How we collect data
Our system collects torrent files in two ways: parsing torrent sites and listening DHT network. We have more than 1.500.000 torrents which where classified and which are using now for collecting peer sharing facts (up to 200.000.000 daily). We don't guarantee we can show ALL peer sharing facts:
Single IP address could be assigned to multiple users. It depends on user's ISP. For example mobile operators often used this schema.
IP address could be dynamic. In such case it changes every time user connects to the Internet or periodically.
User could download torrent which we don't have
How we collect data
Our system collects torrent files in two ways: parsing torrent sites and listening DHT network. We have more than 1.500.000 torrents which where classified and which are using now for collecting peer sharing facts (up to 200.000.000 daily). We don't guarantee we can show ALL peer sharing facts:
Single IP address could be assigned to multiple users. It depends on user's ISP. For example mobile operators often used this schema.
IP address could be dynamic. In such case it changes every time user connects to the Internet or periodically.
User could download torrent which we don't have
s
А вы тут гадаете :)
s
Я думаю они спарсили TPB ну может еще пару сайтов. TPB даже парсить особо не надо, т.к. вроде есть оффлайн паки для развертывания у себя.
s
я просто писал торрент-псевдо-клиент (только инфу получает с трекера)
и инфы про данных от пира - не видел
и инфы про данных от пира - не видел
Руслан а на чем ты писал если не секрет, сложный ли протокол вообще ?
Ra
synapse
Руслан а на чем ты писал если не секрет, сложный ли протокол вообще ?
1.писал на питоне)
2. ну как сказать
пришлось много документации по протоколу рыскать и это независимо от языка естественно
2. ну как сказать
пришлось много документации по протоколу рыскать и это независимо от языка естественно
s
Окай, учтем, спасибо! А давно делал? , а то мне просто кажется щас уже какую нить готовую либу можно найти на питоне, просто есть похожий таск.
Ra
synapse
Окай, учтем, спасибо! А давно делал? , а то мне просто кажется щас уже какую нить готовую либу можно найти на питоне, просто есть похожий таск.
мне готовые либы не подходили т.к. я там не мог строго контролировать ответы\запросы
моя задача была лишь в том чтобы проверять анонсеров и магнет
нестандартные ответы от сервера я записывал в файл для дальнейшего анализа
это больше паук чем торрент клиент
готовых либ полно вроде как
тотже transmission
давно, 2 года назад
моя задача была лишь в том чтобы проверять анонсеров и магнет
нестандартные ответы от сервера я записывал в файл для дальнейшего анализа
это больше паук чем торрент клиент
готовых либ полно вроде как
тотже transmission
давно, 2 года назад
s
мне как раз тоже паук и нужен
Ra
готовые либы обычно представляли собой прослойку либо C++ dll итп
Ra
s
ОО. Спасибо! 🤝
Ra
synapse
мне как раз тоже паук и нужен
тебе зачем паук?
s
я хочу собирать магнет линки
ДК
На Purebasic торрент клиент классно написали