Size: a a a

Полуночные айтишники-политологи-финансисты-вирусологи-саперы

2020 December 17

MD

Mister D in Полуночные айтишники-политологи-финансисты-вирусологи-саперы
я не прогер, но мои прогер вот так вот объяснил мне, я написал то что я понял))
источник

MD

Mister D in Полуночные айтишники-политологи-финансисты-вирусологи-саперы
источник

MD

Mister D in Полуночные айтишники-политологи-финансисты-вирусологи-саперы
я сам нихрена не понимаю, зачем банить сервису нашего бота, она же бесплатно предоставляет данные, чертова англосаксы
источник

АТ

Арман Токсимбаев... in Полуночные айтишники-политологи-финансисты-вирусологи-саперы
Mister D
я не прогер, но мои прогер вот так вот объяснил мне, я написал то что я понял))
парсите страницы по HTTP?
сервис может банить не только по ИП.
то есть смена ИП/прокси может не помочь.
бота можно отследить по HTTP-headers.
банально тот же User-Agent желательно бы сменить
источник

k

kazgeek in Полуночные айтишники-политологи-финансисты-вирусологи-саперы
Mister D
благодарю,  но наш бот лежит в отдельном серваке где то во 🇫🇷, и он парсит с одного сервиса данные, ну так вот со вчерашнего дня сервис перестал откликаться, то есть перестал отвечать на запрос бота, мы предполагаем что сервис забанил нашего бота, поэтому пробуем парсить через прокси
Тор используй
источник

MD

Mister D in Полуночные айтишники-политологи-финансисты-вирусологи-саперы
Арман Токсимбаев
парсите страницы по HTTP?
сервис может банить не только по ИП.
то есть смена ИП/прокси может не помочь.
бота можно отследить по HTTP-headers.
банально тот же User-Agent желательно бы сменить
https://www.oddsportal.com/ - сервис с которого мы тянем инфу)
источник

MD

Mister D in Полуночные айтишники-политологи-финансисты-вирусологи-саперы
kazgeek
Тор используй
ок, перешлю ваши ответы своему прогеру, может быть он что то поймет)
источник

MD

Mister D in Полуночные айтишники-политологи-финансисты-вирусологи-саперы
будем решать задачку) посмотрим , поглядим...
источник

АТ

Арман Токсимбаев... in Полуночные айтишники-политологи-финансисты-вирусологи-саперы
Mister D
я сам нихрена не понимаю, зачем банить сервису нашего бота, она же бесплатно предоставляет данные, чертова англосаксы
потому что они "продают" информацию.
вы же "перепродаете", тем самым ее обесценивая.
источник

MD

Mister D in Полуночные айтишники-политологи-финансисты-вирусологи-саперы
Арман Токсимбаев
потому что они "продают" информацию.
вы же "перепродаете", тем самым ее обесценивая.
сервис юзают в основном профессиональные беттеры) возможно сервис за счет рекламы и живет, но прямой подписки я там не видел, а вот мы данные парсим для аналитики ) 🙌🏻
источник

АТ

Арман Токсимбаев... in Полуночные айтишники-политологи-финансисты-вирусологи-саперы
Mister D
сервис юзают в основном профессиональные беттеры) возможно сервис за счет рекламы и живет, но прямой подписки я там не видел, а вот мы данные парсим для аналитики ) 🙌🏻
ну так свяжитесь с владельцами
может найдете взаимовыгодные варианты
источник

АТ

Арман Токсимбаев... in Полуночные айтишники-политологи-финансисты-вирусологи-саперы
Mister D
сервис юзают в основном профессиональные беттеры) возможно сервис за счет рекламы и живет, но прямой подписки я там не видел, а вот мы данные парсим для аналитики ) 🙌🏻
источник

MD

Mister D in Полуночные айтишники-политологи-финансисты-вирусологи-саперы
Арман Токсимбаев
ну так свяжитесь с владельцами
может найдете взаимовыгодные варианты
источник

MD

Mister D in Полуночные айтишники-политологи-финансисты-вирусологи-саперы
отличная идея, связаться с создателями сервиса, и попросить их не банить нашего бота)
источник

АТ

Арман Токсимбаев... in Полуночные айтишники-политологи-финансисты-вирусологи-саперы
Mister D
отличная идея, связаться с создателями сервиса, и попросить их не банить нашего бота)
попросить их предоставить данные как есть
в обмен дать часть аналитики
может и программиста не надо будет, а за сэкономленные деньги договариваться купить эти данные
источник

MD

Mister D in Полуночные айтишники-политологи-финансисты-вирусологи-саперы
Арман Токсимбаев
попросить их предоставить данные как есть
в обмен дать часть аналитики
может и программиста не надо будет, а за сэкономленные деньги договариваться купить эти данные
ок, спс за совет 🤝
будем иметь ввиду 👌🏻
источник

G

Google Search Engine... in Полуночные айтишники-политологи-финансисты-вирусологи-саперы
Nikolay
Когда Айдын Рахимбаев написал, что некий итальянский архитектор, звезда и приглашённый эксперт, советует казахстанцам строить в парках школы, все возмутились. И удивились заодно - это что за архитектор такой, руки бы повыдирать!

Сегодня Рикардо Марио, архитектор, урбанист и сподвижник Яна Гейла сам объяснил свои взгляды в фэйсбуке.
Если коротко, то:
«Я не советовал строить в парках школы! Я советовал строить вокруг школ парки, ИДИОТЫ!»
Но Рахимбаева с бензопилой уже, наверное, не остановить...
Такой вот уебанический анекдот или трудности перевода.
источник

АТ

Арман Токсимбаев... in Полуночные айтишники-политологи-финансисты-вирусологи-саперы
Mister D
ок, спс за совет 🤝
будем иметь ввиду 👌🏻
глянул мельком, пока пил чай...
серьезный сайт, хорошо сделан, защита данных по кукам предусмотрена.
виджеты с данными формируются на стороне сервера.
обновление раз в 5 минут.
отследить парсер для них будет очень легко. нагрузка сильно заметна на фоне остальных  запросов.
будут и дальше банить вас, и не только вас, на счет раз-два.
у вас прямое нарушение пункта 7 правил - распространение без письменного разрешения.
грозят вплоть до подачи в суд.
но мы ведь в другой юрисдикции? )
пункта о продаже данных не нашел. скорее всего дорого попросят.
ну хоть узнаете сколько это стоит (если конечно решитесь написать).
у того же ГисМетео с этим проще и понятней.
источник

MD

Mister D in Полуночные айтишники-политологи-финансисты-вирусологи-саперы
Арман Токсимбаев
глянул мельком, пока пил чай...
серьезный сайт, хорошо сделан, защита данных по кукам предусмотрена.
виджеты с данными формируются на стороне сервера.
обновление раз в 5 минут.
отследить парсер для них будет очень легко. нагрузка сильно заметна на фоне остальных  запросов.
будут и дальше банить вас, и не только вас, на счет раз-два.
у вас прямое нарушение пункта 7 правил - распространение без письменного разрешения.
грозят вплоть до подачи в суд.
но мы ведь в другой юрисдикции? )
пункта о продаже данных не нашел. скорее всего дорого попросят.
ну хоть узнаете сколько это стоит (если конечно решитесь написать).
у того же ГисМетео с этим проще и понятней.
даже незнаю что и ответить, Арман ты прям как сканер работаешь)  все как ты и сказал, сайт очень крутой, в этой тематике аналогов нету.
насчет юридический вопросов , думаю они не будут заморачиваться над такими микробами как мы))) да и особо  ничего запрещенного мы не совершаем)
источник

АТ

Арман Токсимбаев... in Полуночные айтишники-политологи-финансисты-вирусологи-саперы
Mister D
даже незнаю что и ответить, Арман ты прям как сканер работаешь)  все как ты и сказал, сайт очень крутой, в этой тематике аналогов нету.
насчет юридический вопросов , думаю они не будут заморачиваться над такими микробами как мы))) да и особо  ничего запрещенного мы не совершаем)
чтобы безпалевно парсить, я бы разобрал протокол их мобильного приложения,
и заставил бы бота прикидываться мобильной аппой.
желательно с имитацией поведения юзера, то есть одна две страницы за 5 минут, сессия на минут 15-20.
завести несколько десятков ботов на каждый раздел сливающих данные в одну базу.
но это может вылезти в немалые накладные расходы.
но я не на вашем месте, и не знаю как детектятся боты на стороне сервера. вам видней.
может и ваш простой бот с парой прокси сможет выжить
источник