юзер-агент поможет в случаях если неверная конфигурация урлов, какие-то дополнительные цепочки роутов для ботов на веб-сервере, еще какие-то истории, завязанные на конкретику в юзерагенте
на bertal.ru можно посмотреть под user agent поисковиков
Умничка. Но это банально подмена Юзер-Агента. Что можно сделать на стороне баузера, поставив плагин и доп плагин, который отключает JS. Вот тебе и сайт и страница глазами робота.
Умничка. Но это банально подмена Юзер-Агента. Что можно сделать на стороне баузера, поставив плагин и доп плагин, который отключает JS. Вот тебе и сайт и страница глазами робота.
Пойду поищу пару ссылок, как питоном парсить сайт с подстановкой Юзер-Агента и книгу по питону, например Питон для чайников. И за годик можно будет парсер написать самому.
Пойду поищу пару ссылок, как питоном парсить сайт с подстановкой Юзер-Агента и книгу по питону, например Питон для чайников. И за годик можно будет парсер написать самому.