всем привет
подскажите как могу решить данную задачу:
для нового сайта создали карту сайта
в нее вложено 479 карт по 50 к
я хочу проверить корректность формирование урл и ответ сервера каждой страницы + собрать мета данные

пытался лягушкой это сделать - она еле сьела все страницы, получилось более 3м страниц. но вот на сборе данных она зависла

может у фрога есть возможность поэтапно это сделать?
или другим софтом могу это сделать?

лягушкой или нетпик спайдером

в которых 90% страниц скорее всего ничем не отличаются друг от друга)

парой слов в тайтле и заголовке разве что

офигеть у вас объемы

следующий вопрос будет, как загнать это все дело в индекс

помогаю в запуске небольшой площадке по продажам автозапчастей)

а то
они только за 3 года смогли карточки товара сделать

а с категориями и фильтрами я еще воюю с ними - разраб отказывается все таски выполнять

на каком основании, интересно? денег не платят?

всем привет
подскажите как могу решить данную задачу:
для нового сайта создали карту сайта
в нее вложено 479 карт по 50 к
я хочу проверить корректность формирование урл и ответ сервера каждой страницы + собрать мета данные

пытался лягушкой это сделать - она еле сьела все страницы, получилось более 3м страниц. но вот на сборе данных она зависла

может у фрога есть возможность поэтапно это сделать?
или другим софтом могу это сделать?

на каком основании, интересно? денег не платят?

то шаблон не могут утвердить
3 месяца ему доказывал что нужно использовать только чпу без спец символов
та и по оплате, наверно, не очень... хоть это утверждать не могу

Вы реально надеетесь, что на свежем сайте 25 000 000 страниц генереного контента проиндексится и будет ранжироваться?