Запрос с низкой социальной ответсвенностью)

👍

Возьми меня в учеником?

Тоесть под такие запросы полуком, полу инфо можно делать страницы?

В таких темах никто не парится. Берут попаданием в больший интент и массой.

И высокой выраженной коммерцией в час????

Ага)

Запрос = мысль в башке юзера. Запросов может много, где мысль одна. Одна мысль = один текст = одна страница.

Тоесть вылезло вылезло?

Мир в котором я живу, называется мечтой. :)
Куда взять ? Я в Грузию собрался, со мной хочешь?

О, серьезно?

Да меня парит вопрос, как Яндекс оценку делает. Как внутри работает.

Да, а что?

Какие умы страна теряет. Ты в Грузию, Андрюха в Риге. Эх

Лол. Отпуск.

Анвар, ну, хоть иногда будь критичным и циничным.

Сколько сайтов закрыто от Ahrefs и других инструментов?
Периодически мы сканируем весь интернет и собираем кучу интересной информации.
Один из самых главных вопросов глядя в тулзы на количество ссылок (особенно в "высококонкурентных" нишах) - а все ли я вижу?

Заблокировать сайт от сканирования тулзами элементарно - просто добавьте директивы в robots.txt, сторонников теорий про игнор ботами сразу расстрою, правила robots.txt реально соблюдаются. Если вы вдруг когда-нибудь захотите сделать свой краулер, узнаете почему их надо соблюдать.


Сухие цифры:
Всего доменов, которые отдают код 200 (т.е. рабочие сайты) по одной из версии http://, http://www, https://, https://www - примерно 150 млн
Январь 2020 - заблокировано от ахрефс 1.2 млн доменов, семраш 0.6 млн
Январь 2021 - заблокировано от ахрефс 1 млн доменов, семраш 0.8 млн
Отлично, можете подумать вы, не так уж и много - меньше одного процента!

Но есть еще один способ блокировки:

User-agent: *
Disallow: /

User-agent: Googlebot
Allow: /

Январь 2020 - заблокировано 6 млн доменов
Январь 2021 - заблокировано 34 млн доменов

Таким образом, (34 + 1) / 150 = 23% доменов закрыты от ахрефса и чуть меньше от других инструментов.

У нас есть side проект, который показывает такие сайты, ссылки с морд, редиректы, соседей по IP (по всем сайтам) и кучу других занимательных вещей, кому интесен early access, пришлите запрос на serge@jetoctopus.com

Накапливает опыт, формирует вопросы, собирает оценку асессоров, обучает деревья. То есть все индивидуально для каждого запроса. Но можно найти нечто общее. Это как все люди разные, но есть 1% кто выпивает бутылочку кефира с утра. И 50% из них через час идут какать.

Сильно ты упростил.

О, я думал переезжает