Шпора по исключению определённых урлов из сканирования

https://www.screamingfrog.co.uk/seo-spider/user-guide/configuration/#exclude

Стоит ли оптимизировать сайт под метрики Core Web Vitals?

Мне понравился вопрос на реддите:
Создал сайт своего агенства на WordPress с помощью Beaver Builder. Спустя несколько лет ведения блога сайт начал получать приличный трафик. Но сайт не набирает хороших баллов CWV.

На оптимизацию под пузомерки уйдет время, но вопрос - стоит ли оно того? Есть ли у кого кейсы?

Ответ:
Онлайн-продажи выросли от 70% до более чем 400%, но я работал не только над скоростью, и если вы думаете о доработках, то Core Web Vitals не должны быть вашей единственной целью.

Вам также необходимо подумать о том, как упростить путь пользователя к совершению конверсии, работая над качеством контента.

Мой вердикт:
SEO это не гадание на кофейной гуще. К тому же почти в каждом направлении свои факторы. Отталкивайтесь от анализа нишевых лидеров по медиане. Если у большинства с метриками CWV не очень, то и вам свое время лучше вложить в контент, ссылки или другие более важные вещи.

@seospecialist

А как проходит ваша пятница? 😋

Тот случай, когда клиент отправляет сайт с заблоченного домена на такой же, но в другой доменной зоне, никак не проверив историю домена 🤦

Косяки:
Ниша черная
Тематика отличается
Спам в ссылочном профиле (иероглифы и коктейль из разных языков в акорах + анкорный текст на треш-донорах, коих чуть менее чем 90%)

Как итог домен под санкциями, Гугл его выплевывает, хотя Яндекс - принял как родного.

На такие домены, даже если они схожи с вашими на 100% клеить свои заблоченные сайты никак нельзя.

Обновил список телеграм-каналов по SEO
https://devaka.ru/articles/telegram-seo

— Добавлены новые каналы (около 20 шт)
— Обновлены кол-во подписчиков, метки, сортировка каналов
— Выделена отдельная группа каналов про ссылки (коих уже много)
— Выделена отдельная группа молодых каналов (персональные блоги с пока что малым количеством подписчиков)

Среди последних добавленных каналов (на которые сам подписался):

• @zamecheno_yandex — Яндексоиды про новые фишки в поиске. Посты появляются редко, но метко.
• @shkolaseo — Канал Артема Пилипца, основателя "Школы SEO".
• @pavlutskiy — Канал Александра Павлуцкого про семантику и не только.
• @gelo_seo — Канал Олега Саламахи, основателя Serpstat.
• @seokorobka — Канал Олеси Коробки про находки в SEO.
• @productseo — Продуктовое SEO от Влада Моргуна, тимлида Lun UA.
• @topvisorjournal — Журнал Топвизора про новости в SEO.
• @ecommerce_for_babies — Денис Паршин про eCommerce.
• @seo_ecommerce — Никита Селиванов про SEO для eCommerce.
• @seoposts — Бесконечная лента SEO постов в телеге.
• @Seo_feya_and_ranking_factors — Душевный канал от Юлии Потаповой.
• @soltykseo — Заметки от Алексея Солтыка (слежу за студентами :) )

Если в список нужно добавить еще какой-то канал, оставляйте комментарий. Предпочтение для каналов от 100 подписчиков, где большая часть постов про SEO.

Вакансия: в офис СПб нужен контент-менеджер с базовыми знаниями SEO с последующим обучением до мидла и выше

Гибкий график. Офис/удаленка
Возможность совмещения
ЗП 60к

Что нужно будет делать:
Оперативно вносить правки и контент на сайты компании
Следить за актуальностью информации
Отслеживать текущее состояния продвижения сайтов, уметь задавать правильные вопросы и находить ответы
Писать ТЗ копирайтерам
Писать ТЗ программистам
Писать ТЗ верстальщикам
Контролировать качество их работы
Отслеживать работоспособность сайтов компании
Следить за конкурентами, предлагать улучшения
Создать базу данных по сбору и аккумулированию информации по товарным карточкам и категориям
Проявлять инициативу в сборе информации
Развитие корпоративного сайта
Развитие интернет-магазина
Развитие агрегатора
Быть связующим звеном между руководством и отделом продвижения
Постоянно искать и предлагать точки роста поискового (SEO) и трафика из соц. сетей (SMM)
Анализировать конкурентные решения на западных рынках

Необходимые навыки
• база поискового продвижения (SEO)
• знание WordPress
• аналитическое мышление
• навыки работы в команде
• усидчивость, постановка целей на день/месяц, их согласование и исполнение

Приветствуется знание английского и опыт работы с сервисами для оптимизации сайтов (вордстат, кей-коллектор, кейссо, ахрефс и др)

Условия:
• офис в Приморском районе Санкт-Петербурга
• пятидневка, полная или частичная занятость, ненормированный рабочий день, а именно возможность согласовать свой график работы с руководством
• компенсация транспортных расходов, на связь и прочее

Для записи на собеседование пишите мне в личку: @haisman

#вакансия #инхаус на @seospecialist

🅰️ Коды состояния HTTP (коды ответы сервера) и их влияние на индексацию в Google

26 июня гуглоиды добавили в справку для вебмастеров важнейший документ, в котором разбираются все основные коды состояний HTTP в разрезе их интерпретации роботом Googlebot

Я перевел этот замечательный документ

Ссылка на перевод:
https://seospeciali.st/kody-sostoyaniya-http-seo-google/
Ссылка на оригинал:
https://developers.google.com/search/docs/advanced/crawling/http-network-errors

Информация позволяет лучше понять поведение ботов Google при возникновении сетевых, серверных и DNS ошибок.

@seospecialist

Важный инсайт:

При ошибках 5xx (server errors) Googlebot снижает скорость сканирования сайта.

Уменьшение скорости сканирования пропорционально количеству отдельных URL-адресов, которые возвращают ошибку сервера.

Конвейер индексации Google удаляет из индекса URL-адреса, которые постоянно возвращают ошибку сервера.

Вакансия: полная занятость, удаленная работа
Ecommerce
Россия, Казахстан, Бурж
💰ЗП 2 500$ + %

Команда интернет-магазина PIERRE ищет специалиста на позицию SEO Teamlead с ростом в Head of SEO. Нужен человек с сильным опытом продвижения e-commerce в Google.

Требования
- Опыт работы на позиции SEO Team Lead или Head of SEO 1+ год;
- Опыт работы в SEO e-commerce более 3 лет;
- Опыт эффективного найма и управления командой SEO специалистов;
- Высокий уровень понимания On-Page и Off-Page оптимизации сайтов;
- Хорошие софт скилы;

Будет супер
- Работа с проектами на Opencart;
- Опыт работы в удаленном режиме;
- Кейсы роста новых сайтов в бурж.

Задачи
- Составление стратегии SEO и ее реализация для проекта на Россию и Казахстан;
- Рисерч и анализ регионов/конкурентов;
- Составление стратегии и ее реализация для новых регионов;
- Подбор и управление командой SEO специалистов (коммуникация/контроль/обучение);
- Контроль всех остальных стандартных задач, которые касаются SEO сайтов: планы по линкбилдингу, работа с текстами, техническая оптимизация и т.д.

Что ты получишь
+ ЗП 2.500$ + бонусы
+ интересный проект в e-commerce с четкими перспективами роста;
+ возможность собрать команду под себя (разработка, seo-шники, фрилансеры и др.); 
+ большая свобода действий на пути к крутому результу;
+ приоритет ресурса разработки, дизайна для SEO-задач; 
+ менторство главных SEO гуру в СНГ;
+ молодой, заряженный на работу коллектив.

Контакты: @marus_ya
Проект: https://pierrejewellery.ru

#вакансия на @seospecialist

Зарабатывай на своем сайте, размещая гостевые посты! 

Ты владелец качественного сайта с трафиком от 2000 уникальных пользователей в месяц? Тогда данная информация для тебя!

Биржа ссылок Links-Stream предлагает вебмастерам выгодные условия для сотрудничества:

- Низкая комиссия биржи — 10%
- Более 300 клиентов ежемесячно
- Минимальные требования к сайтам для добавления на биржу
- Возможность массового добавления площадок 
- Принимаем сетки PBN
- Ежедневные выводы с баланса на Яндекс.Деньги, WebMoney, PayPal, Payoneer

От 20 заявок ежедневно получают вебмастера в высококонкурентной нише. Цену за размещение гестпостов вы устанавливаете сами — это позволит вам лично контролировать свой доход. Вебмастера зарабатывают с биржи от 200$ ежемесячно.

Добавляйте свои сайты на нашу биржу ссылок и получайте заявки клиентов напрямую!

Бесплатная консультация в ➡️ @LinkStream_bot 
Регистрация по ссылке

#промо

💥 Список агентов, которым лучше запретить сканирование вашего сайта

Юзер-агенты ниже используются при парсинге и краулинге сервисами конкурентной разведки

Чтобы отключить им доступ просто скопируйте список в ваш robots.txt

User-agent: grub-client
Disallow: /

User-agent: grub
Disallow: /

User-agent: looksmart
Disallow: /

User-agent: WebZip
Disallow: /

User-agent: larbin
Disallow: /

User-agent: b2w/0.1
Disallow: /

User-agent: psbot
Disallow: /

User-agent: Python-urllib
Disallow: /

User-agent: NetMechanic
Disallow: /

User-agent: URL_Spider_Pro
Disallow: /

User-agent: CherryPicker
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: EmailWolf
Disallow: /

User-agent: ExtractorPro
Disallow: /

User-agent: CopyRightCheck
Disallow: /

User-agent: Crescent
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: ProWebWalker
Disallow: /

User-agent: CheeseBot
Disallow: /

User-agent: LNSpiderguy
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: ia_archiver/1.6
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: MIIxpc
Disallow: /

User-agent: Telesoft
Disallow: /

User-agent: Website Quester
Disallow: /

User-agent: moget/2.1
Disallow: /

User-agent: WebZip/4.0
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebSauger
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: NetAnts
Disallow: /

User-agent: Mister PiX
Disallow: /

User-agent: WebAuto
Disallow: /

User-agent: TheNomad
Disallow: /

User-agent: WWW-Collector-E
Disallow: /

User-agent: RMA
Disallow: /

User-agent: libWeb/clsHTTP
Disallow: /

User-agent: asterias
Disallow: /

User-agent: httplib
Disallow: /

User-agent: turingos
Disallow: /

User-agent: spanner
Disallow: /

User-agent: InfoNaviRobot
Disallow: /

User-agent: Harvest/1.5
Disallow: /

User-agent: Bullseye/1.0
Disallow: /

User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Disallow: /

User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /

User-agent: CherryPickerSE/1.0
Disallow: /

User-agent: CherryPickerElite/1.0
Disallow: /

User-agent: WebBandit/3.50
Disallow: /

User-agent: NICErsPRO
Disallow: /

User-agent: Microsoft URL Control - 5.01.4511
Disallow: /

User-agent: DittoSpyder
Disallow: /

User-agent: Foobot
Disallow: /

User-agent: WebmasterWorldForumBot
Disallow: /

User-agent: SpankBot
Disallow: /

User-agent: BotALot
Disallow: /

User-agent: lwp-trivial/1.34
Disallow: /

User-agent: lwp-trivial
Disallow: /

User-agent: BunnySlippers
Disallow: /

User-agent: Microsoft URL Control - 6.00.8169
Disallow: /

User-agent: URLy Warning
Disallow: /

User-agent: Wget/1.6
Disallow: /

User-agent: Wget/1.5.3
Disallow: /

User-agent: Wget
Disallow: /

User-agent: LinkWalker
Disallow: /

User-agent: cosmos
Disallow: /

User-agent: moget
Disallow: /

User-agent: hloader
Disallow: /

User-agent: humanlinks
Disallow: /

User-agent: LinkextractorPro
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Mata Hari
Disallow: /

User-agent: LexiBot
Disallow: /

User-agent: Web Image Collector
Disallow: /

User-agent: The Intraformant
Disallow: /

User-agent: True_Robot/1.0
Disallow: /

User-agent: True_Robot
Disallow: /

User-agent: BlowFish/1.0
Disallow: /

User-agent: JennyBot
Disallow: /

User-agent: MIIxpc/4.2
Disallow: /

User-agent: BuiltBotTough
Disallow: /

User-agent: ProPowerBot/2.14
Disallow: /

User-agent: BackDoorBot/1.0
Disallow: /

User-agent: toCrawl/UrlDispatcher
Disallow: /

User-agent: WebEnhancer
Disallow: /

User-agent: suzuran
Disallow: /

User-agent: VCI WebViewer VCI WebViewer Win32
Disallow: /

User-agent: VCI
Disallow: /

User-agent: Szukacz/1.4
Disallow: /

User-agent: QueryN Metasearch
Disallow: /

User-agent: Openfind data gathere
Disallow: /

User-agent: Openfind
Disallow: /

User-agent: Xenu's Link Sleuth 1.1c
Disallow: /

User-agent: Xenu's
Disallow: /

User-agent: Zeus
Disallow: /

User-agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /

User-agent: RepoMonkey
Disallow: /

User-agent: Microsoft URL Control
Disallow: /

User-agent: Openbot
Disallow: /

User-agent: URL Control
Disallow: /

User-agent: Zeus Link Scout
Disallow: /

User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /

User-agent: Webster Pro
Disallow: /

User-agent: EroCrawler
Disallow: /

User-agent: LinkScan/8.1a Unix
Disallow: /

User-agent: Keyword Density/0.9
Disallow: /

User-agent: Kenjin Spider
Disallow: /

User-agent: Iron33/1.0.2
Disallow: /

User-agent: Bookmark search tool
Disallow: /

User-agent: GetRight/4.2
Disallow: /

User-agent: FairAd Client
Disallow: /

User-agent: Gaisbot
Disallow: /

User-agent: Aqua_Products
Disallow: /

User-agent: Radiation Retriever 1.1
Disallow: /

User-agent: Flaming AttackBot
Disallow: /

User-agent: Oracle Ultra Search
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: PerMan
Disallow: /

User-agent: searchpreview
Disallow: /

User-agent: OLEcrawler
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: wotbox
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: BUbiNG
Disallow: /

User-agent: Vedma
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: SemrushBot-SA
Disallow: /

User-agent: Riddler
Disallow: /

P.S. Это не панацея, но вы немного усложните жизнь вашим конкурентам.

⚡️ @seospecialist

Что касается карт сайта, я скоро допилю вот такую тулзу

На вход дается большой очищенный от мусора сайтмап, парсится на категории первого уровня, а на выходе генерируется индексный файл и карточки по типам контента с заданным кол-вом URL-адресов

Скоро будет, а пока напишите, кто хочет потестировать в раннем доступе.

Ну и конечно предлагайте свои идеи! Инструмент делается для всех и будет бесплатным, пусть каждый внесет свою лепту)

Лучше всего от ботов других закрывать примерно так, в столбик :)

Devaka Talk — Белое SEO
Посмотрел, как коллеги закрывают доступ к десяткам юзер-агентов в robots.txt (1, 2) и подумал, что нужно обязательно показать, как это делаю я 🙂

User-agent: *
Disallow: /

Не благодарите!
@

Кстати, подписывайтесь на Саню Борминцева, очень крутой специалист, мы некогда были конкурентами (я помогал парочке топовых конкурентов sravni.ru, которые в итоге монополизировали выдачу в финансовой нише))

Его канал: https://t.me/bortalks

Коллеги, инвалиду колясочнику 1-й группы нужна работа, вот что человек написал о своих навыках:

-Юридические письменные консультации.
-Подготовка юридической документации.
-Ведение таблиц в Google.
-Поиск и систематизация информации.
-Размещение информации в социальных сетях, форумах, досках объявлений и т.д. (без раскрутки)
-Форматирование текстов в Word. и т.д.
-Поиск фото и картинок.
-Рерайтинг (темы любые).
-Наполнение и ведение групп в соц. сетях и сайтов (без раскрутки).
-Обработка электронной почты (не сетевой бизнес и без поиска клиентов).
-Менеджмент интернет-проектов (письменное общение с заказчиками и исполнителями, контроль за выполнением работ и т.д., голосовое общение исключено).
- Письменное общение с службой поддержки.
- Фотомодерация.
- Расшифровка видео- и аудио-файлов (в текстовый формат).
- Наложение титров на видео на ютубе.
- Редактирование и обслуживание сайтов.
- Сбор семантического ядра.
- Сравнительный – Маркетинговый Анализ.
- Создание и ведение ютуб – каналов (без раскрутки).
И т.д.
Готов учиться тому, чего не умею.

Контакты:
@SergejProskurnov
fb.com/sergey.proskurnov

#поддержка_людей_с_особенностями via @seospecialist

Что изменилось в линкбилдинге за 10 лет?
В чем отличия сегодня?
Как это повлияло на развитие Sape?
Каким должен быть ссылочный профиль?
Актуальна ли проблема санкций за бэклинки?

И многое другое читайте в интервью руководителя продуктов Links.Sape Александра Шестакова.

Хотите узнать больше? Уже завтра 8 июля в 14.00 в прямом эфире вместе с Александром в подробностях обсудим все изменения на рынке и расскажем про новые возможности Sape.
Записывайтесь!

#промоушен #sape via @seospecialist

Sistrix: Google 2021 July Core Update

Уже есть большие потери среди сайтов в тематике «YMYL». Серьезные изменения наблюдались по сайтам, связанным с развлечениями (знаменитости, ТВ, тексты песен), а также по онлайн-словарям и переводчикам.

На скрине сверху – пример домена, который потерял позиции как в июньском, так и в июльском обновлении 🤷‍♂️

Двойных победителей найти было сложнее, но одним из них (скрин снизу) стал Spotify 😎

Долгосрочная цель Google: показывать пользователям самый лучший контент. Все, кто понимают мышление Google (описанное в рекомендациях для асессоров) и работают в направлении той же цели, не понесут потери в долгосрочной перспективе, уверены в Sistrix.

Тем, кто еще не читал, обязательно прочитайте обновленную версию перевода руководства для асессоров Google

👩‍🚀 У вас есть колебания или пока затишье?

@seospecialist