Авторский канал Стартап реальности

Анализ продуктов конкурентов: мониторинг через robots.txt для выявления приоритетов

У меня есть потребность знать что делают некоторые проекты с точки зрения продукта и SEO. До недавнего времени идей как это делать не было, пока не осенило мониторить изменения через карту сайта.

По этим изменениям можно понимать чему уделяется внимание: какие страницы меняются и какие появляются новые. Если проект большой, то можно в целом охватить то, что сложно гуглится. Например, ориентация на другие языки и какие языки есть вообще.

Когда-то я нашел прикольный сервис https://visualping.io который умеет мониторить разного рода изменения на веб-страницах и дает бесплатный тариф на 150 проверок в месяц (например, 5 ссылок по 1 разу в день). Так вот я закидываю туда ссылки на карту сайта и получаю на почту изменения.

Если что, карту сайта легко найти через robots.txt в корне урла.
Made on
Tilda