Автоматическое управление файлом robots.txt в WordPress

Главная > Автоматическое управление файлом robots.txt в WordPress

Автор: Ирина Николаева | Опубликовано: 04.03.2026

Файл robots.txt играет ключевую роль в управлении индексацией сайта поисковыми системами. Правильная настройка этого файла позволяет закрыть от индексации ненужные разделы, повысить SEO-показатели и сэкономить бюджет краулинга поисковиков. В WordPress стандартный файл robots.txt создаётся виртуально, и его можно редактировать через админку, однако для автоматизации и более гибкого управления лучше использовать программные методы.

Почему важно автоматизировать управление robots.txt в WordPress

Стандартный редактор robots.txt в WordPress не даёт возможностей для динамического изменения правил в зависимости от условий сайта. Например, вы хотите закрыть от индексации страницы поиска, страницы пагинации, временно запретить доступ к разделам при разработке или добавить sitemap автоматически. Делать это вручную неудобно и рискованно — можно случайно закрыть нужные страницы или забыть обновить правила.

Автоматизация позволит:

Динамически менять содержимое robots.txt в зависимости от условий (например, включать запрет для определённых ролей пользователей или при включении режима разработки);
Добавлять sitemap с актуальной ссылкой автоматически;
Совместно с плагинами, например Clearfy Pro, расширять возможности SEO управления.

Как WordPress генерирует robots.txt и где можно вмешаться

По умолчанию WordPress не создаёт физический файл robots.txt, а отвечает на запрос /robots.txt динамически через фильтр robots_txt. Это удобное место для вмешательства — вы можете добавить свой код, который будет подменять или дополнять содержимое файла.

Пример базового фильтра для замены содержимого robots.txt:

add_filter('robots_txt', 'wpmanager_robots_txt_custom', 10, 2);
function wpmanager_robots_txt_custom($output, $public) {
    if (!$public) {
        return "User-agent: *\nDisallow: /";
    }
    $output = "User-agent: *\nDisallow: /wp-admin/\nDisallow: /wp-login.php\n";
    $output .= "Sitemap: " . home_url('/sitemap.xml') . "\n";
    return $output;
}

Этот код закрывает от индексации административные страницы и добавляет ссылку на sitemap.xml. Функция учитывает настройку публичности сайта ($public), что важно при разработке.

Динамическое управление robots.txt: примеры задач и решения

Закрытие от индексации страниц поиска, пагинации и архивов

Часто необходимо запретить индексацию страниц поиска, пагинации, меток и других архивов, чтобы избежать дублирующего контента. Это можно сделать так:

add_filter('robots_txt', 'wpmanager_robots_txt_exclude_archives', 10, 2);
function wpmanager_robots_txt_exclude_archives($output, $public) {
    if (!$public) {
        return "User-agent: *\nDisallow: /";
    }
    $disallows = [
        "/wp-admin/",
        "/wp-login.php",
        "/?s=",
        "/page/",
        "/tag/",
        "/category/",
        "/author/"
    ];
    $output = "User-agent: *\n";
    foreach ($disallows as $path) {
        $output .= "Disallow: {$path}\n";
    }
    $output .= "Sitemap: " . home_url('/sitemap.xml') . "\n";
    return $output;
}

Такой набор правил сократит индексацию дублирующего контента.

Условное закрытие сайта при разработке или на staging-сервере

Если у вас есть staging-сайт или режим разработки, можно автоматически закрывать сайт от индексации, чтобы поисковики не индексировали временный контент. Например, используя проверку хоста или постоянной опции:

add_filter('robots_txt', 'wpmanager_robots_txt_dev_mode', 10, 2);
function wpmanager_robots_txt_dev_mode($output, $public) {
    $dev_hosts = ['staging.wpmanager.ru', 'dev.wpmanager.ru'];
    $current_host = parse_url(home_url(), PHP_URL_HOST);
    if (in_array($current_host, $dev_hosts)) {
        return "User-agent: *\nDisallow: /";
    }
    // Иначе вернуть стандартный robots.txt
    return $output;
}

Это надёжный способ предотвратить индексацию временных версий сайта.

Использование плагинов для расширенного управления robots.txt

Если вы хотите получать расширенные возможности без написания кода, обратите внимание на плагин Clearfy Pro. Он позволяет управлять robots.txt через удобный интерфейс, автоматически добавлять правила для популярных плагинов и сервисов, а также включает дополнительные SEO-настройки.

Плагин автоматически обновляет robots.txt при изменениях настроек, что снимает необходимость ручного редактирования и минимизирует ошибки.