Пиком
Услуги
  • Разработка и поддержка
    • Аутсорсинг веб-разработки
    • Умный поиск
    • Разработка сайтов на «1С-Битрикс»
    • Разработка интернет-магазина
    • Разработка корпоративного сайта
    • Разработка адаптива сайта
  • Маркетинг и реклама
    • Контекстная реклама
    • Таргетированная реклама
    • SEO-продвижение
    • SMM-продвижение
    • Контент для маркетплейсов
    • Контент-стратегии
    • Контент-маркетинг
    • Управление каналами трафика
  • Аналитика и исследования
    • Аудиты: UX-аудит, экспресс-аудит, CJM
    • UX-исследования
    • Предпроектная аналитика
    • Анализ целевой аудитории
    • Маркетинговые исследования
    • CJM (Customer Journey Map)
  • Внедрение CRM
    • Настройка IP-телефонии для бизнеса
    • Автоматизация бизнес-процессов
    • Внедрение Битрикс24 и 1С-Битрикс24
  • Решения
    • Разработка интернет-аптеки
    • Разработка для стартапов
    • Цифровые решения для клиник
    • Быстрый запуск сайта
    • Digital-аутсорсинг для бизнеса
Продукты
  • Облачная версия Битрикс24
  • Коробочная версия Битрикс24
  • 1С-Битрикс: Управление сайтом
  • Модуль мгновенной индексации для 1C-Битрикс
Проекты
  • Внедрение CRM
  • Заказная разработка
  • Маркетинг и реклама
  • Сайты
  • Отраслевые решения
Компания
  • О компании
  • Отзывы
  • Спецпроекты
  • Вакансии
  • Награды
Блог
Контакты
Ещё
    Задать вопрос
    +7 (800) 600-63-77
    Заказать звонок
    info@picom.ru
    г. Ижевск, 426011, ул. 10 лет Октября, 23
    • Вконтакте
    • YouTube
    +7 (800) 600-63-77
    Оставить заявку
    Пиком
    Услуги
    • Разработка и поддержка
      • Аутсорсинг веб-разработки
      • Умный поиск
      • Разработка сайтов на «1С-Битрикс»
      • Разработка интернет-магазина
      • Разработка корпоративного сайта
      • Разработка адаптива сайта
    • Маркетинг и реклама
      • Контекстная реклама
      • Таргетированная реклама
      • SEO-продвижение
      • SMM-продвижение
      • Контент для маркетплейсов
      • Контент-стратегии
      • Контент-маркетинг
      • Управление каналами трафика
    • Аналитика и исследования
      • Аудиты: UX-аудит, экспресс-аудит, CJM
      • UX-исследования
      • Предпроектная аналитика
      • Анализ целевой аудитории
      • Маркетинговые исследования
      • CJM (Customer Journey Map)
    • Внедрение CRM
      • Настройка IP-телефонии для бизнеса
      • Автоматизация бизнес-процессов
      • Внедрение Битрикс24 и 1С-Битрикс24
    • Решения
      • Разработка интернет-аптеки
      • Разработка для стартапов
      • Цифровые решения для клиник
      • Быстрый запуск сайта
      • Digital-аутсорсинг для бизнеса
    Продукты
    • Облачная версия Битрикс24
      Облачная версия Битрикс24
    • Коробочная версия Битрикс24
      Коробочная версия Битрикс24
    • 1С-Битрикс: Управление сайтом
      1С-Битрикс: Управление сайтом
    • Модуль мгновенной индексации для 1C-Битрикс
      Модуль мгновенной индексации для 1C-Битрикс
    Проекты
    • Внедрение CRM
    • Заказная разработка
    • Маркетинг и реклама
    • Сайты
    • Отраслевые решения
    Компания
    • О компании
    • Отзывы
    • Спецпроекты
    • Вакансии
    • Награды
    Блог
    Контакты
      Пиком
      Услуги
      • Разработка и поддержка
        • Аутсорсинг веб-разработки
        • Умный поиск
        • Разработка сайтов на «1С-Битрикс»
        • Разработка интернет-магазина
        • Разработка корпоративного сайта
        • Разработка адаптива сайта
      • Маркетинг и реклама
        • Контекстная реклама
        • Таргетированная реклама
        • SEO-продвижение
        • SMM-продвижение
        • Контент для маркетплейсов
        • Контент-стратегии
        • Контент-маркетинг
        • Управление каналами трафика
      • Аналитика и исследования
        • Аудиты: UX-аудит, экспресс-аудит, CJM
        • UX-исследования
        • Предпроектная аналитика
        • Анализ целевой аудитории
        • Маркетинговые исследования
        • CJM (Customer Journey Map)
      • Внедрение CRM
        • Настройка IP-телефонии для бизнеса
        • Автоматизация бизнес-процессов
        • Внедрение Битрикс24 и 1С-Битрикс24
      • Решения
        • Разработка интернет-аптеки
        • Разработка для стартапов
        • Цифровые решения для клиник
        • Быстрый запуск сайта
        • Digital-аутсорсинг для бизнеса
      Продукты
      • Облачная версия Битрикс24
        Облачная версия Битрикс24
      • Коробочная версия Битрикс24
        Коробочная версия Битрикс24
      • 1С-Битрикс: Управление сайтом
        1С-Битрикс: Управление сайтом
      • Модуль мгновенной индексации для 1C-Битрикс
        Модуль мгновенной индексации для 1C-Битрикс
      Проекты
      • Внедрение CRM
      • Заказная разработка
      • Маркетинг и реклама
      • Сайты
      • Отраслевые решения
      Компания
      • О компании
      • Отзывы
      • Спецпроекты
      • Вакансии
      • Награды
      Блог
      Контакты
        Пиком
        Пиком
        • Услуги
          • Назад
          • Услуги
          • Разработка и поддержка
            • Назад
            • Разработка и поддержка
            • Аутсорсинг веб-разработки
            • Умный поиск
            • Разработка сайтов на «1С-Битрикс»
            • Разработка интернет-магазина
            • Разработка корпоративного сайта
            • Разработка адаптива сайта
          • Маркетинг и реклама
            • Назад
            • Маркетинг и реклама
            • Контекстная реклама
            • Таргетированная реклама
            • SEO-продвижение
            • SMM-продвижение
            • Контент для маркетплейсов
            • Контент-стратегии
            • Контент-маркетинг
            • Управление каналами трафика
          • Аналитика и исследования
            • Назад
            • Аналитика и исследования
            • Аудиты: UX-аудит, экспресс-аудит, CJM
            • UX-исследования
            • Предпроектная аналитика
            • Анализ целевой аудитории
            • Маркетинговые исследования
            • CJM (Customer Journey Map)
          • Внедрение CRM
            • Назад
            • Внедрение CRM
            • Настройка IP-телефонии для бизнеса
            • Автоматизация бизнес-процессов
            • Внедрение Битрикс24 и 1С-Битрикс24
          • Решения
            • Назад
            • Решения
            • Разработка интернет-аптеки
            • Разработка для стартапов
            • Цифровые решения для клиник
            • Быстрый запуск сайта
            • Digital-аутсорсинг для бизнеса
        • Продукты
          • Назад
          • Продукты
          • Облачная версия Битрикс24
          • Коробочная версия Битрикс24
          • 1С-Битрикс: Управление сайтом
          • Модуль мгновенной индексации для 1C-Битрикс
        • Проекты
          • Назад
          • Проекты
          • Внедрение CRM
          • Заказная разработка
          • Маркетинг и реклама
          • Сайты
          • Отраслевые решения
        • Компания
          • Назад
          • Компания
          • О компании
          • Отзывы
          • Спецпроекты
          • Вакансии
          • Награды
        • Блог
        • Контакты
        • +7 (800) 600-63-77
        info@picom.ru
        г. Ижевск, 426011, ул. 10 лет Октября, 23
        • Вконтакте
        • YouTube
        • Главная
        • Блог
        • Статьи
        • Robots.txt и .htaccess – настройка и решение проблем.

        Robots.txt и .htaccess – настройка и решение проблем.

        Robots.txt и .htaccess – настройка и решение проблем.
        20 июля 2012
        Статьи
        В этой статье мы рассмотрим особенности файлов robots.txt и .htaccess как инструменты для корпоративного сайта.
        Данные файлы необходимо создать(если они не были заблаговременно созданы вручную или же при помощи CMS) и разместить в корневой директории сайта – http://site.ru/.


        Robots.txt

        Что такое robots.txt: раскрытие основных элементов

        Robots – это файл с расширением .txt(можно создать во встроенном блокноте), который указывает поисковым системам то, на что им не стоит обращать внимания, т.е. не индексировать, а также сообщает о наличии карты сайта(sitemap) и главного зеркала сайта.

        Настройка robots.txt

        Для начала указываем поисковые системы, которым вы хотите открыть/закрыть доступ к сайту. Так как для корпоративного сайта нам подойдут все поисковые системы, рекомендую писать код файла robots.txt для всех поисковых систем сразу. Выглядеть это будет так:
        User-agent: *
         Теперь перейдём к списку страниц, к которому у поисковых роботов будет открыт или закрыт доступ к сайту: директивы Disallow и Allow Рекомендую использовать директиву Disallow для запрета индексации лишних или мусорных страниц сайта, например:
        Disallow: /adm
         Таким образом мы запретили индексацию административного раздела сайта и упростили работу для роботов поисковых систем. Если же вы не хотите закрывать никакие разделы для индексации, то можно применить директиву Allow, тогда наш код для robots.txt будет выглядеть следующим образом:
        User-agent: * Allow: /
         Теперь осталось лишь прописать «главное зеркало» сайта и указать расположение карты сайта, если она создана. Главное зеркало сайта – это тот адрес, по которому ваш сайт будет показываться в результатах выдачи поисковой системы (с www или без www). Для этого используется директива Host. Например, Вы хотите, чтобы Ваш сайт показывался в результатах поиска с www, в этом случае наш код будет выглядеть так:
        User-agent: * Allow: / Host: www.vashsite.ru
         Если без www, то, соответственно:
        User-agent: * Allow: / Host: vashsite.ru
         Если у вас создана карта сайта, то её также можно указать в файле robots.txt, указав её полный адрес. Если она располагается в корневой директории сайта, то код приобретёт следующий вид:
        User-agent: * Allow: / Host: www.vashsite.ru Sitemap: http://www.vashsite.ru/sitemap.xml
         Остаётся лишь сохранить этот файл и поместить в корневую директорию сайта.

        Файл .htaccess

        Для чего используется файл .htaccess

        Файл .htaccess предназначен для управления настройками сервера Apache. В нём много различных настроек и возможностей, но мы рассмотрим лишь самую животрепещущую проблему, перед которой сталкиваются владельцы корпоративных сайтов – переезд со старого на новый сайт.

        Настройка .htaccess

        Здесь я приведу строчки кода, которые необходимо вставить в начало файла .htaccess для выполнения определённой задачи. Вопрос 1: «Был у компании старый сайт(условно oldsite.ru), заказали новый(условно newsite.ru). Новый сайт сделали и разместили на другом домене, а в поисковой выдаче находится до сих пор старый сайт, а новый никак не индексируется. Что делать?» Ответ: Необходимо в директиве Host(в файле robots.txt) и старого и нового сайтов указать адрес нового сайта, а затем в файл .htaccess внести: 301 редирект со старого домена на новый.
        Options +FollowSymLinks RewriteEngine on RewriteCond %{HTTP_HOST} ^oldsite.ru$ RewriteRule ^(.*)$ http://newsite.ru/$1 [R=301,L]
         *где oldsite.ru и newsite.ru заменить на адреса Ваших сайтов Вопрос 2: «Как сделать так, чтобы сайт отображался лишь по одному адрес www или без www и все внешние ссылки для сайта учитывались поисковыми системами? 301 редирект с зеркала с www на зеркало без www:
        Options +FollowSymLinks RewriteEngine On RewriteCond %{HTTP_HOST} ^www.site\.ru$ [NC] RewriteRule ^(.*)$ http://site.ru/$1 [R=301,L]
         301 редирект с зеркала без www на зеркало с www
        Options +FollowSymLinks RewriteEngine On RewriteCond %{HTTP_HOST} ^site\.ru$ [NC] RewriteRule ^(.*)$ http://www.site.ru/$1 [R=301,L]
         *в этой статье приведены лишь основные тезисы настройки файлов robots.txt и .htaccess.
        Начните сотрудничество с индивидуальной консультации по подбору инструментов и услуг.
        Оставить заявку

        Подписаться на
        рассылку

        Будьте в курсе последних новостей отрасли

        Подписаться
        Назад к списку

        Есть идеи, но не знаете, с чего начать?

        Напишите нам или закажите звонок — мы поможем. Выслушаем ваши задачи для бизнеса, и на их основе предложим варианты развития.
        Задать вопрос
        Заказать звонок
        Услуги
        Разработка и поддержка
        Маркетинг и реклама
        Аналитика и исследования
        Внедрение CRM
        Решения
        Продукты
        Облачная версия Битрикс24
        Коробочная версия Битрикс24
        1С-Битрикс: Управление сайтом
        Модуль мгновенной индексации для 1C-Битрикс
        Компания
        О компании
        Отзывы
        Спецпроекты
        Вакансии
        Награды
        Проекты
        Блог
        Контакты
        Документы
        Подписка на рассылку
        +7 (800) 600-63-77
        Заказать звонок
        info@picom.ru
        г. Ижевск, 426011, ул. 10 лет Октября, 23
        Мы в соцсетях
        • Вконтакте
        • YouTube
        • Золотой сертифицированный партнёр 1С-Битрикс
        • Золотой партнёр Битрикс24
        • Сертифицированное агентство яндекс
        • Google partner
        Политика конфиденциальности
        © 2022 Все права защищены.
        Файлы cookie
        Мы используем файлы cookie, разработанные нашими специалистами и третьими лицами, для анализа событий на нашем веб-сайте, что позволяет нам улучшать взаимодействие с пользователями и обслуживание. Продолжая просмотр страниц нашего сайта, вы принимаете условия его использования. Более подробные сведения смотрите в нашей Политике в отношении файлов Cookie
        Принимаю