Пиком
Услуги
  • Решения
    • Разработка для стартапов
    • Комплексные цифровые решения для клиник
    • Быстрый запуск сайта
    • Digital-аутсорсинг для бизнеса
    • Разработка интернет-аптеки
  • Разработка и поддержка
    • Разработка сайтов на «1С-Битрикс»
    • Разработка интернет-магазина
    • Разработка корпоративного сайта
  • Маркетинг и реклама
    • Таргетированная реклама
    • SMM-продвижение
    • Контекстная реклама
    • SEO
    • Копирайтинг
    • Реклама в Яндекс Директ
    • Реклама во «ВКонтакте»
    • Контент для маркетплейсов
    • Контент-стратегии
    • Контент-маркетинг
    • Управление каналами трафика
  • Аналитика и исследования
    • Аудиты: UX-аудит, экспресс-аудит, CJM
    • Data Driven Marketing
    • Анализ целевой аудитории
    • Маркетинговые исследования
    • CJM (Customer Journey Map)
  • Внедрение CRM
    • Внедрение Битрикс24
    • Настройка SIP/ВАТС/ОАТС/IP-телефонии для бизнеса
    • Автоматизация бизнес-процессов
Продукты
  • Коробочная версия Битрикс24
  • 1С-Битрикс: Управление сайтом
  • Модуль мгновенной индексации для 1C-Битрикс
Проекты
  • Внедрение CRM
  • Заказная разработка
  • Маркетинг и реклама
  • Сайты
  • Отраслевые решения
Компания
  • О компании
  • Отзывы
  • Спецпроекты
  • Вакансии
  • Награды
Блог
Контакты
Ещё
    Задать вопрос
    +7 (800) 600-63-77
    Заказать звонок
    info@picom.ru
    г. Ижевск, 426008, ул. Карла Маркса, 191, оф. 1.01
    • Вконтакте
    • YouTube
    +7 (800) 600-63-77
    Оставить заявку
    Пиком
    Услуги
    • Решения
      • Разработка для стартапов —
      • Комплексные цифровые решения для клиник —
      • Быстрый запуск сайта —
      • Digital-аутсорсинг для бизнеса —
      • Разработка интернет-аптеки
    • Разработка и поддержка
      • Разработка сайтов на «1С-Битрикс» —
      • Разработка интернет-магазина —
      • Разработка корпоративного сайта
    • Маркетинг и реклама
      • Таргетированная реклама —
      • SMM-продвижение —
      • Контекстная реклама —
      • SEO —
      • Копирайтинг —
      • Реклама в Яндекс Директ —
      • Реклама во «ВКонтакте» —
      • Контент для маркетплейсов —
      • Контент-стратегии —
      • Контент-маркетинг —
      • Управление каналами трафика
      • + Ещё 1
    • Аналитика и исследования
      • Аудиты: UX-аудит, экспресс-аудит, CJM —
      • Data Driven Marketing —
      • Анализ целевой аудитории —
      • Маркетинговые исследования —
      • CJM (Customer Journey Map)
    • Внедрение CRM
      • Внедрение Битрикс24 —
      • Настройка SIP/ВАТС/ОАТС/IP-телефонии для бизнеса —
      • Автоматизация бизнес-процессов
    Продукты
    • Коробочная версия Битрикс24
      Коробочная версия Битрикс24
    • 1С-Битрикс: Управление сайтом
      1С-Битрикс: Управление сайтом
    • Модуль мгновенной индексации для 1C-Битрикс
      Модуль мгновенной индексации для 1C-Битрикс
    Проекты
    • Внедрение CRM
    • Заказная разработка
    • Маркетинг и реклама
    • Сайты
    • Отраслевые решения
    Компания
    • О компании
    • Отзывы
    • Спецпроекты
    • Вакансии
    • Награды
    Блог
    Контакты
      Пиком
      Услуги
      • Решения
        • Разработка для стартапов —
        • Комплексные цифровые решения для клиник —
        • Быстрый запуск сайта —
        • Digital-аутсорсинг для бизнеса —
        • Разработка интернет-аптеки
      • Разработка и поддержка
        • Разработка сайтов на «1С-Битрикс» —
        • Разработка интернет-магазина —
        • Разработка корпоративного сайта
      • Маркетинг и реклама
        • Таргетированная реклама —
        • SMM-продвижение —
        • Контекстная реклама —
        • SEO —
        • Копирайтинг —
        • Реклама в Яндекс Директ —
        • Реклама во «ВКонтакте» —
        • Контент для маркетплейсов —
        • Контент-стратегии —
        • Контент-маркетинг —
        • Управление каналами трафика
        • + Ещё 1
      • Аналитика и исследования
        • Аудиты: UX-аудит, экспресс-аудит, CJM —
        • Data Driven Marketing —
        • Анализ целевой аудитории —
        • Маркетинговые исследования —
        • CJM (Customer Journey Map)
      • Внедрение CRM
        • Внедрение Битрикс24 —
        • Настройка SIP/ВАТС/ОАТС/IP-телефонии для бизнеса —
        • Автоматизация бизнес-процессов
      Продукты
      • Коробочная версия Битрикс24
        Коробочная версия Битрикс24
      • 1С-Битрикс: Управление сайтом
        1С-Битрикс: Управление сайтом
      • Модуль мгновенной индексации для 1C-Битрикс
        Модуль мгновенной индексации для 1C-Битрикс
      Проекты
      • Внедрение CRM
      • Заказная разработка
      • Маркетинг и реклама
      • Сайты
      • Отраслевые решения
      Компания
      • О компании
      • Отзывы
      • Спецпроекты
      • Вакансии
      • Награды
      Блог
      Контакты
        Пиком
        Пиком
        • Услуги
          • Назад
          • Услуги
          • Решения
            • Назад
            • Решения
            • Разработка для стартапов
            • Комплексные цифровые решения для клиник
            • Быстрый запуск сайта
            • Digital-аутсорсинг для бизнеса
            • Разработка интернет-аптеки
          • Разработка и поддержка
            • Назад
            • Разработка и поддержка
            • Разработка сайтов на «1С-Битрикс»
            • Разработка интернет-магазина
            • Разработка корпоративного сайта
          • Маркетинг и реклама
            • Назад
            • Маркетинг и реклама
            • Таргетированная реклама
            • SMM-продвижение
            • Контекстная реклама
            • SEO
            • Копирайтинг
            • Реклама в Яндекс Директ
            • Реклама во «ВКонтакте»
            • Контент для маркетплейсов
            • Контент-стратегии
            • Контент-маркетинг
            • Управление каналами трафика
          • Аналитика и исследования
            • Назад
            • Аналитика и исследования
            • Аудиты: UX-аудит, экспресс-аудит, CJM
            • Data Driven Marketing
            • Анализ целевой аудитории
            • Маркетинговые исследования
            • CJM (Customer Journey Map)
          • Внедрение CRM
            • Назад
            • Внедрение CRM
            • Внедрение Битрикс24
            • Настройка SIP/ВАТС/ОАТС/IP-телефонии для бизнеса
            • Автоматизация бизнес-процессов
        • Продукты
          • Назад
          • Продукты
          • Коробочная версия Битрикс24
          • 1С-Битрикс: Управление сайтом
          • Модуль мгновенной индексации для 1C-Битрикс
        • Проекты
          • Назад
          • Проекты
          • Внедрение CRM
          • Заказная разработка
          • Маркетинг и реклама
          • Сайты
          • Отраслевые решения
        • Компания
          • Назад
          • Компания
          • О компании
          • Отзывы
          • Спецпроекты
          • Вакансии
          • Награды
        • Блог
        • Контакты
        • +7 (800) 600-63-77
        info@picom.ru
        г. Ижевск, 426008, ул. Карла Маркса, 191, оф. 1.01
        • Вконтакте
        • YouTube
        • Главная
        • Блог
        • Статьи
        • Robots.txt и .htaccess – настройка и решение проблем.

        Robots.txt и .htaccess – настройка и решение проблем.

        20 июля 2012
        Статьи
        В этой статье мы рассмотрим особенности файлов robots.txt и .htaccess как инструменты для корпоративного сайта.
        Данные файлы необходимо создать(если они не были заблаговременно созданы вручную или же при помощи CMS) и разместить в корневой директории сайта – http://site.ru/.


        Robots.txt

        Что такое robots.txt: раскрытие основных элементов

        Robots – это файл с расширением .txt(можно создать во встроенном блокноте), который указывает поисковым системам то, на что им не стоит обращать внимания, т.е. не индексировать, а также сообщает о наличии карты сайта(sitemap) и главного зеркала сайта.

        Настройка robots.txt

        Для начала указываем поисковые системы, которым вы хотите открыть/закрыть доступ к сайту. Так как для корпоративного сайта нам подойдут все поисковые системы, рекомендую писать код файла robots.txt для всех поисковых систем сразу. Выглядеть это будет так:
        User-agent: *
         Теперь перейдём к списку страниц, к которому у поисковых роботов будет открыт или закрыт доступ к сайту: директивы Disallow и Allow Рекомендую использовать директиву Disallow для запрета индексации лишних или мусорных страниц сайта, например:
        Disallow: /adm
         Таким образом мы запретили индексацию административного раздела сайта и упростили работу для роботов поисковых систем. Если же вы не хотите закрывать никакие разделы для индексации, то можно применить директиву Allow, тогда наш код для robots.txt будет выглядеть следующим образом:
        User-agent: * Allow: /
         Теперь осталось лишь прописать «главное зеркало» сайта и указать расположение карты сайта, если она создана. Главное зеркало сайта – это тот адрес, по которому ваш сайт будет показываться в результатах выдачи поисковой системы (с www или без www). Для этого используется директива Host. Например, Вы хотите, чтобы Ваш сайт показывался в результатах поиска с www, в этом случае наш код будет выглядеть так:
        User-agent: * Allow: / Host: www.vashsite.ru
         Если без www, то, соответственно:
        User-agent: * Allow: / Host: vashsite.ru
         Если у вас создана карта сайта, то её также можно указать в файле robots.txt, указав её полный адрес. Если она располагается в корневой директории сайта, то код приобретёт следующий вид:
        User-agent: * Allow: / Host: www.vashsite.ru Sitemap: http://www.vashsite.ru/sitemap.xml
         Остаётся лишь сохранить этот файл и поместить в корневую директорию сайта.

        Файл .htaccess

        Для чего используется файл .htaccess

        Файл .htaccess предназначен для управления настройками сервера Apache. В нём много различных настроек и возможностей, но мы рассмотрим лишь самую животрепещущую проблему, перед которой сталкиваются владельцы корпоративных сайтов – переезд со старого на новый сайт.

        Настройка .htaccess

        Здесь я приведу строчки кода, которые необходимо вставить в начало файла .htaccess для выполнения определённой задачи. Вопрос 1: «Был у компании старый сайт(условно oldsite.ru), заказали новый(условно newsite.ru). Новый сайт сделали и разместили на другом домене, а в поисковой выдаче находится до сих пор старый сайт, а новый никак не индексируется. Что делать?» Ответ: Необходимо в директиве Host(в файле robots.txt) и старого и нового сайтов указать адрес нового сайта, а затем в файл .htaccess внести: 301 редирект со старого домена на новый.
        Options +FollowSymLinks RewriteEngine on RewriteCond %{HTTP_HOST} ^oldsite.ru$ RewriteRule ^(.*)$ http://newsite.ru/$1 [R=301,L]
         *где oldsite.ru и newsite.ru заменить на адреса Ваших сайтов Вопрос 2: «Как сделать так, чтобы сайт отображался лишь по одному адрес www или без www и все внешние ссылки для сайта учитывались поисковыми системами? 301 редирект с зеркала с www на зеркало без www:
        Options +FollowSymLinks RewriteEngine On RewriteCond %{HTTP_HOST} ^www.site\.ru$ [NC] RewriteRule ^(.*)$ http://site.ru/$1 [R=301,L]
         301 редирект с зеркала без www на зеркало с www
        Options +FollowSymLinks RewriteEngine On RewriteCond %{HTTP_HOST} ^site\.ru$ [NC] RewriteRule ^(.*)$ http://www.site.ru/$1 [R=301,L]
         *в этой статье приведены лишь основные тезисы настройки файлов robots.txt и .htaccess.
        Начните сотрудничество с индивидуальной консультации по подбору инструментов и услуг.
        Оставить заявку

        Подписаться на
        рассылку

        Будьте в курсе последних новостей отрасли

        Подписаться
        Назад к списку

        Есть идеи, но не знаете, с чего начать?

        Напишите нам или закажите звонок — мы поможем. Выслушаем ваши задачи для бизнеса, и на их основе предложим варианты развития.
        Задать вопрос
        Заказать звонок
        Услуги
        Решения
        Разработка и поддержка
        Маркетинг и реклама
        Аналитика и исследования
        Внедрение CRM
        Продукты
        Коробочная версия Битрикс24
        1С-Битрикс: Управление сайтом
        Модуль мгновенной индексации для 1C-Битрикс
        Компания
        О компании
        Отзывы
        Спецпроекты
        Вакансии
        Награды
        Проекты
        Блог
        Контакты
        Документы
        Подписка на рассылку
        +7 (800) 600-63-77
        Заказать звонок
        info@picom.ru
        г. Ижевск, 426008, ул. Карла Маркса, 191, оф. 1.01
        Мы в соцсетях
        • Вконтакте
        • YouTube
        • Золотой сертифицированный партнёр 1С-Битрикс
        • Золотой партнёр Битрикс24
        • Сертифицированное агентство яндекс
        • Google partner
        Политика конфиденциальности
        © 2023 Все права защищены.
        Файлы cookie
        Мы используем файлы cookie, разработанные нашими специалистами и третьими лицами, для анализа событий на нашем веб-сайте, что позволяет нам улучшать взаимодействие с пользователями и обслуживание. Продолжая просмотр страниц нашего сайта, вы принимаете условия его использования. Более подробные сведения смотрите в нашей Политике в отношении файлов Cookie
        Принимаю