Посмотрим, как сделать своими руками технический SEO-аудит с помощью бесплатной версии (standard ‘Lite’ version) программы "Screaming Frog SEO Spider". В качестве примера используем сайт с количеством страниц, не превышающим ограничение бесплатной версии на сканирование – не более 500 URL-ов.

• Этап 1. Обзор результатов парсинга
• Этап 2. Оцениваем готовность проверенного сайта к продвижению

Выбранный для анализа сайт http://www.kernel-video-sharing.com/ интересен тем, что с ним не проводились работы по поисковой оптимизации, и тем, что сайт имеет две языковые версии.

Перенаправление на языковую версию происходит автоматически в соответствии с настройками браузера посетителя. По этой причине на сайте встретится бόльшее количество перенаправлений, чем обычно бывает на одноязычном сайте.

Программа “Screaming Frog SEO Spider” устанавливается быстро и просто.

Screaming Frog позволяет бесплатно пользоваться настройками программы только «по умолчанию», поэтому главное меню программы (см. Рис. 001) мы оставляем без внимания и сразу переходим к сканированию сайта.

 

Рис. 001

Вводим URL сайта в поле адреса сайта и кликаем по кнопке “Start” (см. Рис. 002). В этот момент начнется технический SEO-аудит.

Рис. 002

Сканирование маленького сайта http://www.kernel-video-sharing.com/ занимает пару секунд.

Введён ли URL русскоязычной версии сайта – http://www.kernel-video-sharing.com/ru/, или англоязычной – http://www.kernel-video-sharing.com/en/, программа сканирует сразу все страницы сайта (см. Рис. 003).

Этап 1. Обзор результатов парсинга

Рис. 003

Главное окно программы разделено на 4 окна с наборами вкладок:

• окно №1 – список всех отсканированных страниц и файлов;
• окно №2 – структура страниц и файлов, их количество и соотношение в процентах;
• окно №3 – сведения о выбранном файле из списка в окне №1;
• окно №4 – графическое отображение структуры сайта в виде диаграммы.

Части диаграммы работают как фильтры для сортировки содержимого окна №1 – при клике на части диаграммы в окне №1 можно видеть список URL-ов выбранного типа.

Посмотрим в окно №1.

16 вкладок-таблиц для вывода результатов сканирования сайта составляют главное окно программы. Эти вкладки на скриншоте рабочего окна программы Screaming Frog выделены маркером жёлтого цвета (см. Рис. 004).

Каждая вкладка-таблица служит для вывода результатов аудита сайта по одной группе показателей и содержит набор столбцов для удобного показа этих результатов.

Рис. 004

Результаты проверки сайта, представленные в каждой вкладке, можно отсортировать по их характеристикам. Для этого нужно кликнуть курсором на нужную характеристику в выпадающем списке поля “Filter” (см. Рис. 005).

Рис. 005

Данные из любой вкладки можно извлечь и сохранить в нужную вам локальную папку в файлах форматов: .txt, .csv, .xls, .xlsx (см. Рис. 006). Для этого выбираете нужные данные, как показано на Рис. 005, и кликаете по кнопке “Export”. В открывшемся окне проводника выбираете нужный формат сохраняемого файла и папку, в которую хотите сохранить выбранные данные. Имя сохраняемого файла программа предлагает сама, но вы можете заменить его нужным вам именем файла. Выбрав папку, имя и формат файла, нажимаете на кнопку “Save” в этом окне проводника.

Рис. 006

Данные в окне №1 связаны с данными в окне №2. В окне №2 отображена структура отсканированного сайта. При выборе вкладки в окне №1 соответствующий уровень структуры в окне №2 выделяется синим цветом. Аналогично при клике курсором по нужному структурному элементу сайта в окне №2 программа активирует (актуализирует) соответствующую вкладку окна №1 (см. Рис. 007).

Рис. 007

В окне №2 программа показывает общую схему сайта в виде древовидной структуры.

В окне №1 можно посмотреть детальную древовидную структуру конкретного диапазона параметров сайта (см. Рис. 008). Для этого из выпадающего списка поля “View” нужно выбрать “List” – список или “Tree” – дерево.

Рис. 008

Благодаря этому функционалу программы вы можете увидеть расположение интересующего вас URL-а или файла в структуре сайта. (см. Рис. 009).

Рис. 009

Кликнув по файлу в окне №1, вы сможете посмотреть параметры этого файла в окне №3 (см. Рис. 010).

Рис. 010

Вкладки окна №1.  Смотрим самое важное содержание

1) Internal

Таблица “Internal” содержит все результаты парсинга, кроме внешних ссылок и пользовательских значений.

В окне №1, кликнув правой кнопкой мышки по выделенному элементу, можно получить дополнительную информацию об элементе или бесплатно провести с этим элементом дополнительный технический аудит сайта (см. Рис. 011).

Рис. 011

Эта самая большая и длинная вкладка выводит в 31-столбцовую таблицу важнейшие параметры страниц сайта.

Выбрав показ структуры сканированного сайта – фильтр “Tree”, можно посмотреть свёрнутую общую структуру в виде вложенных папок.

Папки можно раскрыть, кликнув на маленький синий значок слева от папки (см. Рис. 012).

Рис. 012

Примечание:

• цифра 1 – под курсором программа показывает уровень элемента относительно корня сайта и количество дочерних вложенных элементов в папке – “Children”;
• цифра 2 – развёрнутая папка со вложенными в неё дочерними элементами.

При наведении курсора появляется «всплывашка», показывающая уровень родительского элемента и количество вложенных дочерних элементов (см. Рис. 013).

Рис. 013

Пример: кликнув по элементу в окне №1, мы можем посмотреть важные для SEO характеристики этого элемента. Перемещаясь по столбцам таблицы с помощью горизонтальной прокрутки, во вкладке “Internal” видим 31 столбец с характеристиками (см. Рис. 014).

Рис. 014

Наиболее важную информацию о выделенном элементе можно быстро посмотреть внизу экрана в окне №3, активируя курсором вкладки этого окна (см. Рис. 015).

Например, активировав вкладку “SERP Snippet” для конкретного файла, выбранного в окне №1, мы увидим возможный вариант сниппета в SERP, составленный программой из метаинформации этого файла (страницы).

Во вкладке “SERP Snippet” нам доступен удобный функционал для формирования желательного правильного и красивого сниппета вручную.

В бесплатной версии программы текстовую информацию, составленную для красивого сниппета, придётся сохранить и потом самостоятельно вписать в код страницы.

Рис. 015

2) External

Во вкладке собраны данные о страницах проверяемого сайта. На этих страницах прописаны ссылки на другие сайты – это исходящие ссылки. (см. Рис. 016).

Рис. 016

В окне №1 показан пример основной информации, характеризующей исходящие ссылки.

В окне №3 можно получить больше сведений о каждой отдельной ссылке. Вкладка “URL Info” повторяет содержание строчки, выбранной в окне №1 (см. Рис. 016 и Рис. 017).

Вкладка “Inlinks” показывает:

• “From”– ссылающуюся страницу проверяемого сайта;
• “To”– URL, на который ссылается страница;
• “Anchor Text” – анкор-текст ссылки;
• “Alt Text” – альтернативный текст;
• “Follow” – возможность перехода по ссылке (см. Рис. 017).

Рис. 017

Во вкладке окна №3 “Outlinks” – данные об исходящей ссылке (см. Рис. 018).

Рис. 018

3) Protocol: HTTP/HTTPS

Показывает протокол передачи гипертекста по открытому или защищённому соединению для каждого URL-а.

4) Response Codes

Вкладка показывает HTTP заголовки страниц или коды статусов ответа сервера по протоколу HTTP (см. Рис. 019 и Рис. 020).

Рис. 019

Рис. 020

Для обработки «плохих» страниц результат сканирования нужно отфильтровать по кодам ответа, затем экспортировать его в файл выбранного формата, например, .xlsx.

На проверяемом сайте, пример на Рис. 020, только одна страница с кодом ответа 404 (группа “Client Error 4xx”).

Страниц с кодом 5хх нет.

Зато слишком много страниц с кодом ответа 302 – "Moved Temporarily" (документ временно перемещён). Это группа «Запрос клиента переадресован» – “Redirection 3xx” (см. Рис. 021).

Рис. 021

5) URI

В этой вкладке собраны страницы сайта, не соответствующие некоторым стандартам поисковиков (см. Рис. 022):

• “Non ASCII Characters” – содержат символы, не входящие в ASCII (англ. American Standard Code for Information Interchange);
• “Underscores”– содержат в URL-е нижнее подчёркивание;
• “Uppercase” – содержат буквы в верхнем регистре;
• “Duplicate” – дублированные страницы;
• “Parameters” – динамические адреса страниц;
• “Over 115 Characters” – URL-ы, содержащие более 115 символов.

Рис. 022

На скриншоте (см. Рис. 022) аудит страниц во вкладке “URI” окна №1 показан в режиме “Tree”. Страницы отфильтрованы по условию “Uppercase”.

В окне №2 эти же данные представлены в обобщённом виде: в верхней половине – списком, в нижней части – в виде диаграммы.

В окне №3 открыта вкладка, показывающая вариант сниппета для URL-а, выделенного в окне №1.

6) Page Titles

Вкладка с информацией о заголовках страниц в тегах “title” (см. Рис. 023):

• “Missing” – страницы без заголовков;
• “Duplicate” – страницы с одинаковыми заголовками;
• “Over 65 Characters” – тайтлы длиннее 65 символов;
• “Below 30 Characters” – тайтлы менее 30 символов;
• “Over 482 Pixels” – заголовки, занимающие более 482 пикселей;
• “Below 200 Pixels” – тайтлы менее 200 пикселей;
• “Same as H1” – страницы, на которых совпадают тексты в title и h1;
• “Multiple” – страницы, на которых найдено более одного заголовка в title

Рис. 023

На скриншоте (см. Рис. 023) показана вкладка “Page Titles” со страницами проверяемого сайта, длина “title” которых превышает 482 пикселя – окно №1.

В окне №3 показан сниппет одной из страниц с превышением рекомендуемой длины заголовка. Заголовок не будет полностью показан в сниппете на странице поисковой выдачи.

В окне №2 на диаграмме можно быстро оценить соотношение «правильных» страниц и страниц с дефектами SEO-оптимизации.

7) Meta Description

Во вкладке представлены результаты анализа мета-информации тега “meta description”.

С помощью фильтра можно выбрать (см. Рис. 024):

• “Missing” – страницы с незаполненным “meta description” ;
• “Duplicate” – страницы с одинаковым содержанием “meta description”;
• “Over 156 Characters” – “meta description” длиннее 156 символов;
• “Below 70 Characters” – “meta description” менее 70 символов;
• “Over 928 Pixels” – текст “meta description” занимает более 928 пикселей;
• “Below 400 Pixels” – “meta description” содержит менее 400 пикселей;
• “Multiple” – страницы, на которых найдено более одного “meta description”.

Рис. 024

На скриншоте вкладки “Meta Description” (см. Рис. 024) показаны возможности анализа этой важной составной части технического аудита сайта с помощью Screaming Frog.

8) Meta Keywords 

Во вкладке представлены результаты анализа мета-информации тега “meta keywords ”.

Screaming Frog показывает страницы без "keywords", с одинаковыми "keywords" и страницы с несколькими "keywords" .

Подавляющее большинство сеошников, регулярно проводящих технический аудит сайта, рекомендуют не тратить времени на анализ и оптимизацию ключевых слов, поэтому эту вкладку можно пропустить.

9) H1

Вкладка показывает наличие заголовков H1 на страницах сайта и анализирует их соответствие стандартам языка разметки гипертекста (см. Рис. 025).

 

Рис. 025

На скриншоте (см. Рис. 025) раскрыта вкладка “H1” с просмотром данных в виде «дерева». Выделенные цветом строчки страниц показывают, что эти страницы имеют 2 заголовка H1, а количество символов в заголовках H1 меньше оптимальных 70-ти.

В окне №2 показаны обобщённые данные по вкладке “H1”: на сайте 4 страницы с множественными заголовками уровня H1, а почти 89% страниц сайта вообще оставлены без заголовков.

В окне №3 видно, что на выбранной странице сайта не прописана информация в “meta description”.

10) H2

Вкладка показывает наличие заголовков H2 на страницах сайта и анализирует их соответствие стандартам языка разметки гипертекста.

Структура вкладки “H2” аналогична вкладке “H1” (см. Рис. 025), поэтому делать её описание не имеет смысла.

11) Images

Вкладка выводит сведения обо всех картинках на сайте (см. Рис. 026).

Сортировка: 

• “Over 100 kb” – «вес» изображения больше 100 Кб;
• “Missing AIt Text” – нет текста в теге “alt”;
• “Alt Text Over 100 Characters” – слишком длинный текст в теге “alt” – более 100 символов.

Рис. 026

На скриншоте вкладки “Images”(см. Рис. 026) показана информация об изображениях на сайте.

В окне №3 программа показывает дополнительную информацию о выбранном в окне №1 графическом файле. Например, во вкладке “Image Info” этого окна показаны:

• URL страницы, на которой находится картинка;
• ссылка (URL), по которой открывается картинка;
• альтернативный текст для этой картинки.

12) Directives

Вкладка показывает все директивы для роботов поисковых систем (см.Рис. 027):

• Canonical;
• Canonicalised;
• No Canonical;
• Next/Prev;
• Index;
• Noindex;
• Follow;
• Nofollow;
• NoArchive;
• NoSnippet;
• NoODP;
• NoYDIR;
• Nolmagelndex;
• NoTranslate;
• Unavailable_After;
• Refresh.

Рис. 027

13)AJAX и другие вкладки

Другие аналитические вкладки программы необходимы для более подробного изучения сайта:

• AJAX;
• Custom;
• Analytics;
• Search Console.

Для дальнейшего анализа и составления отчёта данные из аналитических вкладок можно экспортировать в Excel вместе или по отдельно взятым параметрам.

Этап 2. Оцениваем готовность проверенного сайта к продвижению

Файловая структура сайта

Сайт содержит относительно мало страниц, и значительную часть сайта (см. Рис. 028) составляют изображения. Следовательно, подготовке графических файлов нужно уделить особое внимание.

Рис. 028

Проверяем значимость изображений без альтернативного текста в “alt” (см. Рис. 029).

Из 18 картинок без альтернативного текста часть оказалась вспомогательными графическими элементами, а 6 изображений – важными элементами, для которых нужно прописать оптимизированный текст в тегах “alt”.

 

Рис. 029

7 графических файлов, размещённых на страницах сайта, имеют «избыточный вес», при чём сразу 3 из них загружаются на главную страницу сайта в слайдер (см. Рис. 030). На скриншоте эти файлы выделены жёлтым цветом.

Полезность самого слайдера на сайте вызывает сомнения, а если 3 из 5 слайдов слишком «тяжелые» и все слайды не имеют альтернативного текста, то скорее можно предположить, что этот слайдер наносит вред сайту, замедляя загрузку самой важной страницы сайта.

Рис. 030

Уровень вложенности страниц

На скриншоте (см. Рис. 031) показана структура уровней страниц сайта.

Страницы с уровнем вложенности 4 с точки зрения оптимизации являются нежелательными при разработке структуры сайтов, так как поисковые роботы медленно их индексируют.

На проверенном сайте слишком много страниц ниже третьего уровня вложенности.

Вывод: сайт маленький, уровни 4 и 5 для большинства страниц такого сайта недопустимы. Необходимо изменить структуру сайта таким образом, чтобы большинство страниц были не глубже 3-его уровня.

 

Рис. 031

Ссылки на другие сайты

Во вкладке “External” (см. Рис. 032) представлены все ссылки на внешние ресурсы.

 

 Рис. 032

Исходящих ссылок много, поэтому нужно оценить необходимость каждой ссылки и постараться уменьшить их число. Другой вариант – закрыть ссылки от индексирования.

Доступность страниц. Коды ответов сервера

На Рис. 033 видно, что на сайте много редиректов, несмотря на то что сайт не старый и содержит немного страниц.

 

Рис. 033

На Рис. 034 видно, что из 53 страниц с ответом 3ХХ 41 страница даёт ответ с кодом 302.

Рис. 034

На данный момент интернет работает по протоколу HTTP, который определяет, как обрабатывать URL-адреса. В двух версиях протокола ответ сервера имеет разный статус:

• HTTP 1.0: 302 ответ сервера – это “Moved Temporarily”. Текущий документ временно перемещён на другой URL;
• HTTP 1.1: произошло изменение ответа сервера на “Found” – текущий документ найден.

В качестве причины такого количества редиректов можно предположить неоптимальную организацию перенаправления роботов и посетителей на языковые версии сайта.

Вывод: необходимо применить перенаправление на нужную языковую версию сайта без использования автоматических редиректов. Например, можно предлагать пользователю самому выбрать языковую версию сайта для просмотра.

Оптимизация URL (URI)

На Рис. 035 видно, что URL-ы страниц не однородны. 14,25% страниц содержат буквы в верхнем регистре, 1.61% – нижнее подчёркивание для разделения слов, 12,1% включают параметры.

Необходимо вручную прописать статические URL-ы и программно предотвратить формирование динамических URL-ов (с параметрами), а также URL-ов с заглавными буквами и подчёркиванием.

 

Рис. 035

Title

Из Рис. 036 понятно, что с заголовками на сайте много проблем.

Сейчас 70% страниц сайта имеют одинаковые заголовки в своих группах. Необходимо написать тайтлы оптимальной длины в знаках и пикселях для каждой страницы.

Рис. 036

Meta Description

На Рис. 037 видно, что тексты “meta description” практически не оптимизированы.

На 95% страниц этот важный текст отсутствует.

Вывод: необходимо написать правильные “meta description” для всех страниц сайта.

 

Рис. 037

H1 и H2

С заголовками на страницах сайта те же проблемы, что и с “meta description”.

Почти на всех страницах сайта вообще нет заголовков.

Вывод: нужно написать правильные “H1” и “H2” для всех страниц сайта.

Directives

Сайт маленький, не интернет-магазин с карточками товаров, поэтому использование директив типа “Canonical” для этого сайта пока не имеет смысла.

Заключение

Программа Screaming Frog SEO Spider и в бесплатном варианте имеет богатый набор функций, необходимых для аудита технических ошибок на сайте.

C помощью программы владелец сайта (не сеошник) может своими руками сделать технический SEO-аудит сайта и составить план оптимизации.

Владельцам сайтов рекомендуется сделать экспресс-проверку сайта, используя программу Screaming Frog SEO Spider, до выкладывания его в интернет.

 

Автор: Александр Абрамов