Чому сайт не індексується в Яндексі?

20

Від автора: ви пишете корисний і цікавий контент. А може бути некорисний і нецікавий – це ваша справа. Але чому сайт не індексується в яндексі на протязі довгого часу? Давайте розглянемо всі основні причина.

Чому сайт не індексується в Яндексі?

Подивіться на цю картинку. Так напевно ви вже не раз бачили. Дійсно в яндексі може знайтися все. Але те, що не проіндексовано, ніколи не знайдеться, тому що пошуковик просто не знає про нього. А раз так, то питання індексації є дуже важливим для будь-якого веб-майстри, власника сайту і оптимізатора. Сьогодні я напишу як мінімум про кілька причин, чому у вас можуть бути проблеми з індексацією.

Перша і найвірогідніша причина – вік сайту

Справа в тому, що більшість веб-майстрів, яких турбує питання швидкої індексації – власники молодих сайтів. Я впевнений в цьому, тому, що сам розбудовував два сайту з нуля з перших днів їх існування. Потрібно розуміти, що Яндекс відноситься до тільки що вылупившимся на світло сайтів з недовірою, і в цьому його не можна дорікнути – аж надто багато з’явилося ГС.

Отже, чим молодше ваш сайт, тим менше шанс швидкої індексації сторінок сайту. Як правило, більш менш швидко можна загнати в індекс головну сторінку, так як у неї найвищий пріоритет, а от інші в будь-якому випадку не так швидко потраплять в індекс.

Якщо ви хочете проіндексувати хоча б головну сторінку додати сайт в Яндекс.Вебмастер, якщо ви ще не зробили цього. Також додайте url проекту в addurl (Повідомити про новому сайті). Після підтвердження прав на сайт я також рекомендую відразу зробити наступне:

Завантажити в вебмастер xml карту сайту (це безпосередньо може покращити індексацію, так як пошуковий робот будуть краще обізнаний про всіх наявних сторінках).

Завантажити і перевірити файл robots.txt. Його можна перевірити на помилки.

Налаштувати головне дзеркало сайту, щоб не виникло дублів з www і без нього

Це те, що прямим або непрямим чином вплине на швидкість індексації. Якщо ви зробили все це, вам залишається тільки чекати індексації, додаючи все нові url-адреси проекту з допомогою того ж addurl.

Добре, можливо, ви все це зробили і все одно не можете дочекатися індексації. Невже ніяк не можна прискорити процес? Тут потрібно розуміти, що багато чого від вас не залежить. Яндекс за замовчуванням індексує набагато повільніше, ніж Google. Тим більше молоді сайти. Зазвичай протягом 1-3 тижнів нові сторінки молодих сайтів з’являються в індексі. Вважайте цей часовий відрізок цілком нормальним.

Я лише хочу донести до вас, що якщо причина повільної індексації у віці сайту, то не варто особливо турбуватися. З часом ваш проект виросте і з немовляти перетвориться в рядовий інтернет-ресурс, добре відомий пошуковикам. Тоді і настане час, коли нові матеріали будуть влітати в індекс швидко, протягом декількох днів.

Таку ситуацію я помітив двох молодих сайтах, які просував. Коли вік сайту перевалив за 6 місяців, швидкість входу нової статті в індекс збільшилася. За заявами самого яндекса, максимально довгий термін індексації – 2 тижні. Якщо вони пройшли і в індексі нічого немає, значить, можуть бути інші проблеми або помилки. Звичайно, 2 тижні не варто чекати, а краще все перевірити як тільки зможете. Далі я розгляну найбільш часті помилки і фактори, через які сайт або окремі його сторінки можуть не потрапити в індекс.

Заборона на індексування в robots.txt

Чому сайт не індексується в Яндексі?

Це важливий і корисний файл, але в ньому можуть бути помилки, якщо ви прописували інструкції самі, або взяли на першому-ліпшому сайті. Найголовніше, щоб не було такої команди: Disallow: /

Також перевірте, які конкретні команди даються для бота Яндекса (user-agent: Yandex). Чи проблема саме в цьому файлі, але нерозумно буде його не перевірити.

Використання мета-тега robots

До речі, в самому robots.txt ви можете не знайти жодних небезпечних команд, які закривали б обхід до сайту та його конкретній сторінці. Але ж крім цього є ще мета-тег robots, за допомогою якого можна закрити конкретну сторінку від індексації, а також посилання на ній.

Наприклад, такий шматок коду явно свідчить про те, що сторінка буде закрита. Перевірте, чи немає у вас де-небудь в шапці. Якщо ви хочете закрити всі посилання, але відкрити текст (тоді сторінка буде проіндексована), використовуйте параметри index, nofollow, а якщо потрібно відкрити всі – index, follow.

Заборона на індексування у налаштуваннях движка

Наскільки я пам’ятаю, перед установкою wordpress можна відзначити галочкою опцію, щоб не індексувати сайт в пошукових системах. Це може бути корисно перший час на молодих сайтах, які знаходяться в розробці, щоб всякі тестові сторінки не потрапляли в індекс. Можливо, ви встановили цю галочку випадково під час установки або пізніше з налаштувань. В такому випадку просто зніміть її.

Чому сайт не індексується в Яндексі?

Неправильне використання тега noindex

Тег noindex – корисний, але небезпечний тег при його неправильному використанні. Він дозволяє закрити текст від індексації. Тобто текст, поміщений в нього, сприйматися пошукачем не буде. Відповідно, якщо ви випадково обернете всю статтю в noindex, вона не проіндексує, так як нічого індексувати (все закрито).

Чи ви можете допустити таку помилку, але тег закрастися в самі файли шаблону. Можливо, він у вас де-небудь в header.php відкривається, а потім ніде не закривається. Виходить кумедна ситуація, що все закрито. Іншими словами, перевірте код свого сайту. Насправді необов’язково бути програмістом і верстальником для цього.

Ви можете використовувати програму на зразок Архіваріус для швидкого пошуку по багатьом файлів (введіть noindex), або скористатися стандартним пошуком по файлу. Також може допомогти відладчик (F12 в Google Chrome), але це вже більше для розробників. Додатково ви можете перевірити кожну конкретну сторінку. Не сталося такого, що з допомогою noindex ви хотіли закрити якийсь неунікальний фрагмент тексту, але не закрили тег в потрібному місці?

Фільтри від пошукових систем

Чому сайт не індексується в Яндексі?

В даному випадку нас цікавлять фільтри від Яндекса. Хоча ви повинні розуміти, що вони є і у Google і вони ж можуть бути причиною того, що ваш сайт і в цьому пошуковику не потрапляє в індекс.

Зокрема, у всіх молодих сайтів є фільтр пісочниця (sand-box). Це не проблема, це нормально. Як маленькі дітки граються в пісочниці, так молоді і зелені інтернет-проекти теж туди потрапляють. Ні, обходити весь місто в пошуках свого сайту не потрібно, просто знайте, що швидкість індексації у молодих сайтів нижче. Про це я вже говорив вище.

Але пісочниця – це тимчасова міра пошуковика. І взагалі це не страшний фільтр, тому що він накладається на всіх. Інша справа, це санкції за використання недобросовісних прийомів при просуванні сайту. Найчастіше це прихований або явний спам ключовими словами в тексті, а також у мета тегах. Іншими словами, грайте за правилами пошукових систем, і таких проблем у вас не виникне.

Погана історія домену

Цей пункт актуальний для тих, хто купив домен і почав на ньому розвиток свого нового проекту, або для тих, хто зареєстрував покинутий колишнім власником домену.

Звичайно, перед покупкою будь-якого домену я рекомендую вам проаналізувати його. Частково це можна зробити за допомогою таких сервісів, як ВебАрхив (знімки сайту) та linkpad.ru (аналіз посилальної маси). По знімках ви можете визначити, який тематики був сайт і що за контент на ньому був. За посилальної маси можна приблизно зрозуміти тематику. Перевіряйте також домен на наявність у нього фільтрів пошукових систем.

Загалом, такий невеликий аналіз вбереже вас від покупки домену з поганою історією. Якщо ви все ж придбали такий, можливо, з допомогою запитів в тех. підтримку з часом репутацію вдасться відновити. Але краще вже починати з нуля, ніж так.

Мова сайту

Ви повинні розуміти, що в першу чергу Яндекс орієнтований на країни СНД. Якщо ви хочете, щоб індексувалися сторінки англійських, німецьких та інших іноземних сайтів, то це цілком можливо, але тільки за умови якісного контенту. Для іноземних сайтів є Google і багато інших пошукачів, так що в першу чергу вам туди.

Відсоток унікальності ваших текстів

Є ще одна вагома причина, чому ваш сайт не може індексуватися Яндексом. Ця причина – неунікальний контент. Наприклад, ви скопіювали текст з іншого джерела і вставили собі, ніяк не змінивши. Практика показує, що Яндекс може взагалі не проіндексувати повністю неунікальний контент і може довго не звертати увагу на сторінки, унікальність яких менше 50%. Краще мати унікальність від 90%.

Щоб краще розуміти, чому у неунікального контенту набагато менше шансів на успішну індексацію, ви повинні приблизно розуміти алгоритм, за яким нові сторінки потрапляють в індекс. Зокрема, перед попаданням роботом проводиться якийсь аналіз вмісту і якщо він виявляється низької якості, сторінка просто не може потрапити в індекс. Щоб вона все-таки потрапила, необхідно поліпшити якість тексту.

Помилки сервера

Це остання причина, яку ми розглянемо. Вона чисто технічного характеру. Зокрема, одним з показників якості та надійності вашого ресурсу є те, що він постійно доступний у мережі 24 години на добу, кожен день. Звичайно, дрібні збої можуть бути і це нормально. Але коли ваш сайт вимикається на кілька годин (або, ще гірше, днів), то пошуковий робот, прийшовши на нові сторінки, просто не зможе їх відкрити і змушений буде піти.

Таким чином, може навіть випасти з індексу ті сторінки, які вже там були. Як не допустити цього? Перш за все, вибирати гарного хостера і більш менш нормальний тариф. Економити на своєму сайті не варто. Краще платите 300-500 рублів на місяць, ніж 50.

Також якщо ви купуєте тарифи VPS/VDS, то вам, швидше за все, доведеться самостійно налаштовувати сервер. Зокрема, вибирати OC віртуальної машини, ставити які-небудь утиліти і т. д. Якщо ви взагалі повний нуль в налаштування серверної, краще поки не купувати VDS або вибирати тариф, де вам гарантується тех. підтримка від провайдера.

Зокрема, до серверних помилок відносяться всі з кодом 4**, 5** (тризначні з четвіркою і п’ятіркою на початку). Наприклад, через відсутність оптимізації роботи баз даних може виникати помилка. Особливо, якщо по сайту гуляють десятки і сотні людей, а ресурсів у вас небагато.

Підсумок

Що ж, ми розглянули всі основні причини. Тепер ви знаєте що робити, коли сайт не індексується в Яндексі. Якщо вами перевірено абсолютно все і не знайдено ніяких помилок і проблем, значить, треба просто чекати. Як я вже говорив, Яндекс індексує не так швидко, як Google. Швидкість заходу в індекс коливається від 1 дня до 3 тижнів.

Ну а інші фішки не тільки по індексації, але і в загальному по просуванню і розкрутці блогу, ви можете знайти в цьому курсі. Повірте, цих фішок досить багато, так що вже завтра (якщо раптом почнете вивчати курс) ви будете в шоці від того, як багато речей ви не знали!

Але знання рятує нас від неприємностей при просуванні сайту. А раз так, читайте Webformyself, підписуйтесь на нас там, де вам зручно, і до швидких зустрічей!