Semalt дава основните причини, поради които Googlebot не обхожда всяка страница на някои сайтове
Имаме клиенти, които идват да се оплакват, че някои от техните сайтове не се обхождат от Googlebot. Като SEO експерти, нашата работа е да намерим проблема и да го поправим, така че клиентите ни да бъдат щастливи и да поддържат сайта си в отлично състояние.
Джон Мюлер от Google обяснява някои фактори, които влияят върху начина на обхождане на страниците на всеки сайт. Разбира се, това не беше конкретно, но ни насочва в правилната посока. В този пост Джон също подчертава защо някои страници в даден сайт не се обхождат.
Въпросът, който предизвика този отговор, беше загрижен защо Google обхожда уебсайтове с относително бавни темпове, което е недостатъчно, за да се справи с огромния брой уебсайтове днес.
Разбиране на бюджета на Google за обхождане
Това е първата област, върху която избираме да се съсредоточим, тъй като обяснява много за това колко често Google обхожда уебсайт. Googlebot (името на уеб роулера на Google) преминава през уеб страници и ги държи индексирани, за да могат да се класират в SERP. Големият обем уебсайтове обаче се превръща в проблем, поради което Google разработи стратегия, в която индексира само висококачествени уеб страници. Мислете за това като за някаква форма на филтър. Вместо да изразходва всички тези ресурси на страници, които най -вероятно са без значение за потребителя, Google се фокусира само върху висококачествени уеб страници.
Бюджетът за обхождане на сайт е количеството ресурси, които Google отделя за обхождането на този сайт. Също така е важно да се отбележи, че не всичко, което се обхожда, се индексира. Уеб страниците се индексират едва след като бъдат обходени и счетени за ценни.
След като бюджетът Ви за обхождане е изразходван, Google спира да обхожда уеб страниците Ви.
Настройване на вашия бюджет за обхождане
Бюджетът за обхождане на уебсайтове се определя от четири основни фактора:
- Размер на сайта: По -големите уебсайтове имат по -големи бюджети за обхождане.
- Настройка на сървъра: производителността и времето за зареждане на вашия сайт могат да окажат влияние върху това колко бюджет за обхождане е разпределен за вашия сайт. Както казахме, по -добрите сайтове получават по -добри бюджети за обхождане, така че когато вашият сайт се представя отлично, той получава повече бюджет за обхождане.
- Честота на актуализации: Редовните актуализации означават редовен приток на свежо съдържание. Google ще даде приоритет на уебсайтове, които получават редовни актуализации, и ще им даде по -значителен бюджет за обхождане.
- Връзки: вашата вътрешна структура на свързване и входящи връзки също допринасят за това колко бюджет за обхождане получава вашият уебсайт.
Лесно е да разберете защо бихте били толкова притеснени, когато част от съдържанието ви не бъде обходено като собственик на уебсайт. Това намалява шансовете ви за класиране, особено когато най -ценното ви съдържание е пропуснато.
Как да отстраним проблемите с обхождането
Поправяне на проблеми с вашите мета тагове или файл robots.txt
Въпросите, които попадат в тази категория, обикновено са лесни за откриване и решаване. Понякога целият ви уебсайт или конкретни страници на него могат да останат невиждани от Google, тъй като на Googlebot не е разрешено да влиза в тях.
Има редица команди за ботове, които предотвратяват обхождането на страници и това може да бъде поправено чрез проверка на вашите мета тагове и файла robots.txt. Наличието на правилните параметри и адекватното им използване всъщност ще ви помогне да спестите бюджета си за обхождане и да насочите Googlebot в правилната посока.
Възможно е също да нямате връзки за проследяване. В този случай роботът индексира страница, но е спрян да следва връзката. Това не е добре за вашия сайт, тъй като Googlebot използва тези вътрешни връзки за намиране на нови страници. Това ни отвежда до следващата точка.
Вътрешни прекъснати връзки
Наличието на прекъснати връзки никога не е добро изживяване както за потребителите, така и за роботите. За всяка индексирана страница се изважда част от бюджета на сайта за обхождане. Знаейки това, ние разбираме, че когато има твърде много прекъснати връзки, ботът ще изгуби целия ви бюджет за индексиране, като ги индексира, но няма да стигне до съответните и качествени страници.
Поправянето на неработещите ви връзки помага да направите качественото си съдържание по -видимо за Googlebot.
Вътрешните прекъснати връзки могат да бъдат резултат от грешки в URL адресите (където има правописна грешка в URL адреса с хипервръзка), остарели URL адреси или страници с отказан достъп.
Проблем, свързан със сървъра
Вашият сървър също може да бъде причината, поради която Google не намира определени страници. Наличието на голям брой грешки 5xx на вашия уебсайт може да е сигнал, че нещо не е наред с вашия сървър. За да разрешим този проблем, преконфигурираме области, където има грешки, и отстраняваме грешките.
Понякога може да се окаже, че сървърът ви е претоварен. В този случай той спира да отговаря на заявките на потребителя и бота. Когато това се случи, вашите зрители, както и ботовете, нямат достъп до тази страница.
В екстремни ситуации може да гледаме на неправилна конфигурация на уеб сървър. Тук сайтът е видим за човешки потребители, но продължава да изпраща съобщение за грешка на роботите на сайта. Този проблем е доста сложен, тъй като може да бъде трудно да се забележи. В този случай уеб страницата е недостъпна за Googlebot, което прави невъзможно да бъдат обходени и индексирани от ботове.
Проблеми с XML на Sitemap
Картата на сайта засяга широк спектър от елементи на вашия уебсайт. Важно е URL адресите в картата на вашия сайт да бъдат подходящи. Те трябва да бъдат актуализирани и правилни. Това е важно, защото когато бюджетът ви за обхождане е недостатъчен, вашата карта на сайта насочва роботите за обхождане към най -подходящите сайтове. По този начин най -важните ви страници все още се индексират.
Грешки с уеб архитектурата
Това е един от най -трудните за решаване въпроси. Проблемите, които попадат в тази категория, могат да блокират или дезориентират роботите във вашия уебсайт. Това може да бъде под формата на проблеми с вътрешното ви свързване. Или може да е случаят с грешни пренасочвания. В този случай потребителите и ботовете се пренасочват към по -малко подходящи страници. И накрая, имаме дублирано съдържание. За съжаление, дублираното съдържание е един от най -често срещаните проблеми с SEO. Това също е една от основните причини, поради които изчерпвате бюджета си за обхождане и на Google става трудно да обхожда някои от вашите страници.
Заключение
Google не може да намери вашето съдържание не само поради проблеми, свързани със съдържанието, или поради това, че оптимизирате за грешни ключови думи. Дори оптимизираното съдържание може да остане невидимо за Google, ако има проблеми с търсенето.
Ние сме тук, за да разберем какво не е наред, както и да изготвим план за това как можем да разрешим този проблем. Свържете се с нас днес и Semalt може да ви помогне да върнете съдържанието си на радара.