За да може сайтът и неговото съдържание да се показва в резултатите при търсене в Google, първо е необходимо претърсващият уеб робот на Google, наречен Googlebot, да посети сайта.
Можете да проверите какво и дали нещо е индексирано от Google, като направите търсене по:
site:mysite.com
mysite.com – заменете с името на вашия сайт;
При това търсене трябва да се покажат всички страници от сайта, които присъстват в базата на търсачката.
Ботът на Google не знае за съществуването на сайта
Ако сайтът е току-що пуснат, съвсем нов, първо е необходимо Google да разбере за съществуването му. Това може да стане когато Googlebot-ът открие линк към сайта или чрез ръчна регистрация на сайта в Google. След това ще е необходимо известно време, от няколко дни до няколко седмици, за да може Googlebot-ът да обходи страниците на сайта и да ги запише в базата си данни.
Googlebot-ът намира новите сайтове основно чрез линкове към тях, намиращи се на други сайтове. Такива линкове се наричат „backlink„, „беклинк“, „обратни линкове“, „входящи линкове“ и др. Създадените входящи линкове ще добавят тежест в доверието и вниманието на търсещите машини към сайта. Това е най-ефикасният и бърз метод за откриване и индексиране на сайта в базата данни на търсачката.
Когато обаче сайтът е много нов и към него все още няма създадени линкове, Googlebot-ът значително ще се забави в намирането му. За да не чакате ботът на Google да ви намери, може да стартирате веднага в Уеб, като си създадете входящи линкове, разположени на авторитетни сайтове, чрез услугата Регистрация в портали и търсачки.
Услугата „Регистрация в портали и търсачки“ представлява регистрирането на сайта в авторитетни портали и търсачки, включително и в Google, в най-подходящите категории и раздели, спрямо подадената информация от клиента.
По този начин се създават множество входящи линкове към новия сайт. С тях се увеличава възможността сайтът да бъде намерен от повече потребители.
Ботът на Google не може да обходи сайта
Възможни са различни причини, поради които сайтът да се показва в Google частично или изобщо да не се показва. Една от най-често срещаните причини е – когато Googlebot-ът няма достъп до сайта.
Когато ботът на Google не може да достъпи и обходи сайта, тогава няма да може да го запише в базата данни на търсачката. Блокирането на достъпа му може да се извърши по няколко начина.
1. Файл robots.txt
Във файл robots.txt може да се поставят правила, блокиращи достъпа на ботовете до сайта.
Този файл обикновено се намира в основната директория за сайта. Проверете дали в него има некоректни или забраняващи директиви.
Некоректни записи
В случай че в този файл има само един ред: User-agent: *, то е необходимо или да го премахнете или да добавите и завършващите правила. Сам по себе си, този ред означава – всички ботове, но трябва в следващи редове да се опише какво се отнася за тях, дали им се разрешава достъп или не.
Забраняващи директиви
User-agent: *
Disallow: /
или
User-agent: Googlebot
Disallow: /
Тези редове означават, че на посочените ботове е забранен достъп до сайта (Disallow: /).
Разрешаващи директиви
За да позволите достъп на ботовете, включително и на Googlebot-а, премахнете забраняващите и поставете разрешаващи достъпа директиви:
User-agent: *
Disallow:
или
User-agent: *
Аllow: /
Обърнете внимание на това, че първата разрешаваща директива е Disallow:, без наклонена черта в края. Ако поставите наклонена черта (Disallow: /) ще блокирате достъпа на ботовете до целия сайт.
2. Мета тагове в кода на сайта
Друг начин за блокиране на ботовете на търсачките, е чрез мета тага „robots„.
В кода на сайта може да са поставени мета тагове, забраняващи индексиране и обхождане.
Проверете кода на няколко страници от сайта, ако видите подобен таг:
<meta name="robots" content="noindex, nofollow" />
това означава, че в самия код е зададена забрана за индексиране и обхождане от ботовете.
Проверете по какъв начин е добавен този мета таг и го коригирайте, например:
<meta name="robots" content="index, follow" />
3. Блокиране чрез .htaccess файл
Чрез .htaccess файл е възможно да се блокира достъпът на определени посетители до сайта. Критериите за забрана на достъпа може да са по IP адрес, за User-Agent, до определен ресурс/страница и други.
Тъй като ботът на Google може да се определи като посетител на сайта, записи от опитите му за достъп може да се намерят в логовете на уеб сървъра. Ако ползвате контролен панел cPanel, записите ще намерите през меню (Логове) Raw Access.
В записите потърсете редове, които съдържат информация за Googlebot-а. Може да потърсите например по думата „Googlebot„.
Всъщност „ботът на Google“ представлява програма, която се изпълнява на множество машини, и поради това в логовете за достъп ще видите няколко различни IP адреса, които той ползва.
Няколко примерни записа за достъп от Googlebot-а:
66.249.78.127 – – [13/Feb/2016] „GET /robots.txt HTTP/1.1″ 403 – „-“ „Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)“
66.249.78.134 – – [13/Feb/2016] „GET /?p=1 HTTP/1.1″ 403 – „-“ „Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)“
66.249.64.68 – – [07/Jun/2016] „GET / HTTP/1.1″ 200 4678 „-“ „Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)“
Когато статусът на заявката е 403 (вижда се веднага след HTTP протокола), това със сигурност означава, че ботът има забрана за достъп.
Проверете .htaccess файловете, в основната и всички поддиректории на сайта, дали не съдържат правила, с които се блокира достъпа на бота.
4. Сайтът е пренасочен чрез FRAME пренасочване
Това е сравнително рядък случай, но все пак ако сте направили FRAME пренасочване, например от myoldname.com към mysupersite.com, то целевият сайт и страниците му (mysupersite.com) няма да се индексират в Google. Причината за това е, че при FRAME пренасочване, целевият домейн се зарежда в „рамка“ (вътрешна страница).
При въвеждане на домейна myoldname.com в браузър, в адресната лента остава изписано само името на този домейн (myoldname.com), без уеб ресурсите. Тъй като браузърът показва „рамка“, в която се зарежда целевия сайт, към домейна не се виждат изписани директориите и файловете.
Бележка: В случай че се налага пренасочване, от един домейн към друг, то е препоръчително да използвате друг вид пренасочване. Ако пренасочването е необходимо, за да се насочат посетителите от стар и ненужен домейн, към нов и актуален, задайте пренасочване тип 301 (Permanent). При този статус търсещите машини (Google, Bing) ще подменят, в базата си, стария с новия уеб адрес. След това, при търсене на ресурса в търсачката, в резултатите ще се показва новия уеб адрес.
