Работа на уеб бот

При създаването на една чисто нова уеб страница в Интернет търсещите машини не знаят за нейното съществуване и съответно тя е невидима за хората, които не влизат в нея. Тя не се появява в резултатите от търсене, докато Google не я индексира. Това значи ботовете (обхождащите паяци) на търсачката да я намерят, обработят и да я съхранят в базата данни на Google, където се класифицира и подрежда по тематика и ключови думи.

В своята работа уеб ботовете „обхождат“ мрежата за нова информация движейки се по връзките между страниците. При посещение на индексирана страница те проследяват всички хипервръзки в нея и ако открият нова, неиндексирана страница сканират кода на страницата, заглавията, уеб съдържанието, търсят етикети, описания и инструкции за да научат повече за нейната тема, кой стои зад това, какво прави и какво го интересува, след което записват новите данни с определена точност в базите данни (индексират ги).

Това не е малко работа, като се има в предвид, че всяка минута се изграждат между 300 – 500  нови уебсайта, всеки от които има средно 7 страници. По данни  на Internetlivestats.com от септември 2017 г. Google обработва почти 3,8 милиона търсения всяка минута или 5,5 милиарда на денонощие, а в техния индекс се съхранява информация за над 30 трилиона уникални уеб страници и над 100 милиона гигабайта информация[1].

Това е огромно количество информация поради което търсачката много бързо трябва да обработи, класифицира и покаже информацията при търсене за по-малко от секундата.

Когато потребителя направи заявка за определена ключова дума, търсачката намира всички подходящи индексирани уеб страници по тази тематика и ги показва в SERP (страницата с показаните резултати) подредени според ранг по реда на релевантност и авторитет.

Първо са тези с по-голям ранг, после с по-малък ранг и т.н.  Този ранг се определя според действащите математически алгоритми, които в днешно време отчитат над 200 информационни параметъра за сайта[2].


[1] http://www.internetlivestats.com/one-second/#google-band

[2] Fishkin, Rand; Jeff Pollard (April 2, 2007). „Search Engine Ranking Factors – Version 2“. seomoz.org. Archived from the original on May 7, 2009. Retrieved May 11, 2009.