В основе каждого поисковика лежит огромная база данных с информацией о веб-страницах. Эта база пополняется ежесекундно благодаря поисковым роботам (crawler), которые выделяют на новых страницах полезный контент и заносят данные в базу. Операторы поисковых систем постоянно совершенствуют своих роботов, чтобы они могли отличать качественные тексты от некачественных, определять, где авторы сайта выложили полезный контент, а где — незатейливую рекламу своих продуктов и услуг.
Однако самый важный компонент поисковой системы — это дополнительные аналитические модули. Они предлагают вам подсказки для завершения запросов, учитывают ваши персональные предпочтения, и, главное, они отвечают за сопоставление вашего запроса имеющимся в базе данных записям. С развитием аналитики результаты поиска становятся все более осмысленными, в выдачу попадают не только совпадения по ключевым словам, но и страницы, подходящие к вашему запросу по смыслу.