Поисковые системы Интернет: обзор популярных и малоизвестных поисковиков

Поисковые системы Интернет: обзор популярных и малоизвестных поисковиков


Вступление
Мало кто сейчас может представить Интернет без поиска, поисковой выдачи и организующих всё это информационных поисковых систем (ИПС). А ведь еще недавно, вся информация Интернет умещалась в несколько каталогов, название которые еще на слуху (DMOZ, Yahoo).

Сегодня, объем информации в сети Интернет настолько огромный, что уместить её ни в какие каталоги не возможно. Для обработки, хранения информации, организации поиска созданы и продолжают создаваться, мощные программные продукты которые мы называем поисковые системы (ПС). У каждой поисковой системы (поисковика) свои базы данных, свои алгоритмы обработки, поиска, ранжирования и выдачи информации.

Поисковые системы Интернет это
Можно дать следующее академическое определение поисковым системам. Поисковая система это набор программ и технических средств для организации в сети Интернет пользовательского поиска, при котором на текстовой запрос, пользователь получает список релевантных (соответствующих запросу) результатов.

Выдача производится в виде списка ссылок на источник информации с кратким описанием (превью) иногда с фото.

Для первого примера, вспомним мирового лидера поиска «Google» и лидера Рунета поисковик «Яндекс». Кроме этих поисковиков можно назвать еще десяток существующих поисковых систем, о коих поговорим чуть ниже.

Мнение: Поисковые системы Google, Яндекс и другие, не являются генераторами (производителями) контента, а являются агрегаторами (аккумуляторами) контента и в основной массе, чужого контента. Стоит вспомнить, что использование чужого контента для создания собственного трафика и его монетизации, можно характеризовать, как «пиратство», что на деле, конечно же, не происходит.

Рейтинг
Не могу обойти, рейтинг поисковые системы Интернет. Предлагаю свой рейтинг, основанный на анализе посещений моего сайта за год в Яндекс.Метрике. Картина не выбивается из публикуемой статистики.

• Яндекс и Google делят первые два места лидеров: около 49% и 45%.
• Третье место: Поиск Mail.ru около 3%;
• Остальные поисковики плавают ниже 1%.

Смотрю статистику по Google Analytics:

• yandex / organic 40,26 %
• google / organic 38,93 %
• mail.ru / organic 0,60 %
• rambler / organic 0,52 %
• bing / organic 0,12 %

Статистика неумолима: к поискам Яндекс и Google в России обращаются больше всего, и если посчитать, что 3% это хороший результат по сравнению с 45%, то третьим по популярности можно назвать поиск Mail.ru.



В этой связи рассуждения о популярности поисковиков кроме Яндекс и Google, можно отнести к суемудрию, а специальное продвижение сайтов в других поисковиках (не Яндекс и Google), не заслуживающих внимание.

Как работают поисковики
Вопрос, как работают поисковики, такой же общий, как вопрос «какого цвета небо». Если небо синее, то поисковики собирают информацию в интернет, обрабатывают её, ранжируют и отдают по поисковому запросу пользователю.

Теория поиска Интернет гораздо объемнее и в статье её не изложить. Однако основные моменты нам пригодятся:

Поисковые системы Интернет не осуществляют хранение документов, то есть не производят скачивание и выгрузку документов полностью в свои хранилища;

ИПС используют Интернет в качестве децентрализованного хранилища документов. Поисковики периодически обходят Интернет, выбираю нужную, по их алгоритмам, информацию и частично помещая её (информацию) в свою базу данных (Database). Отсюда несколько проблем:

• ИПС используют для выдаче не всю информацию Интернет, а только часть;
• Информация интернет часто меняется. Добавляется около 1500 тыс. страниц в день, отсюда возможная «пустая выдача»;
• Имеется большое количество дублей (дубли контента). К сожалению, у меня нет точных данных по дублям, а встречающаяся цифра в 25% дублей, кажется завышенной;
• Много рекламы, которую тоже обходят поисковики;
• «Блуждание» поисковых роботов в сети многократно увеличивает нагрузку не ресурсы (не относится к поисковикам);
• Большинства сайтов коммерческие (порядка 83%), и имеют малое информативное значение.

По этим и некоторым другим причинам, подавляющее большинство ИПС Интернет используют схему поиска по ключевым словам (search engines), а не классическую схему поиска по классификации информации.

Особенности поиска по ключевым словам
Несмотря на меняющиеся алгоритмы поисковых систем, реклама которых пытается нас убедить, что машины становятся умнее и понятливее, в основу работы поисковых систем лежит поиск по ключевым словам.

Мне нравится такая схема поиска по ключевым словам.



Как видим, работа поисковые системы Интернет основана на поиске новых документов (поисковой робот Spider + Crawler), индексирование обнаруженных документов (Indexer) и выполнение пользовательского запроса (Search Engine Results Engine). В скобках перечислены названия используемых для этих целей поисковых роботов.

Как я сказал, большинство поисковых систем не копируют полные тексты документов в свою базу данных. Для поиска при индексировании документа создается его поисковый образ. Для организации поиска по ключевым словам, робот индексирования создает образ документа по, так называемому, выводящему методу (derived). То есть в образе документа указывается заголовок и набор ключевых слов.

Метод, по которым ИПС решает, включать ссылку на документ в индекс и результаты поиска, называют алгоритмом поисковых систем. У каждой системы алгоритм уникальный и держится в секрете.

Однако достаточно точно можно утверждать, что все ИПС обращают внимание на следующее:

• Присутствие ключевого слова в <title> документа;
• Наличие ключа в URL или домене;
• Присутствие ключа в подзаголовке;
• Общее количество ключей на странице (плотность %);
• Присутствие ключей в описании (description);
• Какие ссылки web ведут на эту страницу;
• Какие внутренние ссылки есть на этой странице.

Ранжирование страниц
В завершении теории стоит упомянуть о ранжировании страниц. Чаще ранжирование страниц выдаче упоминается в контексте релевантности. То есть, поисковики, должны, выстраивать поисковую выдачу по максимально точному соответствию поисковому запросу. Как пишет Яндекс, ничего не должно быть потеряно (полнота выдачи) и ни чего не должно быть найдено лишнего (точность выдачи). Как это получается на практике, вы видите каждый день.

Вывод

• Поисковые системы Интернет это сложные программные продукты, работу которых обеспечивают тысячи специалистов и огромные материальные ресурсы.
• Алгоритмы поисковых систем держатся в секреты, хотя базовые акценты обновлений алгоритмов общедоступны и носят имена собственные.
• Несмотря на разный подход в формировании выдачи, все поисковики базируются на общих принципах индексирования страниц, которые по сей день остаются базовыми для продвижения.

Яндекс поисковик
Популярный поисковик Рунета, который часто становится самым популярным. По статистике 2009 года, Яндекс постоянно обходит 15 миллионов страниц Рунета, перерабатывая 140 тыс. Гб текстовых данных, 1,6 миллиарда уникальных картинок из 2,1 миллиарда картинок всего.

Создан Яндекс поисковик в 1993 году. Слово Яндекс ничего не означает, хотя принято считать, что это преобразование слова «Index», или словосочетания «yet another indexer». На сегодня Яндекс.Поиск обрабатывает четверть миллиарда запросов в день и если бы был так навязчив, то был бы моим любимым поисковиком.

Поиск Яндекс
https://yandex.ru/: Пользовательский поиск Яндекс организован по интернет с учётом региона пользователя. Возможность искать по картинкам, видео, картам, новостям, блогам, товарам и словарям.



Для тонкого поиска существует свой язык поиска тут (https://yandex.ru/support/search/query-language/).

Если вам надоела реклама на поиске, есть чистый поиск тут: https://ya.ru/.


поисковые системы Интернет Яндекс
Google поисковик
В поисковике Google поиск организован без тематики (основной поиск) и поиск по разделам: картинки, новости, карты, видео, покупки, книги, авиабилеты, финансы.



Есть настройки:

Безопасный поиск. Позволяет блокировать неприемлемый контент и изображения сексуального характера в результатах поиска Google. Эта функция не гарантирует стопроцентную защиту, но скрывает большую часть подобного контента.





Настройка количества результатов на странице (по умолчанию 10).

Персональные результаты. Находить в Google ссылки, картинки и видео, которыми с вами поделились ваши друзья в соцсетях.

Выбор региона. По умолчанию текущий регион.

Языки. Можно указать язык поиска.

Расширенный поиск. Позволяет осуществить поиск по расширенным параметрам.

Инструменты. Здесь можно выбрать язык поиска, указать время появления информации, и выбрать точное совпадение или всю выдачу.


поисковые системы Интернет Google
Mail поисковик
https://go.mail.ru/. Здесь поиск организован по Интернет (общий поиск), по видео и картинкам. Есть отдельный поиск по приложениям для мобильных устройств.

Bing поиск (https://www.bing.com/?scope=web&FORM=Z9LH). Общий поиск, поиск по картинкам, видео, новостям, картам.



Yahoo поиск по-русски. https://ru.search.yahoo.com/. Чистый поиск без рекламы. Поиск в Интернет, по картинкам и новостям. Выбор время добавления информации.

Другие поисковики

• DuckDuckGo (https://duckduckgo.com/) Интеллектуальный поиск.
• Pipl (https://pipl.com/) Поиск людей в США.
• Findsounds (http://www.findsounds.com/) Специализированный поиск звука.
• Wolfram|Alpha (https://www.wolframalpha.com/) Поиск фактов, вычисления данных, готовых таблиц.
• Dogpile (http://www.dogpile.com/ ) Комбинированный поиск из выдач Google, Yahoo и других.
• Boardreader (http://boardreader.com/)/ Текстовой поиск по форумам.