Метапоисковые системы

Заставим искать все поисковики одновременно.

Количество проиндексированных сайтов различными поисковыми системами растет в геометрической прогрессии. Но, тем не менее, эксперты утверждают, что доля непроиндексированного, “темного” Интернета для каждой поисковой системы (даже для такой мощной, как Gooogle) возрастает месяц от месяца. Т.к. разные поисковики используют разные алгоритмы поиска и уделяют “особое” внимание разным участкам сети, к которым они наиболее адаптированы, логично во многих случаях искать сразу несколькими поисковыми машинами. Эту возможность и предлагают searchbots, метапоисковые системы.

В основу работы searchbots заложен следующий принцип: из запроса пользователя генерируются запросы, отформатированные в синтаксисе и логических конструкциях каждого конкретного поискового ресурса

Таким образом, из одного запроса метапоисковая машина делает множество запросов, которые затем рассылаются широкому кругу поисковых машин (и/или каталогов).

Онлайн метапоиск

Суперпоисковики онлайн.

Метапоисковые системы бывают двух классов.

Одни, как и обычные поисковики, располагаются на публичном онлайн-ресурсе другие - инсталлируются на персональный компьютер. Рассмотрим онлайн метапоиск от http://www.vivisimo.com/ и “домашний” метапоиск от http://copernic.com.

Все метапоисковики сортируют результаты и удаляют дубли, одинаковые страницы, найденные различными поисковыми системами.

Некоторые метапоисковые системы пытаются отсортировать результаты поиска, разложить по рубрикам-полочкам. Лучше многих других систем сортировать найденные страницы умеет система Vivisimo.

На картинке - результаты поиска слова “web”. Слово задано очень распространенное. Страниц содержащих его – миллионы. Но, тем не менее, результаты поиска выглядят вполне разумными. Система “на лету” создала разделы Design, Web Hosting, Search Engine и др. Сайты, принадлежащие к данным разделам действительно практически не пересекаются по содержанию и действительно раскрывают те или иные аспекты использования слова “web”. C помощью таких систем, как Vivisimo, удобно проводить поиск “сверху” - задать сперва широкую область поиска и сжимать ее, постепенно уточняя. Поиск “сверху” применяется в том случае, когда вы не знаете точно что ищете – а представляете только некоторую область, в которой результат должен находиться.

В работе Vivisimo использует результаты поиска поисковых машин и каталогов: MSN, Lycos, Looksmart, Wisenut, Open Directory, Overture.
Vivisimo корректно работает и с русским контентом – но, к сожалению, русских сайтов, проиндексированных вышеперечисленными системами, не так уж и много, поэтому результаты русскоязычного поиска оставляют желать лучшего.

За полноту поиска и сортировку приходится платить - поиск метапоисковики проводят, как правило, заметно медленнее, чем обычные поисковики.

Ваш домашний поисковик

Он будет помнить все ваши привычки

Рассмотрим метапоисковые машины, устанавливаемые на компьютеры пользователей. Они удобны и могут настраиваться на круг запросов и интересов конкретного человека. Сейчас можно найти несколько десятков систем этого класса.

Одна из популярнейших таких систем - Copernic Agent, программа компании Copernic Technologies.

Это мощное и понятное средство, позволяющее самостоятельно выбирать тематические категории, поисковый и предметный домен, задавать состав глобальных поисковых машин.

Результаты поиска хранятся в собственной базе программы, их можно сохранять в файлах стандартных форматов вместе с гипертекстовыми ссылками. Размеры аннотаций (описаний) можно менять, программа сама обновляет базы поисковых ресурсов при каждом подключении к Интернету. Программа платная.

Версии Personal (30 долл.) и Professional (80 долл.) работают с сотнями общих и специализированных поисковых систем и имеют такие функции, как удаление баннерной рекламы со страниц результатов или (в версии Pro) автоматический поиск по расписанию.

Платные версии работают не только с индексами поисковых машин. Они умеют работать с контентом многих крупных издательств и агентств. Посылают запросы к CNN, MSNBC, New York Times, Forbes и т.д.

Бесплатная версия достаточно ограничена в возможностях поиска и его настройках, но вполне работоспособна.

Бесплатная версия позволяет:

• Искать используя язык запросов (1).
• Определять область поиска (3) В бесплатной версии область поиска ограничена основными поисковыми машинами и онлайн-магазинами.
• Сохранять ранее вводимые поисковые запросы (2)
• Сохранять результаты поиска (4). Очень полезная опция – кроме очевидной экономии времени и интернета на поиск, ее можно использовать для отслеживания динамики индексации вашего личного сайта поисковыми машинами.

С недавних пор Copernic предлагает свою настройку к браузеру, свой ToolBar. Он осуществляет поиск по широкой базе поисковиков, подсказывает “связанные” с вашим поиском слова, но пока абсолютно не понимает русский язык, в отличии от Copernic Agent. Поэтому порекомендовать его возможно только для поиска в англоязычной части Веба.

Достаточно серьезный минус, присутствующий и в ToolBar программы и в ее бесплатной версии - отсутствие поиска по базе Google. Видимо, самый популярный поисковик не дал согласия на совместное сотрудничество.

Copernic Agent и подобные ему программы, даже в профессиональной версии, все же остаются некоторым усовершенствованием, надстройкой, к механизму поиска обычных поисковых машин. Хочется отметить, что существуют системы, на которых реализован алгоритм поиска более изысканный, чем в общедоступных поисковиках. Например -системы со словарем синонимов (просим “компьютер” - находим “ЭВМ”). Системы со встроенным механизмом распознавания объектов (дат, фамилий, адресов пр..) в тексте. Системы, с автоматически строящимся каталогом над базой страниц, автоматически классифицирующие их. С реализацией одной из таких систем, разработанной фирмой Convera Technologies и адаптированной с учетом специфики русского языка можно познакомиться по адресу http://www.vest-meta.ru/product/Convera/rss.asp. Как правило, более сложный алгоритм поиска существенно влияет на время обработки результатов. Поэтому такие системы особенно полезны для корпоративных сетей и организации внутренней базы документов.

<< назад | оглавление | вперед >>