АСОИиУ с точки зрения поисковых систем. Персонификация информации

Поисковые системы могут индексировать  опорный текст (текст, используемый другими источниками при создании гиперссылки к сайту). Это приводит к тому, что веб-сайт появляется в  результатах поиска к термину, который  никогда не использовал (и против которого может быть даже владелец сайта). 

И, наконец, однажды проиндексировав, поисковые  системы могут исключить веб-страницы из списка сайтов, по которым производится поиск. Это происходит по разным причинам, начиная от нарушения квази-объективных  технических требований поисковика и заканчивая простым непостоянством. 

2.2 Навязывание

Специальные заказы на расположение в списке результатов  поиска оказывают влияние как  на пользователей, так и на веб-издателей. Обычно из всего списка пользователи просматривают только несколько  верхних ссылок. Получается, сайты, расположенные в верхней части  списка имеют наибольший процент  посещаемости, и чем ниже расположена  ссылка, тем хуже у сайта рейтинг  по кликам. Следовательно, несмотря на то, что поисковая система может  выдавать сотни и даже тысячи результатов  на один запрос, подавляющее большинство  ссылок игнорируется пользователем. Соответственно, веб-издатели отчаянно хотят оставаться в верхних строчках списка результатов  поиска. 

 С  точки зрения самой поисковой  системы, расположение ссылок  в списке результатов поиска  определяет восприятие пользователем  поискового опыта. Например, если  верхние ссылки не удовлетворяют  целям пользователя, поиск считается  неудачным. Итак, чтобы максимально  увеличить успешный опыт поиска, алгоритмы составления списков  результатов поиска ориентированы  на интересы большинства пользователей.  В свою очередь, интересы меньшинства  (и, соответственно, сайты, отвечающие  им), обслуживаются самыми последними  ссылками списка.

"Навязывание"  результатов поиска необходимо  и желательно.

Перед тем, как разобраться с проблемой "навязывания" поисковыми системами результатов  поиска, мы должны понять, почему "навязывание" является проблемой, требующей решения. "Hавязывание" результатов поиска является неизбежным следствием планового отбора сайтов в базы данных поисковых систем. Как и любая другая медиа компания, поисковые системы просто не могут пассивно и нейтрально перераспределять сторонний контент (в данном случае, контент веб-изданий). Если поисковые системы не будут регулярно реорганизовывать и целенаправленно отбирать контент, они будут неизбежно переполнены спамом, мошенническими акциями и сайтами непристойного содержания. И тогда поисковые системы больше не будут представлять ценности для пользователя.

На самом  деле пользователи (как и другие медиа потребители), ожидают от поисковых  систем упорядочения данных из общей  массы информации. Для того, чтобы  предотвратить анархию и сохранить  доверие к себе, поисковые системы  должны контролировать свои базы данных. В свою очередь, любой плановый отбор  неизбежно создает эффект некоторого навязывания.

К счастью, рыночные отношения ограничивают масштабы навязывания результатов поиска.

Пользователи  обычно возлагают серьезные надежды  на поисковые системы: им кажется, что  поисковые системы должны уметь  читать их мысли и выражают свои поисковые намерения в нескольких ключевых словах. Поисковые системы, которые разочаровывают пользователей (либо не выдавая подходящих результатов, либо спрятав их за сотнями не отвечающих запросу ссылками) все чаще игнорируются пользователями. Этому способствует огромное количество конкурирующих  поисковиков и отсутствие препятствий  при выборе поисковой системы.

В результате, при каждом неудачном поиске, пользователи начинают пробовать различные поисковые  системы, и давление конкурентов  заставляет снизить процент "навязывания". Если "навязывание" начинает снижать  релевантность результатов поиска, пользователи приступают к исследованию альтернативных поисковиков. И это  случается даже в тех случаях, когда пользователи даже не подозревают  о "навязывании". Между тем, распространение  поисковых систем означает, что они  могут представлять разные сегменты рынка, то есть некоторые из них могут  быть направлены на интересы меньшинства  пользователей. Силы рынка не могут  полностью контролировать развитие поисковых систем, но все равно  они играют не последнюю роль.

На самом  деле, сложно представить, как вмешательство  на законодательном уровне улучшит  ситуацию. Во-первых, потому, что данное урегулирование неизбежно приведет и к другим нормативам - что пользователи должны видеть, или должны хотеть увидеть. Но чем одно "навязывание" может  стать лучше другого?

Во-вторых, в случае, когда урегулирование продвигает одни сайты за счет других, новый  вид списка может также не удовлетворить  запросы пользователей. Определить релевантность по очень ограниченным данным (например, ключевое слово без  контента) - сложный процесс, и поисковые  системы ежедневно пытаются найти  пути решения этой проблемы. Законодательное  урегулирование вряд ли сможет сделать  больше, чем силы рынка для определения  релевантности результатов поиска. Например, многие сайты, получившие государственную  поддержку, могут оказаться не отвечающими  требованиям пользователя.

Несортированные и даже бесполезные результаты могут  убедить пользователя в том, что  подходящую информацию найти невозможно, и, как следствие, разочаровать в  поисковых системах. В таком случае, государственное вмешательство  может драматически снизить ценность поисковых систем в глазах пользователя. Каковы бы ни были последствия "навязывания", последствия государственного вмешательства  могут оказаться гораздо хуже.

2.3 Составление  списка результатов

Чтобы упорядочить  результаты поиска, поисковые системы  используют сложные запатентованные  алгоритмы построения списков. Алгоритмы  построения списка игнорируют необходимость  в индивидуальной классификации  терминов, используемых пользователями. Однако эти алгоритмы не исключают  человеческий фактор в процессе построения списка. Факторы, включенные в алгоритм и влияющие на принципы построения списка, как раз отражают редакцию, произведенную человеком. 

Представители поисковых систем утверждают, сгенерированные  алгоритмом результаты поиска, не имеют  стороннего влияния, но существуют доказательства обратного. Поисковые системы делают дополнительные исправления к общему списку, а также иногда изменяют результаты поиска, предоставленные  на запрос по определенным ключевым словам.

Рассмотрим  следующие примеры: 

• Некоторые поисковые системы заблокировали поисковые термины, содержащие ключевое слово phpBB 
• Как результат поиска слова "Jaw" в течение периода, включающего, как минимум, Ноябрь 2005 года (момент, когда наблюдался данный феномен), Google выдавал спонсорскую ссылку, в которой говорилось:"Оскорбительные Результаты Поиска: Мы тоже обеспокоены данными результатами. Пожалуйста, прочитайте нашу заметку здесь." Ссылка перенаправляла на "объяснительную" страницу. 
• По сообщениям, Ask.com заблокировали результаты на запросы, содержащие слова, типа: педофилия, секс с детьми, детский секс и разврат. 
• Google были вынуждены убрать несколько веб-сайтов из списков результатов поиска по требованию Церкви Сайентологии (512 (c)(3)). Однако, внизу страницы поиска появлялась следующая заметка: "По жалобе, полученной от Церкви Сайентологии, на основе the U.S. Digital Millennium Copyright Act, мы убрали 2 результата с данной страницы. Если вы желаете, можете ознакомиться с документом DMCA, который и стал причиной того, что вы не видите эти результаты на Chillingeffects.org."

Для того, чтобы определить сайты, удовлетворяющие  интересы как можно большего числа  пользователей, поисковые системы  используют рейтинги популярности в  алгоритмах построения списка. Например, RageRank, измеритель популярности в Google, рассматривает  дополнительные ссылки как признак  посещаемости. Однако учитываются они  неодинаково. Ссылки с более популярных сайтов считаются существенными  признаками, а с менее известных - оцениваются ниже. 

Кроме того, что в составлении списка результатов  поиска учитываются интересы большинства  пользователей, коммерческое продвижение  сайтов играет не последнюю роль. Неравноправная схема построения списка на основе все того же RageRank приводит к тому, что экономически сильные сайты  более доступны пользователям. Этому  существует простое объяснение: сайты, бюджет которых позволяет широкомасштабные рекламные кампании, имеют гораздо  больше ссылок в сети.

Естественно, алгоритмы построения списков, базирующиеся на рейтингах популярности сайтов, только поддерживают сложившуюся в  сети экономическую иерархию. Веб-сайты, которые относятся к экономической  элите, получают идеальное расположение в списках результатов поиска, и, следовательно, большую посещаемость.

В дальнейшем происходит процесс самопродвижения  сайта: каждый раз появляясь в  верхней строчке списка, он только упрочивает свои позиции. И наоборот, сайты, которым сразу не доступна широкая реклама, практически не имеют возможности приблизиться к верхним строчкам и вынуждены  оставаться на задворках списка.

Многие  обозреватели считают этот эффект несправедливым и предлагают следующие варианты решения проблемы: 

• Увеличить прозрачность работы поисковых систем. Поисковые системы скрывают свои алгоритмы построения списков. Это делается с целью снизить последствия работы спамеров. Однако данная секретность не позволяет пользователям и обозревателям оценить уровень "навязывания". Для упрощения этой задачи, необходимо, чтобы поисковые системы приоткрыли завесу тайны с ключевых алгоритмов. Подобная дополнительная информация о работе поисковиков может иметь два мнимых плюса: Во-первых, она может помочь пользователям выбрать наиболее подходящую поисковую систему среди огромного числа конкурирующих систем. Во-вторых, даст возможность пользователям определить уровень релевантности результатов поиска. 
• Создать общественно финансируемые поисковые системы. Вопрос финансирования всегда оставался спорным. Однако, для того, чтобы снизить расходы на поиск информации, поисковые системы должны финансироваться государством, а не частными организациями. И уже существуют предложения по созданию государственных поисковых систем. 
• Изменить требования к построению списка результатов поиска. Существует вариант заставлять поисковые системы приближать к началу списка те сайты, которые традиционно занимают последние позиции. По меньшей мере пять судебных исков было подано с требованием заставить поисковые системы изменить схему построения списка, чтобы повысить посещаемость их сайтов. 

Не только истцы, но и некоторые  академики поддерживают изменение  требований к построению списков  результатов поиска. Например, защитник компании Randey et al. предложил "схему  случайного построения списка", согласно которой, сайты-аутсайдеры получат  дополнительное преимущество, хотя бы изредка появляясь в верхних  строчках списка и, соответственно, станут более доступны пользователям. 

Другой пример: представители Pasquale считают, что когда пользователю кажется, что полученная информация нерелевантна, должна существовать альтернативная ссылка.

2.4 Персонифицированные алгоритмы

На сегодняшний  день поисковые системы используют обобщающие алгоритмы построения списка для того, чтобы выдавать однородные результаты пользователям с самыми разнообразными поисковыми целями. Обобщающие алгоритмы усугубляют последствия "навязывания" поисковых систем. Это происходит следующим образом: 

• Алгоритмы создают эффект победителя (сайты, располагающиеся на верхних позициях результатов поиска) и проигравшего (сайты на нижней границе поиска). 
• Алгоритмы предоставляют условно-оптимальные результаты пользователям, представляющим интересы меньшинства. 

Эти последствия можно снизить  при переходе поисковых систем с  обобщающих алгоритмов к персонифицированным  алгоритмам построения списка. При  помощи персонифицированных алгоритмов, пользователи будут получать результаты максимально приближенные к его  интересам. Итак разным пользователям  будут предоставляться различные  результаты в ответ на одинаковые запросы. Например, в Google доступна следующая  опция: результаты отбираются на основе прошлого опыта пользователя, исходя из выбираемых им ссылок в списке.

Персонифицированные алгоритмы построения списка представляют один из важнейших  шагов к релевантности результатов  поиска. У обобщающих алгоритмов существуют внутренние ограничения их потенциальной  релевантности, и даже дальнейшее усовершенствование обобщающих алгоритмов приведет лишь к незначительным улучшениям. Персонифицированные  алгоритмы выходят за пределы  этих ограничений, оптимизируя релевантность  поиска индивидуально, таким образом  проделывая огромную работу по "чтению мыслей" пользователя.

Персонифицированные алгоритмы снижают  эффект "навязывания" поисковиков. Смысл персонифицированных алгоритмов заключается в том, что, вместо единственного "победителя", для каждого пользователя будет свои, специально подобранные ссылки, находящиеся в верхних строчках результатов поиска. Следовательно, и конкуренция в борьбе за топ-позиции значительно снизится. В свою очередь, пользователи будут получать результаты, на которые повлияли их личные предпочтения больше, чем предпочтения авторов алгоритмов. Персонифицированные алгоритмы также снизят важность рейтинга популярности сайтов при поиске. Таким образом, практически исчезнет и структурное навязывание, вызванное использованием этих рейтингов при построении списка.