Ключевые слова и Стоп-слова.
Термин "ключевые слова" - что он собой подразумевает.
Роль ключевых слов в нашей повседневной жизни.
Роль ключевых слов в запросе к поисковой системе.
Поисковая система применяет "защиту от дурака": стоп-слова в стоп-листе.
Принцип работы "защиты от дурака".
Не все поисковики имеют стоп лист. Не у всех ИПС он одинаков. Как узнать, как какая поисковая система относится к стоп-словам?
Как принудительно заставить поисковую систему воспринимать стоп-слова?
Почему не все поисковики проводят честный контекстный поиск?
Слова, которые пользователь вводит в строку запроса поисковой системы, называются ключевыми.
Но задумайтесь над этим термином: "ключевые слова".
Что он означает?
Всякое ли слово, так или иначе характеризующее и относящееся к цели Вашего поиска, можно назвать ключевым?
Задумались? Возникли соображения по этому поводу?
Это хорошо. Теперь можете читать дальше.
Ключевое слово – это слово, которое наиболее точно характеризует смысл вашего вопроса (запроса), несет наибольшую смысловую нагрузку, представляет наибольшую информационную ценность.
Какую роль играют ключевые слова в нашей повседневной жизни.
Допустим, Вы пришли в магазин за хлебом.
Как Вы можете обратиться к продавцу?
Можно, конечно, с размахом: "Добрый день! Какая прекрасная сегодня погода, не правда ли? Дайте мне, пожалуйста, нарезной батон".
Но если Вы ограничены в словах (допустим, болит зуб, горло, голова, или уже и так наговорились сегодня, или нет настроения), то как Вы скажете?
Правильно: "Батон нарезной".
И все!
Вот они – ключевые слова!
Остальное все – второстепенно! (Если, конечно, Вы не надумали знакомиться с продавщицей).
Аналогичная ситуация и с запросом к поисковой системе.
Все лишние, второстепенные слова, введенные Вами в строку запроса вместе с действительно важными, определяющими ключевыми словами, будут ее отвлекать.
Она, по идее, должна искать эти второстепенные слова с таким же усердием, как и те, которые действительно являются ключевыми!!!
В результате получите дополнительные (и лишние!) ссылки на документы со второстепенными словами. Причем, скорее всего, вперемешку с действительно релевантными результатами поиска.
К счастью, многие (но не все!) поисковики имеют кое-какую так называемую "защиту от дурака".
Они как бы просеивают через сито Ваш запрос, пропуская важные слова, и игнорируя второстепенные.
Но как они это делают?!
У ИПС имеется словарь ненужных слов.
Такие ненужные слова называются стоп-словами, а словарь стоп-слов – стоп-листом. Иногда стоп-слова еще называют зарезервированными словами.
К категории стоп-слов поисковая система причисляет слова, не несущие смысловой нагрузки.
Это могут быть предлоги (к, на, в, у и др.), союзы (а, но и др.), частицы (не, или и др.), местоимения (я, мы, ты, Вы и др.), артикли (в английском, - the, a, an и др.).
В стоп-листе могут присутствовать и просто слова, состоящие менее чем из n-го количества (обычно до 3-4) букв.
ИПС сравнивает слова запроса со своей базой стоп-слов.
Если в запросе будут присутствовать слова, которые причислены ИПС к стоп-словам, то она будет их воспринимать как шум, помеху. И будет их игнорировать, не будет производить поиск по ним.
Однако это не означает, что не будут найдены (если существуют) документы, содержащие стоп-слова из запроса (если они проиндексированы ИПС, разумеется).
Могут быть найдены документы и cо стоп-словами из запроса, и с другими стоп-словами, и без стоп-слов, но обязательно вместе с ключевыми словами (с теми словами, которые присутствуют в запросе и которые отсутствуют в стоп-слисте).
Например, по запросу
как хорошо на рыбалке
поисковая система, если считает стоп-словами "как" и "на", может выдать результаты с такими сочетаниями:
хороший рыбак
отношение к рыбалке
и даже
как хорошо на рыбалке
Но последний результат (как хорошо на рыбалке) она может выдать не потому, что ошиблась, и выдала нам стоп-слова ("как", "на").
А потому, что нашла ключевые слова (хорошо, рыбалке), а стоп-слова просто оказались рядом, на своих местах, прямо как в запросе!
А может быть еще и потому, что пытается выдать в начале результатов документы, содержащие ключевые слова, записанные так же, как в запросе (хотя мы вводили фразу без кавычек!) и/или с максимальным количеством слов, которые совпадают со словами из запроса.
Это все зависит от алгоритма обработки запросов конкретной ИПС.
Но она не выдаст результаты, где есть стоп-слова, но нет наших ключевых слов:
как плохо на болоте
как сделать лук
как на Машиных именинах
А вот если бы как и на не были занесены в стоп-лист, то по запросу
как хорошо на рыбалке
получили бы как более-мене релевантные результаты:
как хорошо на рыбалке
хорошо на рыбалке
вместе с результатами, просто относящимися к рыбалке:
пойти на рыбалку
хороший рыбак
отношение к рыбалке
так и стопроцентный "левак":
как плохо на болоте
как сделать лук
как на Машиных именинах
Как я уже сказал, не все поисковые системы имеют стоп-лист.
Кроме того, содержимое стоп-листов у разных ИПС может отличаться.
Есть, конечно, слова, которые для большинства ИПС являются стоп-словами, но есть и слова, которые для одной ИПС – стоп-слова, а для другой – ключевые слова.
Как узнать, имеется ли у данной поисковой ситсемы стоп-лист, и каково его содержимое?
Некоторые ИПС могут ответ на этот вопрос помещать в разделе справки или помощи на своем сайте.
Некоторые, но не все.
В "4. Популярные поисковые машины и как через них искать" я, что знаю об этом, рассказываю.
Но ИПС развиваются, изменяются.
Сегодня у нее нет стоп-листа, завтра появится.
Сегодня одни стоп-слова, завтра - другие (или еще и другие).
Это все вышеперечисленное происходит не так быстро, и может вообще не происходить, но все же…
Все же лучше поэкспериментировать.
Можно ввести запрос, в котором каждое слово по отдельности предположительно может быть причислено к стоп-словам, но все вместе эти слова составляют осмысленное выражение.
Например, при поиске на английском полезно ввести фразу (без кавычек!)
to be or not to be
("Быть или не быть", Шекспир)
• Если все слова из запроса занесены в стоп-лист, то ИПС, то идее, никаких результатов не выдаст.
• Если стоп-листа нет, то может быть найдена эта фраза целиком, плюс документы со словами из запроса.
• Если одни слова из запроса ИПС считает стоп-словами, а другие – ключевыми словами, то результаты, сами понимаете, могут быть самыми разными (не исключено, что будет найдена и вся фраза целиком).
В общем, полезно поэкспериментировать и поанализировать, особенно, если начинаете работать с новой (для Вас новой) поисковой системой.
Если в результатах поиска ИПС выделяет ключевые слова либо жирным шрифтом, либо определенным фоном, либо еще как-то, то это еще больше Вам поможет.
Тогда сразу видно, какие слова из запроса она считает стоп-словами (такие в результатах поиска она выделять не будет).
Эксперименты и их анализ - дело, конечно же, нужное и полезное.
Но если у Вас просто нет на это времени и/или желания?
Тогда просто не вводите в запрос слова, которые потенциально очень вероятно могут быть стоп-словами!
Это предлоги, союзы, частицы, местоимения, артикли и т.п., просто короткие слова (до 3-4 букв).
Тогда:
а) Если ИПС расценивает не введенные Вами слова как стоп-слова, то она все равно бы их проигнорировала, если б Вы их ввели.
б) Если не введенные слова ИПС не считает стоп-словами, то Вы избавляетесь от горы ненужных результатов (смотрите для повтора конец вышеприведенного примера запроса).
Можете попробовать заменить запрос, содержащий потенциальные стоп-слова, на другой, без них, но такой же по смыслу.
Например:
на что ловится карп
можно заменить на
наживка карп
Кроме того, вообще, при поиске не перегружайте запрос лишними словами, которые не являются по-настоящему ключевыми (вспомните пример с покупкой нарезного батона).
Запишите запрос лаконично, четко, без избыточности (но с необходимой достаточностью!).
Ну а если все же потенциальное стоп-слово имеет значительную, информативную, даже ключевую роль в запросе?
Как тогда сообщить поисковику, чтоб он его не игнорировал, а искал?
Многие ИПС позволяют это сделать.
Как разными, так и общими способами.
• Например, в Google перед стоп-словом для этого надо поставить оператор плюс +. Это будет означать, что даже хоть это и стоп-слово, но его нужно тоже искать.
Например:
+на +что ловится карп
• Общим способом, применяемым большинством ИПС, является заключение всего запроса в кавычки.
Например:
"на что ловится карп"
Тогда, по идее, поисковая система должна искать по тем же самым правилам, по которым ищет слова, заключенные в кавычки.
Однако не все поисковые системы проводят честный контекстный поиск по запросу со стоп-словами.
Так, например, по запросу
"на что ловится карп"
можем получить результаты, в которых есть сочетания
на что ловится карп
где ловится карп
как ловится карп
ловится карп
Почему так происходит?
Есть разные соображения насчет этого.
Первое.
Вероятно, поисковик нам "помогает": ищет даже такие документы, в которых есть даже хотя бы часть слов из нашего запроса, хоть даже запрос и заключен в кавычки!
Второе.
Вот результаты нашего примера:
где ловится карп
как ловится карп
ловится карп
А где же делось "на что" в этих результатах?
Получается, что стоп-слова все равно игнорируются, несмотря на то, что они заключены в кавычки!
Почему так происходит?
Потому что во время индексации ИПС очищает документы от стоп-слов.
И тогда честный контекстный поиск будет возможен, только если ИПС не черпает результаты для него из своего КЭШа, где хранятся полные, неизмененный копии документов.
Однако это может занимать больше времени.
Да и не у всех ИПС есть такой КЭШ.
И не все поисковые системы это делают по другим, неизвестным нам причинам.
Комментарии:
Нету комментариев для вывода...