Сразу хочется сказать о том, что великие гуру программирования могут сразу же сказать, что в этом уроке все неправильно и так делать нельзя. Что необходимо проверять на инъекции все введенные данные и т.д. Давайте избежим всех этих фраз, мы делаем систему поиска, безопасностью заниматься придется вам уже отдельно, да и уроков на эту тему была масса, так что не будем заострять на этом внимание.
Приступим.
1. Структура.
id
title
keywords
text
category
public
date_public
date_update
author
redactor
priority
mini_img
view
Для начала хочу показать в какой таблице у меня хранятся материалы:
Как видите у меня достаточно много полей, большинство я не стал показывать они предназначены чисто для технических моментов. Нас интересуют по сути первые 4 поля: id, title, keywords, text. Если вы как то по другому храните свои материалы, и у вас например есть еще поле description то необходимо учесть этот момент и соответственно внести необходимые корректировки.
Далее нас интересует какие файлы у нас будут в системе:
templates/search_result.tpl
search_core.php
Тут тоже ничего сложного, самое поисковое ядро search_core.php и шаблон search_result.tpl. В чем суть? В том, что все отправляемые пользователем данные будут обрабатываться в поисковом ядре и формировать вывод из файла шаблона в нужное нам место на сайте.
Сам же файл search_core.php будет построен у нас на функциях, работе с массивами и регулярных функциях.
2. Особенности русского языка.
Ни для кого не секрет, что русский язык наверное самый сложный из всех существующих в мире, т.к. столько словоформ сколько у нас в языке нет ни в одном языке мира. Почему? Да потому что у нас в языке существуют такие вещи как приставки, окончания, суффиксы и т.д. Что невероятно сильно усложняет для иностранцев, и для нас - программистов в частности, процесс изучения и обучения великого и могучего. Нам придется научить нашу систему хотя бы понимать разные падежи слов.
Определимся с тем какие у нас есть окончания у слов и напишем первую функцию в наше ядро, которая будет отрезать у слов запроса окончания для повышения уровня релевантности:
function dropBackWords($word) { //тут мы обрабатываем одно слово
$reg = "/(ый|ой|ая|ое|ые|ому|а|о|у|е|ого|ему|и|ство|ых|ох|ия|ий|ь|я|он|ют|ат)$/i"; //данная регулярная функциях будет искать совпадения окончаний
$word = preg_replace($reg,'',$word); //убиваем окончания
return $word;
}
Как видите в общем пока ничего сложного. Т.е. если пользователь введет например слово: "Песни", то система откинет букву "и" и оставит нам только "Песн", а это согласитесь позволит найти уже такие слова, как песня, песню, песнями и т.д. Т.е. семантика поиска у нас увеличилась.
Обратите внимание на то, что я указал не все существующие окончания их может быть больше, тут вам придется поучить систему. Возможно даже придется несколько переделать регулярную функцию и написать дополнительные правила.
Такие же функции можно написать на приставки и суффиксы, но не увлекайтесь пока, а то можно наши слова превратить в непонятные огрызки и тогда система будет находить все, хоть сколько нибудь похожее на наш запрос, а нам все же нужны более точные совпадения.
Другой необходимостью является то, что в русском языке, ну собственно как и в любом другом, есть масса стоп-слов, которые нам не нужны в поиске и которые встречаются сплошь и рядом в любом тексте. Поэтому нам надо написать еще функцию, которая убивает все стоп-слова.
function stopWords($query) { //тут мы обрабатываем весь поисковый запрос
$reg = "/\s(под|много|что|когда|где|или|которые|поэтому|все|будем|как)\s/gim"; //данная регулярка отрежет все стоп-слова отбитые пробелами
$query = preg_replace($reg,'',$query); //убиваем окончания
return $query;
}
Отлично еще одна функция ядра готова, где я опять же взял немного слов для примера. Она позволит нам создать более осмысленный поисковый запрос.
Как видите такими несложными функциями можно обучать систему работе со словами русского языка. Поверьте мне на слово, все это работает достаточно быстро и говорить о том, что такое большое количество регулярных функций вредно с современным интернетом уже не приходится. В конце концов мы же не Яндекс пишем и обрабатывать у нас будет не так много информации.
Как вариант для обеих функций можно формировать массив таких значений и брать уже из него для сравнения, но не будем тут усложнять себе жизнь.
3. Обработка поискового запроса
Теперь нам надо наконец получить все поисковые слова из общего поискового запроса, который задал пользователь:
function explodeQuery($query) { //функция взрыва поисковой строки
$query = stopWords($query); //используем написанную нами ранее функцию для удаления стоп-слов
$words = explode(" ",$query); //разбиваем поисковый запрос на слова через пробел и заносим все слова в массив
$i = 0; //устанавливаем начало массива в 0, помним что нумерация в массивах начинается с 0
$keywords = ""; //создаем пустой массив
foreach ($words as $word) { //в цикле для массива words создаем элемент word
$word = trim($word);
if (strlen($word)<6) { //если слово короче 6 символов то убиваем его
unset($word);
}
else { //иначе выполняем следующее
if (strlen($word)>8) {
$keywords[$i]=dropBackWords($word); //наша функция чистки окончаний для слов длинее 8 символов и занесение их в созданный нами массив
$i++; //наращиваем значение i для того чтобы перейти к следующему элементу
}
else {
$keywords[$i]=$word; //если короче 8 символов то просто добавляем в массив
$i++;
}
}
}
return $keywords; //возвращаем полученный массив
}
Думаю стоит объяснить почему мы слова короче 6 символов убиваем. Это правило распространяется на кодировку UTF-8, особенность которой в том, что каждый русский символ идет за два. Попробуйте ради интереса вывести на экран длину 1 русского символа и вы будете удивлены тем, что она равна 2. Таким образом если мы пишем короче 6 символов, то для русского это значит короче 3 символов. Вот такой нюанс, который следует помнить. Сейчас наверное каждый сразу вспомнил недавнее возмущение нашего правительства на тему, почему SMS-сообщения в русской раскладке в два раза короче, чем английские.
Таким образом если вывести наш массив то мы получим примерно следующее:
//поисковая фраза: как написать поисковый модуль своими силами
array (
[0]=>написат,
[1]=>поисков,
[2]=>модул,
[3]=>своим,
[4]=>силам
)
Уже хорошо и практически то, что нам нужно. С этим мы уже можем спокойно работать и получить больше материалов из базы, чем если бы мы искали по целой фразе.
Напишем еще одну небольшую функцию чисто визуализационную и на этом закончим первую часть урока.
function colorSearchWord($word, $string, $color) {
$replacement = "<span style='color:".$color."; border-bottom:1px dashed ".$color.";'>".$word."</span>";
$result = str_replace($word, $replacement, $string);
return $result;
}
С помощью этой функции мы будем просто выделять найденные нами слова, чтобы пользователь видел по каким словам был найден материал.
На этом бы хотелось остановится и дать вам возможность самим придумать какие-нибудь дополнительные функции для поискового ядра. А в следующем уроке мы уже посмотрим как среди вороха материалов найти те, что попали в поиск и как их вывести с помощью шаблона.
Продолжаем разработку нашего поискового ядра. В данном уроке мы напишем еще несколько функций и рассмотрим работу с шаблоном.
1. Форма поиска и передаваемые данные
Небольшое отступление сделаем и посмотрим на нашу форму отправки данных:
<form action="search_result.php" method="post">
<p><input id="search_input" name="search_word" type="text"><input id="search_button" type="submit"></p>
</form>
Как видите тут ничего необычного нет. Мы передаем значение search_word файлу search_result.php. Т.е. у нас в нашей системе добавился файл куда и будут выводиться результаты поиска и теперь наша структура выглядит вот так:
templates/search_result.tpl
search_core.php
search_result.php
Т.е. в файле search_result.php мы будем получать значение запроса и обрабатывать его примерно таким образом:
if(isset($_REQUEST["search_word"])) {
$query = trim($_REQUEST["search_word"]); //делаем небольшую чистку, можете добавить еще защиту от различных инъекций и подозрительных переменных, которые могут ввести вам вредные пользователи
$keywords = explodeQuery($query); //тут наша функция с первой части урока
$sql = "SELECT id, title, keywords, text, category FROM materials WHERE public=1"; //ищем только опубликованные материалы
$result = mysql_query($sql);
if ($mysql_num_rows($result)!=0) { //проверяем наличие записей, если нет, то естественно ничего не выведем и прекратим любую работу системы
while($row = mysql_fetch_assoc($result))
{
$materials[$row[id]] = $row; //Формируем массив $materials с найденными материалами
}
echo searchResult($materials,$keywords); //выводим наш результат поиска, функцию мы рассмотрим ниже
}
else {
echo "напишем тут какую-нибудь ошибку для пользователя";
}
}
Как видите ничего сложного тут нет. У нас как видите появилась одна необъявленная функция searchResult(). Ее написанием сейчас мы и займемся.
2. Результат поиска.
Рассмотрим немного схему того, как система будет искать необходимые пользователю материалы:
Составитель схем из меня никудышный, но думаю смысл понятен. Поэтому приступим к написанию функции.
function searchResult($materials, $keywords) {
foreach ($materials as $material) { //Выше мы сформировали массив $materials который мы теперь выводим разбивая на элементы массива $material
$title = htmlspecialchars(strip_tags($material[title])); //Тут мы чистим все значения массива - title, text и keywords от тегов и посторонних символов
$text = htmlspecialchars(strip_tags($material[text])); //как вариант можно еще все слова перевести в нижний регистр
$key = htmlspecialchars(strip_tags($material[keywords]));
$wordWeight =0; //вес слова запроса приравниваем к 0
foreach ($keywords as $word) { //теперь для каждого поискового слова из запроса ищем совпадения в тексте
$reg = "/(".$word.")/"; //маска поиска для регулярной функции
/*
Автоматически наращиваем вес слова для каждого элемента массива.
Так же сюда можно включить например поле description если оно у вас есть.
Оставляем переменную $out, которая выводит значение поиска. Она нам может и не пригодится, но пусть будет, может быть вы найдете ей применение.
*/
$wordWeight = preg_match_all($reg, $title, $out); //как вариант можно еще для слов в заголовке вес увеличивать в два раза
$wordWeight += preg_match_all($reg, $text, $out); //но это вам понадобиться если вы будете выводить материалы в порядке убывания по релевантности
$wordWeight += preg_match_all($reg, $key, $out); //мы же пока этого делать не будем
$material[relevation] += $wordWeight; //увеличиваем вес всего материала на вес поискового слова
//раскрашиваем найденные слова функцией, которую мы писали в первой части урока
$title = colorSearchWord($word, $title, "violet");
$text = colorSearchWord($word, $text, "violet");
$key = colorSearchWord($word, $key, "violet"); //незнаю зачем ключевые слова окрасил, их ведь не обязательно выводить пользователю :)
}
//Теперь ищем те материалы, у которых временный атрибут relevation не равен 0
if($material[relevation]!=0) {
//Возвращаем массивы в нормальное состояние с уже обработанными данными
$material[title] = $title;
$material[text] = $text;
$material[keywords] = $key;
echo simpleToTamplate($material, "search_result"); //новая функция, которая вернет нам шаблон с результатами поиска
}
//Иначе просто грохаем весь элемент material за ненадобностью
else {
unset($material);
}
}
}
Вот такая сложная функция, в которой у нас появилась еще одна новая функция и мы ее сейчас рассмотрим отдельно. Что касательно этой функции то смысл ее прост, она просто проверяет вхождение каждого слова в три атрибута материала и увеличивает временно создаваемый атрибут (его нет в базе данных!) для того, чтобы определить, какие материалы нам подходят.
3. Шаблон и функция его вызова.
Ну вот собственно мы подходим к функции визуального формирования результата запроса на основании шаблона search_result.tpl. Для начала рассмотрим функцию, которая при помощи буфера позволит нам динамически сформировать всю структуру HTML.
function simpleToTamplate($value, $tamplate) {
ob_start(); // Включаем буферизацию вывода, чтобы шаблон не вывелся в месте вызова функции
// Подключаем необходимый нам шаблон, который просто ждет наш массив
include('tamplates/'.$tamplate.'.tpl');
return ob_get_clean(); //Возвращаем результат буфера и очищаем его
}
Функция достаточно небольшая, она передает нашему шаблону массив данных и материала, а тот в свою очередь собирает нам вменяемую HTML верстку, которую мы определим в самом шаблоне result_search.tpl.
<div id="search_result_element<? echo $value[id] ?>">
<h4><a href='index.php?cat=<?=$value[category] ?>&mat=<?=$value[id] ?>&style=1'><?=$value[title] ?></a></h4>
<? $text = "<p>".substr($value[text],0, 430)."</span>...</p>"; echo $text; ?>
<p>Количество совпадений: <?=$value[relevation];?></p>
Вот собственно и готов поиск.
Спасибо за внимание.