Организация хранения и поиска электронных изданий

В течении длительного времени для хранения электронных копий изданий и их фрагментов используются различные базы данных. В последнее время базы данных стали использоваться и для публикации электронных изданий. Преимущественно это относится к базам данных, которые используются в сети Интернет и связаны с поисковыми серверами, которые, отыскав ссылку на нужное издание в своем поисковом индексе, обращаются к соответствующей сетевой базе данных. Другой вариант публикации - в базах данных, связанных с издательскими серверами. Такой вариант рассматривается в § 8.1.

Существует два принципиально разных метода организации хранения электронных изданий:

в виде иерархической файловой системы, в которой файлы отдельных изданий объединены в каталоги по тематическому или другим при знакам;

в виде текстовой базы данных, в которой размещены файлы изданий.

Первый метод проще с точки зрения организации структур данных, но требует создания и использования дополнительных средств для поиска нужного электронного издания, в особенности если количество таких изданий достаточно велико. При его использовании, в общем случае, гораздо труднее обеспечить защиту информации от несанкционированного доступа, которая несомненно нужна, так как издания представляют собой определенную информационную и материальную ценность, являясь интеллектуальной собственностью конкретного издательства.

Во втором варианте обычно проще осуществить защиту информации. Методы и средства для этого достаточно разработаны и проверены практикой. Однако при работе с изданием, связанной с его изменением, используется большое количество операций записи и чтения информации. Это связано с тем обстоятельством, что приложение не может напрямую работать с базой данных. В результате, для больших текстовых баз данных существенно снижается скорость обработки информации. Кроме того, возникают определенные проблемы при использовании различных видов информационных носителей, например жестких магнитных дисков и оптических компакт- или DVD-дисков.

Хранение изданий требует обязательной организации системы поиска. Существуют два варианта поиска изданий пользователем. В первом случае производится поиск электронного издания, о котором точно известно, что оно существует и известен хотя бы один его поисковый атрибут. Такие системы называют фактографическими, так как в них каждому изданию однозначно соответствуют поисковые атрибуты. Во втором случае ставится задача отыскания всей совокупности электронных изданий по определенному тематическому направлению. В последнем случае заранее неизвестно не только количество изданий, но даже сам факт их существования. Такие системы называют документальными. Большинство аналитических и исследовательских задач на начальной стадии реализации связано с применение второго варианта поиска. В частности, на этапе постановки задачи всегда проводится обзор литературы по рассматриваемому вопросу.

Методы организации поиска также могут быть разделены на две группы. К первой из них относится так называемый атрибутивный поиск. Он основан на том, что каждый документ (издание представляет собой частный случай документа) характеризуется определенным набором атрибутов (полей). Эти поля заполнены конкретной информацией, которая изменяется для различных изданий. При поиске проверяется совпадение значений, содержащихся в запросе, со значениями в соответствующих полях каждого из изданий. Такой метод организации поиска характерен для фактографической модели.

К атрибутам изданий относят: название, автора (авторов), время создания, ISBN (индивидуальный номер издания по универсальной книжной классификации) и т. д. В последнее время набор атрибутов все чаще называют метаинформацией. Этот термин уже упоминался во второй главе, когда мы рассматривали содержимое заголовочной части HTML-издания. Делаются попытки стандартизации электронного описания для любого издания. В частности, имеются библиотечные стандарты, в том числе и отечественные, а также и стандарты описания в книжной торговле.

Ко второй группе средств относится полнотекстовый поиск и выборка изданий.

Действительно, любая книга, в том числе - в электронном виде, представляет собой слабо структурированный набор символов, организованных в слова, предложения, разделы, параграфы и главы. Для организации полнотекстового поиска необходимо вначале произвести индексацию изданий, составить для них так называемый полнотекстовый индекс. В простейшем случае он представляет собой список всех значащих слов в текстовой базе данных с указанием, в каких изданиях встречаются эти слова. Встречаются многоуровневые индексы, в которых на верхнем уровне расположен словарь или поисковый индекс слова. В нем каждому значащему слову соответствует указатель на расположенный на следующем уровне список местонахождений или индекс ссылок, в котором содержатся адрес издания и, иногда, позиция слова внутри документа.

Многие из читателей, вероятно, использовали полнотекстовый поиск, работая в сети Интернете поисковыми серверами. В этом случае в специальное поле поиска вводится конструкция из некоторого количества слов или фраз, иногда связанных друг с другом знаками логических операций. Соответствующий механизм на сервере автоматически проверяет содержимое ссылок на документы, содержащихся в его базе данных и выдает результат поиска в виде списка подходящих или релевантных документов.

Можно сформулировать четыре основных отличия полнотекстовой выборки от атрибутивной:
- полнотекстовая выборка отвечает на запросы с меньшей точностью;
  
  выборка вероятностная, а недетерминированная;
  
  критерием правильности выборки является не точное совпадение, а лишь пригодность извлеченного из базы издания;
  
  время поиска и извлечения издания больше зависит не оттехничес- ких средств, а от качества формулирования запроса и скорости анализа пользователем пригодности извлеченных из базы изданий.
  
  Нетрудно понять, что первой модели наилучшим образов соответствует атрибутивный поиск, а второй - полнотекстовый. Принципиальное отличие между этими двумя методами поиска состоит в том, что результат применения атрибутивного поиска детерминированный, в то время как полнотекстовый поиск следует характеризовать как вероятностный, т. е.
  
  его результат содержит набор документов, характеризуемых определенным уровнем релевантности, пригодности.
  
  Исторически первыми использовались базы данных для хранения структурированной информации с жестким набором атрибутов. Затем возникла необходимость хранения документов, включая журналы и книги, которые представляют собой набор неструктурированной или почти неструктурированной информации. В последние годы возникла определенная тенденция к разметке или структурированию текстовых документов. Для этого созданы специальные языки, в частности XML, который рассмотрен в § 2.1.
  
  Атрибутивный поиск проще и быстрее, а также позволяет получить точный, а не вероятностный, результат. Для его реализации не требуется создавать полнотекстовый индекс, занимающий значительное дисковое пространство, а также сложные поисковые механизмы. Кстати, в последний годы в сети Интернет взят курс на поисковые системы, основанные на частичном использовании метаинформации, по крайней мере в тех случаях, когда эта информация известна пользователю. Вводится и соответствующий стандарт на содержание атрибутов на каждой Web-странице для реализации такого поиска. Тем не менее полнотекстовые базы и поиск пока еще достаточно широко используется в издательских информационных системах. Атрибутивный поиск не всегда применим, так как пользователь может не знать ни одного атрибута.
  
  Известно несколько методов поиска в текстовых базах данных, на которых автору хотелось бы остановиться. Первой и наиболее простой моделью поиска является просмотр, т. е. процесс сходный с обычной работой с книгой. В этом случае из базы данных извлекается определенное электронное издание и пользователь знакомится с его содержанием. Используя современные средства навигации, можно перемещаться по каталогу изданий, раскрывать нужные книги и просматривать их оглавления и аннотации. Для больших баз данных такой способ неэффективен и может использоваться только в сочетании с другими моделями.
  
  Вариантом этой модели является связанное чтение, которое использует концепцию гипертекста и переходы по гиперссылкам внутри одного издания или даже между изданиями, включая рисунки, звуковые и видеофрагменты.
  
  Чаще всего применяется
  Булевы модели поиска, использующие в качестве основы логические конструкции, т. е. слова или фразы (последние заключаются обычно в круглые скобки), объединенные знаками логических операций И (AND, &), ИЛИ (OR) и НЕ (NO). Входящие в конструкцию смысловые элементы, т. е. слова и фразы, если последние рассматриваются как единое целое, обычно называют термами. Если в результате запроса поисковая система выдала чрезмерно большой список документов, запрос можно попытаться усложнить, включив в него большее количество термов и операторов И, предполагающих одновременное наличие в документе базовых слов и фраз. Наоборот, если найдено небольшое количество пригодных (релевантных) документов, запрос можно упростить, исключив из него отдельные конструкции с оператором И (или добавив конструкции с оператором ИЛИ).
  
  Специальное программное обеспечение может обеспечить автоматическую оценку степени полезности каждого из извлеченных изданий. Эта оценка делается на основе частоты, с которой встречаются в издании термы, используемые в запросе. Результаты обычно сортируются по степени релевантности. Такая модель поиска используется, в частности, на поисковом сервере Rambler.
  
  Векторная модель поиска основана на представлении каждого отдельного издания некоторым вектором в N-мерном пространстве. Запрос также представляется в виде вектора. Степень полезности документа, определяется как его близость в указанном N-мерном пространстве к вектору запроса. Количественная оценка близости выражается косинусом угла между этими векторами и изменяется в пределах от 0 до 1.
  
  Векторная модель поиска обязательно подразумевает последовательные итерации. В начале поиска пользователь из всего множества выбранных изданий определяет некоторые как нужные, полезные. На основании этого выбора вырабатывается уточненное положение вектора запроса
  
  Эффективность - главный критерий при определении применяемого метода полнотекстовой выборки. Эффективность поиска издания можно описать двумя характеристиками: точность и охват.
  
  Точность ? определяется отношением числа релевантных документов R к общему количеству документов в выборке N (|?=R/N). Охват а характеризуется отношением числа релевантных документов в выборке R к общему числу релевантных документов в базе данных Т (a=R/T).
  
  В случае идеального поиска все выбранные документы полностью пригодны и исчерпывают список пригодных документов в базе данных, т. е. а=1 и ?=1. Однако многочисленные исследования, выполненные различными специалистами, показали что точность и охват связаны друг с другом обратной зависимостью, а максимальное значение суммы ?+а близко к 1,4. Сказанное иллюстрируется графиком, представленным на рис. 7.1
  .
  
  Такой результат выглядит вполне осмысленным. Действительно, если мы хотим увеличить точность р мы должны как можно более точно сформулировать запрос, включив в него большое количество различных термов, связанных с помощью операторов И, чтобы исключить возможность попадания в результаты поиска непригодных документов. Однако в этом случае общее количество выбранных изданий не может быть большим, точнее - оно будет малым. Естественно, что не все релевантные документы, содержащиеся в базе данных, попадут в число выбранных.
  
  Наоборот, если мы хотим увеличить охват, т. е. постараться выбрать наибольшее количество релевантных изданий из общего их числа в базе, следует сформулировать запрос как можно шире. В этом случае в выборку неизбежно попадет значительное число непригодных изданий, т. е. точность окажется сравнительно малой величиной.
  
  В последнем случае увеличение количества выбранных изданий неизбежно увеличит время обработки результатов поиска. Реально, если количество выбранных изданий составляет сотни значений, то время оценки их пригодности становится чрезмерно большим, в результате пользователь утомляется, внимание его рассеивается, что неизбежно приводит к неточностям и ошибкам.
  
  Таким образом, атрибутивная выборка выглядит гораздо предпочтительнее как с точки зрения эффективности и скорости выборки, так и экономии дискового пространства.
  
  Однако для ее практического применения необходимо знать поисковые атрибуты, что возможно далеко не во всех случаях.
  
  Во многих случаях следует остановится на промежуточном варианте, когда наряду с атрибутами в поисковой среде хранится набор ключевых слов и терминов, каждый из которых связан с определенным кругом изданий. При включении нового издания в поисковую структуру из набора ключевых слов отбирается несколько, в наибольшей степени отвечающих тематике и содержанию издания. При поиске информации пользователь также просматривает список ключевых слов и отбирает те из них, которые, по его мнению, в наибольшей степени соответствуют его требованиям.
  
  Помимо обеспечения возможности эффективной выборки нужного издания, очень важно то, как следует организовать хранение изданий, чтобы гарантировать только санкционированный доступ к этому хранилищу. Дополнительные трудности на организацию процесса хранения накладывает использование во многих изданиях мультимедийных компонентов.
  
  7.2.
  
  Содержание раздела