Извлечение данных

Решил получить базовую экспертизу в области data mining, со мной поделились замечательной работой на эту тему А.К. Скуратова, а я , в свою очередь, поделюсь с вами краткой выжимкой (учитывая, что самой работой я обещал вообще ни с кем не делиться). Итак,если посмотреть технологии, то к задачам обработки неструктурированной информации относятся:

Глубинный анализ текста (Text mining). К основным процедурам ТМ относятся: суммаризация (summarization), выделение феноменов, понятий (feature extraction), кластеризация (clustering), классификация (classification), ответ на запросы (question answering), тематическое индексирование (thematic indexing) и поиск по ключевым словам (keyword searching). Также в некоторых случаях набор дополняют средства поддержки и создания таксономии (oftaxonomies) и тезаурусов (thesauri). То есть, если мы имеем некий набор документов, то мы можем выделить общие сущности, получить навигационный механизм для исследования документов и т.п.
Управление содержанием и знаниями (Content and Knowledge Management): классификация информации и документов, автоматизация процессов обработки, организация и классификация документов по папкам, организация единой точки доступа к документам, поиск документов по атрибутике и содержанию.
Управление документами (Document Management). Хранение документов на основании модели.
Поиск и категоризация документов (Document Search and Categorization). Здесь вообще всё должно быть понятно. Примером системы, использующей данную технологию (+ управление документами) отчасти может быть электронная библиотека, особенно если она распределена между несколькими вузами, например ehd.mgimo.ru

Очевидные проблемы – высокая ресурсоемкость операций, распределенность данных, а также потребность в имитационном моделировании. Для решения этих проблем используется параллельное вычисление (например – многоядерные процессоры), так как я не являюсь архитектором, то и углубляться в данную тематику здесь не буду. Про СУБД я также не буду распространяться, но про DB2 следует узнать несколько больше… Инструменты извлечения данных весьма стандартны, а вот о средствах доведения информации до потребителей я немного расскажу, ведь программы создаются для получения пользователем определенного результата. Результат может быть получен при помощи следующих систем:

ERP-системы (Enterprise Resource Planning), осуществляющие тотальную интегрированную поддержку управления производственным или эксплуатационным предприятием.
CALS-системы (Continuous Acquisition and Life Cycle Support) — поддержка жизненного цикла программных комплексов.
CIM-системы (Computer Integrated Manufacturing) — компьютерное управление производством.
PDM-системы (Project Data Management) — управление проектами;
системы управления документами и электронными архивами (СУД).
системы управления деловыми (бизнес-) процессами (workflow).
и т.д.

Выделим же ещё экпертный и интеллектуальные системы, в чем же их особенности?

Экспертные системы строятся на основе статической базы знаний, сформированной стандартными методами инженерии знаний, например, путем работы с экспертами. В настоящее время существует достаточно обширный инструментарий автоматизации создания экспертных систем, из которого наиболее известен, пожалуй, пакет GENSYM (http://www.gensym.com/). Традиционными потребителями экспертных систем являются области знания, слабо обеспеченные формальным математическим аппаратом, например, разделы медицины, в которых постановка диагноза сильно связана с субъективными ощущениями больного.
Интеллектуальные системы отличаются от экспертных тем, что, помимо статической базы, они обладают еще и динамической базой знаний, модифицирующейся по мере поступления в систему новой информации. Фактически, в интеллектуальной системе предусмотрена возможность самообучения.

Почему я о них упомянул? Именно потому, что в них обрабатываются огромные массивы данных, из которых выделяются необходимые для анализа сущности. Кроме того, требования к времени обработки/получению данных могут быть жестко задано, например, если речь идёт об управлению полетами и т.п. И чем “умнее и быстрее” будет данная система, тем меньше будет участие “человеческого фактора”. Не забудем ещё и про систему логического вывода, выводящей прогнозы и рекомендации на основании базы знаний и текущих данных, производя идентификацию ситуации. Итого, описанные системы решают следующие задачи:

Получение справочной (описательной) информации для поддержки принятия решения.
Анализ степени достоверности предоставляемой информации.
Исследование возможного развития событий (анализ «если-то»).
Обратная «прокрутка» логического вывода с целью отсечения альтернатив.
Уточнение (адаптация) базы знаний системы с использованием текущей информации.

Само собой, к этому можно вполне и графику прикрутить, из самого простого, что пришло на ум – highcharts.com. Само собой – это самые простенькие графики, гораздо интереснее системы CAD/CAM/CAE, а если говорить о подходах, то они будут следующими:

Ландшафт данных (Map) представляет собой графический интерфейс, отображающий данные в виде трехмерного ландшафта произвольно определенных и позиционированных форм — столбчатых диаграмм, каждая с индивидуальными высотой и цветом. Это позволяет наглядно отображать интенсивность и взаимосвязи между данными и быстро идентифицировать в них тенденции и выбросы.
Диаграммы рассеяния (Scatter plots). Для данных с размерностью больше 3 к обычной 3D-системе координат, в которой задаются исходные переменные, добавляется два дополнительных измерения. Они отображают размер и цвет элементов данных. Дополнительно вводятся динамические измерения, которые позволяют прокручивать многомерные данные, показывая изменчивость одних переменных при фиксации остальных.
Древовидные структуры (Tree plot). Информация организуется иерархически (по связям в виде дерева) и изображается в виде трехмерного ландшафта с возможностью динамического движения в этом пространстве, что позволяет вести обзор всего множества данных или его части. Количественные характеристики данных отражены также в форме и цвете узлов. Такой способ визуализации весьма эффективен для представления деревьев решений.
Диаграммы правил (Rule plot) рассматриваются как специфическое средство графического представления результатов процедуры анализа ассоциаций. Анализируя визуально эти результаты — правила с сущностями в их левой и правой частях, пользователь может глубже проникнуть в природу специфического набора данных, отмечая наиболее значимые связи.
Диаграммы свидетельств (Evidence plots) предназначаются для оценки качества классификации. Они позволяют визуально оценить меру сходства-различия элементов классов и осознать, какие именно характеристики влияют на ее структуру.
Лица Чернова (Chernov faces) являются классическим средством когнитивного представления многомерных данных. Многомерному вектору данных сопоставляется стилизованное изображение лица человека, интенсивность черт которого пропорциональна компонентам вектора, а их расположение — связям между ними. Лица Чернова служат не только для распознавания, но и для шкалирования многомерных данных, ранжируя их в соответствии с «настроением» лица.
Лучевые диаграммы (Star diagram) сворачивают многомерный вектор данных на циклическую траекторию; интенсивность удаления от центра соответствует величине компонента вектора. Лучевые диаграммы наиболее важны для описания взаимосвязей между элементами, которые пропорциональны телесным углам между лучами из центра.

Если что, то программные продукты я могу предоставить по запросу. Тем более, что они не столь любопытны, как системы “Виртуальной реальности” (эти сисемы интерактивные, понятнее будет ниже), они могут быть реализованы по одной из следующих технологий:

Кабинные симуляторы (cab simulators), порожденные автомобильными, морскими и авиационными тренажерами, в которых пользователь садится в кабину и видит перед собой в окне дисплей компьютера, на котором изображены некие ландшафты.
Системы искусственной реальности (artificial, projected reality), в которых пользователи видят реальные видеозаписи друг друга, встроенные в виртуальное пространство трехмерных образов. Эти системы не требуют головных дисплеев и могут успешно использоваться для неквалифицированных пользователей. Идея совмещения видео и компьютерной графики в реальном времени породила, в частности, технологию виртуальных студий, при которой изображение на экране телевизора в реальном времени складывается из видеозаписей участников передачи (реально находящихся в пустой студии) и трехмерных миров, которые компьютер генерирует и соединяет с этой видеозаписью.
Системы «расширенной» реальности (augmented reality), в которых изображение на экране головного дисплея прозрачно, так что пользователь видит одновременно и свое реальное окружение, и виртуальные объекты, генерируемые компьютером на экране.
Системы телеприсутствия (telepresence) используют видеокамеры и микрофоны для погружения в виртуальное окружение пользователя. К ним в основном относятся системы управления удаленными динамическими объектами или консалтинговые системы, применяемые, например, при дистанционном проведении хирургических операций [Телемедицина, 1998].
Настольные ВР-системы (desktop VR) обеспечивают эффект погружения за счет проецирования изображения на большую площадь с помощью специальных проекторов. В основном они применяются для бизнес-презентаций и создания ситуационных комнат.
Визуально согласованный дисплей (visually coupled display) размещается прямо перед глазами пользователя и изменяет картинку согласно движениям его головы. Он снабжен стереофоническими наушниками и системой отслеживания направления взгляда и фокусирует изображение, на которое направлено внимание пользователя.

Собственно, вот и хватит, разве что скажу, что в РФ с данными технологиями работают как минимум IBS, I-teco (http://www.osp.ru/os/2011/05/13009439/ и т.д.).

Управление знаниями

Алгоритмический анализ фактов

Факты – структурированное описание события – основа для принятия решений при проведении разведки или мониторинга настроений в обществе. Полностью структурированное представление событий дает возможность использовать преимущества современных систем обработки структурированной информации, однако еще совсем недавно направление фактографии в России отсутствовало, сегодня ситуация меняется — появляются соответствующие системы управления фактографической информацией.

Читать целиком

На всякий случай прикладываю pdf: “Алгоритмический анализ фактов“.

Управление знаниями

«Аналитический курьер» – современная система извлечения знаний из хранилищ документов

Автор: Сергей Леонидович Киселев, источник it2b.ru
Современный уровень информационно-аналитической работы, как, впрочем, и весь прогресс цивилизации, показывает тенденцию уменьшения роли естественного интеллекта в результатах интеллектуальной деятельности, переложения ее на автоматы, а также повышения интеллекта у систем, которые должны помогать, а затем и направлять исследование данных в зависимости от их контента. Под этим углом зрения в статье рассматриваются перспективные технологии анализа текста, которые появятся в ближайшем будущем и станут стандартом на рынке. Рассмотрим две функции систем: ввода данных в систему и формирования вторичной информации о документе, например, ключевые темы, аннотации, семантические сети документов, фактографическая информация, и др. с использованием технологии ETL (Extract-Transform-Load — выделения-преобразования-загрузки) и аналитической обработки.
В контексте этой статьи это означает переход от экспертной обработки данных в фазе ETL (Extract-Transform-Load — выделения-преобразования-загрузки) к автоматизированной, а затем и к полностью автоматической при больших потоках данных и достаточной достоверности автоматического процесса структурирования контента. В ближайшем будущем, при достижении приемлемой производительности обеспечивающих операционно-технических платформ, наиболее востребованными будут системы с максимально автоматизированными ETL-процессами. В частности, доминирующий сегодня в ряде известных систем экспертный семантический анализ контента будет уступать автоматическим методам синтаксического и постсинтаксического анализа русскоязычных текстов. Следуя известным законам Мура и Рока о нелинейном увеличении темпов производства наукоемкой продукции, можно ожидать появления таких систем в ближайшие три-пять лет.

Вопрос автопилотирования направления исследования является вторым важным направлением развития систем анализа неструктурированного контента. Этому направлению развития технологий посвящено основное содержание статьи.

В ответ на неотложную задачу автоматизации аналитической работы с неструктурированным контентом в мире ИТ-профессионалов вполне сложился базис моделей для анализа трендов, отклонений, связей, групп и других свойств коллекций объектов.

Компания «Ай-Теко» развивает технологии аналитической обработки неструктурированной текстовой информации. «Ай-Теко» принадлежат патентные свидетельства на систему извлечения знаний «Аналитический курьер» и систему управления досье «XFiles». Эти системы отличаются «мощным интеллектом» и минимальной трудоемкостью для извлечения знаний из текста.

Система «Аналитический курьер» предназначена для аналитической обработки текстовой информации с целью получения из нее новых знаний. Особенностью системы является возможность параллельной обработки разнородной неструктурированной информации (документов) из различных источников: сообщений СМИ, сообщений информационных агентств, аналитических материалов различного профиля, документов сети Интернет, почтовых и управленческих документов и др. Система обеспечивает возможность поиска и аналитической обработки информации, по одному запросу можно получить документы из различных баз данных, файловых систем и др.

Проходящая? тестирование версия системы «Аналитический курьер» 2006 поддерживает обработку поисковых запросов на естественном языке, в том числе — русском. Для выдачи корректного ответа на запрос «Не могли бы вы, ваши сотрудники или информационно-аналитическая система помочь ответить на вопрос, кто является акционерами ЦентрСибБанка?» в системе используется нечёткая векторная модель поиска и семантический анализатор текста. С помощью синтаксического анализатора поисковый запрос преобразуется в вектор термов, и на множестве текстов фонда ищутся наиболее близкие к вектору запроса документы.

В системе автоматически поддерживается целостность словарей, классификаторов и других метаданных, размещенных в разных узлах распределенной системы, автоматически тиражируются профильные документы по различным темам.

Система извлечения знаний «Аналитический курьер» опирается на Единое Информационное Пространство (ЕИП), объединяющее хранилища неструктурированной информации (см. рисунок 1). В ЕИП исходные материалы организуются иерархически:

на нижнем уровне условной модели находятся конкретные документы и их карточки;
на следующем уровнем расположены фонды документов (материалы, объединённые по общим источникам и времени публикации, например, сообщения российских СМИ за 2006);
на верхнем уровне иерархии ЕИП находятся хранилища — объединения фондов.

В системе достигается высокое качество сервисов тематического рубрицирования, определения тональности документов, высокая точность выделения фактов из текста за счёт использования развитых компонентов анализа естественного языка. Углублённый анализ анафорических предложений повышает количество выбираемых информации об объекте и фактов, в среднем, на 50-80%.

Рисунок 1. Иерархическая организация ЕИП

Принятый в системе «Аналитический курьер» подход допускает дальнейшее исследование результатов анализа, полученных на предыдущем, менее общем, уровне иерархии ЕИП. Виды извлекаемой из документа информации — аннотация, отнесение его к определённой тематической рубрике, тональная окраска, ключевые темы и информационные объекты — могут служить исходным материалом, точкой входа, для анализа подборки документов. Выделенные из текстов объекты образуют семантические группы, например, «юридические лица», «физические лица».

Выбрав из нужной группы интересующий объект, аналитик получает все сервисы исследования материалов, посвященных этому объекту, на высшем уровне хранилищ документов. Мощную функциональность предоставляют многомерные частотные распределения текстов по любым критериям.

Построив частотное распределение, например, по тональности публикаций, с помощью механизма drill-down пользователь получает возможность вернуться обратно, до уровня документов.

Задачи системы

Система «Аналитический курьер» предоставляет инструментарий для решения следующих задач:

пилотируемый поиск;
автоматическое аннотирование статей;
тематическое рубрицирование публикаций на различных языках;
регламентное построение дайджестов на ключевые, определяемые пользователем, объекты мониторинга;
определение тональной окраски документов и отдельных объектов;
автоматическое выделение тематических групп внутри коллекции документов (кластерный анализ публикаций);
выявление ключевых тем коллекции документов, построение их взаимосвязей в виде типизированной или нетипизированной семантической сети;
частотный анализ рубрик и публикаций, многомерная аналитическая обработка данных;
мониторинг информации о выбранных объектах и исследование изменения динамики их состояния в интерактивном и автоматическом режиме;
параллельная обработка разнородной неструктурированной информации из различных источников.

Система позволяет быстро изучать новые предметные области, которым посвящены тексты фонда, структурировать проблематику, готовить отчёты и информационно-аналитические материалы.
Кратко рассмотрим эти решения.

Пилотируемый поиск информации

В системе реализованы все основные модели поиска информации: булева, нечеткая булева и векторная. Существует возможность сохранять и повторно использовать в дальнейшем сохраненные пользователями запросы.

В окне настроек системы (пункт Настройки основного меню) можно настраиваться на работу с соответствующими информационными фондами для конкретного пользователя, задавать параметры для поиска и просмотра его результатов (рисунок 2).

Рисунок 2. Настройка параметров поиска

На стадии формировании поискового запроса система позволяет использовать тезаурусные расширения термов запроса. За счёт использования тезауруса и морфологического анализатора запрос поиска «ДТП» имеет фактор расширения 1:150 (из одной лексемы фактически генерируется 150 лексем для сервера поиска).

Рисунок 3. Расширение запроса с использованием современного тезауруса.

Кроме контекстного поиска и поиска с использованием тезауруса, «Аналитический курьер» предоставляет функцию «Найти похожие»: получение списка документов, наиболее соответствующих содержанию первичного документа.

Система допускает разные способы и направления сортировки всех отобранных по запросу документов. После получения подборки документов можно построить частотное распределение по атрибутам документа, например, по источникам публикации с представлением ряда в виде таблицы или диаграммы. Отобранные в списке документы (или все документы из списка) можно сохранить в одном из форматов экспорта документов.

Отличительной особенностью системы является наличие навигатора поиска, используемого для выбора направления дальнейшего поиска по результатам выполненного запроса. На рисунке представлен список ключевых тем выполненного ранее запроса, которыми можно уточнять его, перемещая нужные темы в поле контекстного запроса для повторного выполнения.

Рисунок 4. Навигационное поле обработанного запроса для выбора направления поиска

Для поиска необходимых документов можно использовать альтернативный вход в систему через объекты и их взаимосвязи, выделенные системой автоматически из текста проиндексированных документов. Этот способ позволяет исследовать связи объектов и документы, их отображающие, без указания контекстного критерия на фильтрацию документов объекта. Ниже приведен пример интерфейса, для формирования запроса на исследования связей объекта «Чейни».

Рисунок 5. Интерфейс для входа в информационные объекты.

По этому запросу будет получен результат следующего вида.

Рисунок 6. Вход в систему через сеть взаимосвязей объекта.

Этот способ позволяет исследовать связи объектов во всех фондах системы без предварительного получения подборок документов.

Виды аналитической обработки текста документа

Система «Аналитический курьер» реализует унифицированную технологию создания и ведения распределенных информационных фондов документов.

На рисунке 7 представлена модель документа, используемая для выполнения базовых функций аналитической обработки.

Рисунок 7. Модель представления исходного документа в системе

Остановимся на них подробнее.

Автоматическое аннотирование документов

Суть аннотирования (реферирования) текста заключается в формировании краткого описания основных тем, затрагиваемых в документе. Обращение, вместо первоисточника, к аннотации, упрощает смысловой поиск, уменьшает объём просматриваемой информации, экономит время читателя.

В «Аналитическом курьере» аннотация автоматически формируется из фрагментов документа, и объём аннотации не является фиксированным, а зависит от исходного документа, составляет от 5 до 30% исходного текста.

Аннотация позволяет зрительно оценить содержание текста и принять решение, какие документы важны для стоящей перед аналитиком проблемы. При работе с информационно-аналитической системой эксперт обращается к аннотации во время первого просмотра списка документов, полученного с помощью поиска или с помощью средств визуальной навигации по семантическим картам или кластерам.

Автоматическое рубрицирование документов

Продолжением идеи аннотирования документов является сервис рубрицирования. Рубрицированием (классификацией) называется процедура отнесения документа к одной из априорно сформулированных экспертом категорий.

Система предоставляет возможность автоматического определения наличия определенных тем в документе — тематическое рубрицирование проблем, а также определение тональности публикации по отношению к определенным объектам (лицам, организациям и др.), встречающимся в них, — рубрицирование тональности. Для этого систему нужно предварительно обучить на документах с типичной для рубрик лексикой.

«Аналитический курьер» содержит несколько различных «движков» (построенных на разных математических моделях), позволяющих осуществлять тематическое рубрицирование. При анализе текста учитывается не только состав слов, но и их совместная встречаемость. Если тема (или набор тем) выявлены, документ заносится в соответствующие проблемно-тематические рубрики. Это реализовано через механизм метаданных, «карточку документа» — обязательный атрибут каждого содержащегося в ЕИП элемента, независимо от контента. Такое решение позволяет строить запросы по тематическим рубрикам, например, выбрать все документы по теме «Социальные проблемы».

Во втором случае, при тональном рубрицировании, с высокой точностью производится автоматическое определение эмоциональной окраски сообщения по отношению к объекту, о котором в тексте идёт речь. Для проведения тонального рубрицирования необходимо предварительно обучить систему на документах с типичной для рубрик лексикой. Данная возможность высоко оценивается аналитиками, работающими с новостными лентами: она позволяет анализировать общественное мнение, автоматически строить статистические отчёты о настроении прессы к объекту в каждом регионе, исследовать закономерности между высказываниями в прессе и рейтингом политиков и т.д.

Проведение рубрицирования, в особенности тонального, тесно связано с построением дайджестов на объекты мониторинга, т.е. выбор предложений, в которых упоминается интересующий объект. «Аналитический курьер» выполняет нормализацию дайджестов с использованием углубленного анализа анафорических ссылок в разных предложениях, за счёт этого репрезентативность дайджеста, точность рубрицирования, увеличивается на 50-80%.

Виды оперативной аналитической обработки фондов

Процесс исследования предметной области опирается на результаты аналитической обработки коллекций документов, которая должна выполняться в оперативном режиме (в течение 3-7 секунд).

На уровне оперативного анализа подборок документов «Аналитический курьер» предоставляет сервисы построения кластерной карты, семантической карты взаимосвязей тем, частотного распределения документов.

Рассмотрим эти функции более подробно.

Динамический анализ тематической структуры публикаций (кластерный анализ)

Кластеризация позволяет в режиме реального времени получить абрис тематической структуры подборки документов. Этот метод используется для выявления значимых тематических групп, характерных для подборки. Результат кластеризации: список или карта кластеров. Кластеры пронумерованы и имеют названия, в качестве которых выступают ключевые слова, выявленные для данной группы документов. Щелчок клавишей мыши по названию кластера открывает список документов, входящих в кластер. Поскольку разные тематические группы могут иметь общую лексику, то кластеры могут пересекаться, что указывает на взаимосвязь основных тем. Примеры результатов кластеризации представлены на рисунках ниже.

Рисунок 8. Пример кластерной карты подборки документов

Рисунок 9. Пример кластерной карты с коррелирующими кластерами

Семантические карты связей объектов

«Аналитический курьер» автоматически выделяет из текста всех документов содержащиеся в них темы, объекты и их связи — семантическую сеть документа. Можно настроить систему на автоматическое выделение определенных типов объектов, например, юридических или физических лиц, географических названий и других.

После обработки запроса система может построить семантическую карту полученной подборки документов (возможно из различных фондов) для исследования «тонких взаимосвязей» между темами и объектами подборки. На карте можно переименовывать, удалять и объединять вершины. Система умеет определять причинно-следственные связи между темами подборки, отображая их направленными стрелками. Реализован сервис объединения нескольких карт в одну, а также поиск на карте ситуаций или семантических шаблонов, сохраненных в библиотеке.

На рисунках представлены примеры семантических карт по различным проблемам.

Рисунок 10. Пример семантической карты по аспектам деятельности губернаторов

Карта может быть представлена с типизированными связями (показывается дескриптор (ключевое наименование) связи), либо с нетипизированными, обозначающими факт наличия связи.

Рисунок 11. Пример семантической карты по региональной проблематике

Частотный анализ публикаций

«Аналитический курьер» динамически строит одно- и двумерные частотные распределения по любым атрибутам документов: дата загрузки, объём документов, дата публикации, заголовок, автор, источник, фонд и регион происхождения источника (имеет важное значение для сравнения публикаций центральной и местной прессы), а также по экспертным и автоматически полученным рубрикам, по тональности публикаций, а также по самому тексту.

Частотный анализ полезен при исследовании динамики процессов, например, для обнаружения зависимости между рейтингом и освещением в прессе деятельности объекта в течение длительного периода на основе анализа тональности публикаций.

Web-интерфейс «Аналитического курьера» отображает зависимость количества публикаций от нескольких параметров одновременно, например, от региона, времени, тональности публикаций о выбранном объекте. Частотные распределения могут представляться как в виде матрицы, так и в виде трехмерной гистограммы, оба представления допускают операцию drill-down: колонки и строки данных представляются в виде гипертекстовых указателей. Щелкнув мышью на выбранном объекте, пользователь получает более детальную информацию, доступ к конкретным документам подборки.

Если данных о количестве и тональности публикаций больше, чем о рейтинге изучаемого объекта, то рейтинг может быть спрогнозирован статистическими методами. Для решения вычислительно весомых задач в «Аналитическом курьере» предусмотрена возможность взаимодействия с системами класса Data Mining, позволяющими глубоко анализировать многомерные частотные распределения выборок.

Рисунок 12. Технология анализа частотных распределений рубрик

Технологии выделения фактографической информации и ведения досье на объекты мониторинга реализует система управления досье «XFiles», которая может использовать в качестве источника информации систему «Аналитический курьер».

Заключение

Эффективность работы с текстовыми активами заслуживает самого пристального внимания руководства и ИТ-специалистов государственных структур и коммерческих компаний. 80-85% корпоративной информации получаются в результате сравнения, анализа и синтеза разрозненных и разбросанных по разным источникам фактов («источники» — это новостные ленты, служебные записки, пожелания клиентов, платежные документы и т.д.). Аналитик, который по этим фактам должен составить определенную картину, нуждается в мощных инструментах, облегчающих извлечение знаний из текстов, написанных на естественных языках.

Компании «Ай-Теко» принадлежит патентное свидетельство на систему извлечения знаний из текстов «Аналитический курьер», призванную помочь аналитикам в работе с большими объёмами неструктурированной информации.

Предоставляемые аналитику сервисы выделения тем и объектов текста, удобная визуализация их связей, высокая точность выделения фактов с помощью развитых средств морфологического, синтаксического анализа, разрешения анафорических ссылок, возможность параллельной обработки нескольких фондов, сервисы поиска, тематического и тонального рубрицирования, кластеризации подборки документов, выделения ключевых тем, построения частотных распределений документов с использованием механизма drill-down — являют собой важный ресурс конкурентоспособной компании.

Управление знаниями

Факты – основа современной информационной системы бизнес-разведки XFiles.

Автор: Сергей Леонидович Киселев, источник: http://it2b.ru
Система корпоративной безопасности компании является важнейшим инструментом управления предпринимательскими рисками. Задачи этой системы заключаются не столько в сборе, обработке, оценке и накоплении данных, сколько в их информационном анализе и синтезе управляющих воздействий. Эти функции возлагаются на подсистему бизнес-разведки (business intelligence) компании. Термин бизнес-разведка определяется как« широкая категория технологий, связанных со сбором, хранением, анализом и обеспечением доступа к информации с целью принятия оптимальных деловых решений».

Методы ведения бизнес-разведки весьма близки к используемым в традиционной разведывательной деятельности. Сначала определяются требования к параметрам возможных объектов — источников угроз для планирования и организации разведки. Затем рассматриваются возможные источники информации для проведения бизнес-разведки (как правило, используются несколько альтернативных источников или доверенные источники информации). Разрабатывается модель системы угроз и система управляющих воздействий при их обнаружении. На этой основе разрабатывается методика проведения бизнес-разведки, а также её технология. В настоящее время бизнес-разведка невозможна без использования специализированных информационных технологий. Компании, занимающиеся бизнес-разведкой, в своей работе используют информацию, получаемую из масс-медиа, внутрифирменных, банковских, правительственных отчетов, а также прогнозных исследований.

Для того чтобы оценить эффект от внедрения систем бизнес-разведки, необходимо ясно представлять возможности подобных решений. Практическое использование этих систем, в частности, позволяет:

постоянно отслеживать и анализировать новую информацию, имеющую отношение к бизнесу конкурентов;
организовать постоянный поток автоматически выделяемой информации о действиях конкурента (таких как: ценовая политика, слияния и поглощения, рекламные объявления и анонсы, отзывы об их изделиях);
раскрывать планы конкурента;
проводить изучение потенциального спроса на продукцию и услуги;
изучать реакцию рынка на отдельные свойства товаров и услуг, например, с помощью анализа тональности публикаций об этих объектах;
исследовать аспекты политической деятельности объектов.

Системы бизнес-разведки находят применение в различных сферах: профессиональная разведка, деятельность правоохранительных органов, медицина, финансы, страхование и др. Приведём несколько типичных примеров использования информационных систем бизнес-разведки.

При изучении клиентов банками, страховыми компаниями, из различных источников (регистрационных учетов, финансовых отчетов, налоговых деклараций, баз данных зарегистрированной собственности и транспортных средств, СМИ, оперативных источников и из аналитических систем) собираются факты в досье с целью минимизации рисков финансовых операций.

В процессе изучения фигуранта, описание его поступков может быть получено из отчётов участковых милиционеров, протоколов, оперативных донесений, из агентурных сообщений и др. Зачастую эти документы хранятся в различных фондах. У объекта может быть большое количество контактов, как прямых, так и предполагаемых по косвенным признакам. Учетная информация об объекте тоже может храниться в различных базах данных. Получение всей этой информации очень трудоемко, методы экспертной обработки сообщений практически неприменимы. Ценность извлеченных фактов весьма невысока, поскольку эксперт не может совместно проанализировать большое число фактов. Для профессиональной деятельности нужно использовать технологии другого класса — активной доставки новых фактов с помощью специализированных программ-агентов — автоматического выделения фактов (А-факты), связей и ведения дел.

В статье обсуждаются концептуальная и базовая информационные модели информационных систем бизнес-разведки, которые иллюстрируются на примерах возможностей системы управления досье XFiles версии 2006 года.

Концепция информационно-аналитических систем бизнес-разведки предполагает реализацию трех принципов:

единое информационное пространство взаимосвязанных фактов или гипотез независимо от типа их контента (содержимого источников информации);
связь фактов или гипотез с релевантными источниками информации (аргументированность фактов и гипотез);
исторически-пространственная информационная модель базы данных фактов и гипотез. Это означает наличие атрибутов времени и места для каждого факта, а также невозможность их безвозвратного удаления из системы.

Для управления пространством фактов в информационных системах бизнес-разведки используется подсистема обработки фактографической информации. На её входе из различных источников выделяется не только поток информации об изучаемых объектах в форме количественных показателей, видеоклипов, документов (информационных сообщений). Автоматически выделяемые из текста данные преобразуются в структурированный вид, основной формой представления служат факты и гипотезы (т.е. аналитически обработанная, классифицированная и очищенная информация). Естественно, факты проходят процедуры очистки, интеграции и другие стандартные процедуры управления единым информационным пространством фактов (ЕИПФ). Системы этого типа находятся на вершине иерархии информационной инфраструктуры компании. С помощью своих программ извлечения знаний они извлекают факты или порождают гипотезы (или сигнальную информацию) из СУБД, хранилищ многомерных данных, Интернет, подсистем аналитической обработки и моделирования, прикладных систем.

Природа множественности фактов об одном событии субъективно обусловлена возможностью его различной интерпретации, а также противоречивостью, неточностью или нечеткостью поступающей из внешних источников информации. Поэтому инфологическими особенностями информационной модели ЕИПФ являются: поддержка множественных фактов об одном событии; наличие у факта атрибутов трекинга (идентификации автора, времени, источника факта, …) для его возможного повторного извлечения из источника; поддержка множественных версий интерпретации фактов.

Перейдем к рассмотрению реализации концепции систем бизнес-разведки в системе управления фактографической информацией XFiles, созданной с использованием программных компонентов ряда компаний, среди которых: Oracle, Microsoft, Hummingbird, Inxight, ABBYY Software House и Altova.

Информационная модель системы бизнес-раведки

Кратко остановимся на основных понятиях информационной модели системы.

Факт — событие (как правило, зафиксированное и произошедшее), сопровождаемое временной и географической метками. Факт сопровождается также аргументирующей информацией, ссылками на источники и др. Факт может быть извлечен из текста документов, либо определен экспертом. Факт может определять как свойства объекта, так и его связь с другими объектами.

Гипотеза — аналитическое высказывание (полученное не из внешнего источника данных, например, из статьи СМИ, а в результате аналитической обработки данных, например, прогнозирования) относительно состояния атрибута досье, сопровождаемое также аргументирующей информацией, ссылками на источники и др. Гипотеза может порождаться различными подсистемами извлечения знаний или экспертами.

Объект — это сущность, факты относительно которой накапливаются в системе. Объект имеет семантический фильтр для самоидентификации в тексте.

Тип досье — описание проблемной области, представленное в виде иерархии атрибутов. Для каждого объекта должен быть определен, по крайней мере, один тип досье.

Досье — реализация типа досье для конкретного объекта.

Атрибут — это структурный элемент типа досье, предназначенный для накопления фактов одного типа. Например, биографических данных, сведений о поездках и др. Атрибут имеет семантический фильтр для выделения« своих» фактов из потока документов. Один атрибут может входить в несколько типов досье.

Связь — это направленное или ассоциативное отношение определенного типа между объектами системы. Связи классифицируются как:

Прямые. В этом случае есть факт о связи двух объектов.
Нечеткие (не представленные фактом):
- по общему месту и времени у пары различных фактов различных объектов;
- косвенные (транзитивные) — через общий третий объект-связь у пары фактов различных объектов.
Рефлективные — между парой атрибутов, связанных по фактам. Если в одном из них появляется факт с определенным объектом-связью, то в симметричном атрибуте для объекта-связи также появляется этот факт. Например, атрибут« продажа акций» имеет симметричный атрибут« покупка акций». Симметричные атрибуты « срабатывают» по прямым связям. Свойство симметричности задаётся при создании атрибутов независимо от того, в какие досье они входят. При включении атрибута в другое досье свойство симметричности сохраняется.

Поскольку предметная область зачастую довольно обширна, целесообразно использование нескольких досье для одного объекта. Например, одно досье может отражать бизнес-деятельность объекта, второе — его личную собственность, третье — медицинские данные, и другие. Такой подход дает возможность различным группам аналитиков« чувствовать» только профильную для них группу атрибутов. Однако, лицо, принимающее решение, может анализировать все досье объекта и все его связи.

В представленном на рисунке 1 примере Объект X объединяет два типа досье: Тип досье А и Тип досье В, и содержит все семь атрибутов. Объект Y имеет один тип досье Тип досье В и содержит 4 атрибута. Атрибут 4 одновременно входит в состав обоих типов досье.

Рисунок 1. Пример фрагмента информационной модели системы

Актуализация базы данных досье производится путем ввода в неё новых фактов, каждый из которых определяется высказыванием вида:

Факт = {<идентификатор факта>, <значение (контент) факта>, <временной диапазон действия факта>, <место, <источник факта>, <оператор>, <статус факта>}.

Теперь кратко рассмотрим технологию автоматического выделения и накопления фактов из различных источников информации. Это свойство концептуально отличает современные системы обработки фактографической информации.

Технологии обработки фактов

В связи с большой плотностью потока текстовой информации, в современных фактографических системах интенсивно развивается технология автоматического выделения фактов. Она позволяет в режиме квазиреального времени «поднять» ретроспективные фонды документов за десяток лет и получить актуальное «сырое» досье на новые объекты, что практически нереально при использовании экспертной технологии выделения фактов. В системе XFiles реализована функция сбора А-фактов из практически всех доступных типов открытых источников (Интернет, информационные агентства, корпоративные базы данных, информационные ресурсы офисных приложений и др.).

Кроме автоматического выделения фактов, XFiles предоставляет интерфейс для их ведения авторизованными пользователями (Э-факты), а также для последующей оценки достоверности фактов, их обобщения и формирования аналитических материалов. На рисунке 2 представлен пример фрагмента досье, заполненного А-фактом о названии головной структуры холдинга и уточняющим его Э-фактом.

Рисунок 2. Фрагмент досье объекта

Для установления связи между объектами системы необходима пара профильных атрибутов в связываемых объектах, например Атрибут 4 (см. рисунок 1). При наличии факта об определенном типе связи двух объектов в каждый профильный атрибут обоих объектов проставляется ссылка на viz-a-viz объект. Этот процесс может выполняться автоматически и экспертно. Если объекта-второго участника связи нет в базе данных, то, в зависимости от параметров системы, он может быть либо создан автоматически, либо гипертекстовая ссылка не создается.

Как отмечалось выше, в системе могут быть симметричные и асимметричные связи. Симметричная связь между двумя объектами X и Y создается автоматически путем установления в одном и том же атрибуте досье у каждого из объектов гиперссылки на второй объект. Например, для атрибута Дружественные отношения в досье Персоны для объекта Орлов может быть факт дружбы с объектом Петров. В этом случае, у объекта Петров появится симметричный факт и ссылка на объект Орлов в этом же атрибуте.
В случае асимметричной связи автоматическая репликация факта связи производится между различными атрибутами объектов. Например, при появлении факта кредитования одним объектом другого, для атрибута Сумма выданного кредита одного объекта активируемым будет атрибут Сумма взятого кредита другого. На рисунке 3 связи отображаются в виде дерева, а детальные данные выделенной строки-связи — в виде конкретных фактов.

Рисунок 3. Пример отображения связей в виде дерева

Технология формирования А-фактов

Автоматическое выделение фактографической информации — это процесс выделения фактов для тех пар (объект, атрибут досье), которые находятся в состоянии автоматического мониторинга. В зависимости от типа атрибута и источника информации процесс может быть выполнен различными методами: с применением инструментов контекстного поиска, синтаксического анализа, методов распознавания образов, методами статистического анализа и др.

Для реализации процесса автоматического выделения фактов в системе используются следующие программные компоненты:

Фактографический модуль — предназначен для автоматического выделения фактов из документов. Компонент может обрабатывать структурированный (числовые и символьные данные, пространственные данные из геоинформационных систем) и неструктурированный (видео, звук, текст) типы контента. Например, для текстового атрибута Покупка акций значением факта является фраза контрольный пакет акций, объектом связи — ОАО «ХХХ», свойством факта является обстоятельство времени: в январе 2006 года. Эти данные сохраняются в БД и используются для аналитической обработки, например, для автоматического выявления прямых, косвенных и транзитивных связей между объектами, а также для построения семантических сетей объектов;
Источник данных — это программный объект, доставляющий контент для их автоматической обработки фактографическим модулем;
Задача — программный компонент, управляющий регламентом и настройками процесса автоматического выделения фактов из текстов;
Агент запуска задач — это сервис, который управляет регламентом выполнения задач, производит их запуск и остановку. Агент определяет задачу, готовую к выполнению, фактографический модуль и источники документов, которые необходимо для этого использовать.

Для минимизации времени обработки потока документов используются контекстные фильтры, предварительно отделяющие потенциально «полезные» для выделения фактов документы. Они могут быть связаны с объектом мониторинга или атрибутами досье. Каждый атрибут досье может иметь также фактографические правила — правила, определяющие синтактико-морфологический шаблон, по которому выделяется факт и его атрибуты в тексте. Шаблоны строятся специальным модулем на основе обучающих примеров-предложений. На его вход подается предложение, содержащее факт для определенного атрибута, на выходе формируется шаблон факта для всех похожих предложений. На рисунке 4 представлен фрагмент накопленных А-фактов для атрибута Сведения о производственной деятельности.

Рисунок 4. Пример накопленных А-фактов для одного атрибута досье

Технология выделения А-фактов из текста основана на использовании специальных семантико-лингвистических методов, которые дают возможность получить точность и полноту А-фактов, сравнимую с экспертными. Вкратце суть метода обработки каждого документа заключается в следующем.

Сначала из документа строится дайджест объекта, который содержит все предложения документа, содержащие ссылки на объект. Дайджест должен учитывать кореферентные ссылки на объект в различных предложениях. Затем строится информационный портрет документа на основе синтаксического анализа и синтеза. Далее портрет преобразуется в семантическую сеть, обеспечивающую инвариантность описания смысла относительно лингвистического представления текста. Например, семантическая сеть позволяет абстрагироваться от малоинформативных элементов формально-синтаксической структуры текста (порядка слов, залога и т.п.) и представляет его пропозициональную структуру в терминах описываемых ситуаций (предикатов) и их участников (аргументов) в определенных семантических ролях. Будучи дополнен правилами для генерации канонической формы синтагм, синтаксический анализ-синтез позволяет описать каждый смысловой атрибут текста в виде строки, инвариантной к его грамматическому выражению в различных фразах.

В последней технологической фазе извлечения А-фактов движок фактографических правил на основе семантической сети дайджеста производит поиск шаблонов фактов и сохраняет структурированное описание выделенных фактов в базе данных системы. Хотелось бы ещё раз отметить, что выделенный факт — это не только контекст, а выделенные из него свойства.

В системе алгоритм выделения фактов из текстов наиболее глубоко проработан для русского языка, для большинства других языков могут использоваться источники документов (например, Oracle Intertext, Microsoft Content Management System, Hummingbird SearchServer, …), поддерживающие многоязычный поиск.

Технологии формирования досье

В условиях коллективной работы зачастую вводятся несколько фактов в один атрибут для одного объекта, после чего возникает необходимость экспертного оценивания достоверности введенных, возможно противоречивых, фактов. Для этого в БД досье хранится дополнительная информация, подтверждающая факты в форме:

цитат из документов;
прикрепленных к факту документов, почтовых сообщений, заключений экспертов и др.;
видеофрагментов и графических файлов.

Каждый факт в системе имеет статус достоверный или недостоверный. Эксперт, на основе дополнительной подтверждающей информации в базе данных, может принять решение об изменении статуса факта, либо его удалить (при этом факт остается некоторое время в корзине БД, из которой он может быть восстановлен).

В системе реализован трекинг фактов, т.е. след от источника, даты или автора факта. Для любого факта пользователи имеют возможность вводить и просматривать комментарии и фрагменты контента, а также сами информационные объекты.

Технология пакетного формирования досье весьма актуальна в компаниях, которые имеют распределенную систему офисов, каждый из которых может порождать информацию, например, о действиях конкурентов в их регионе. При этом рыночная политика формируется в центральном офисе на основании, в том числе, досье на конкурентов. Для разметки удаленно сформированных сообщений, содержащих новые факты об объектах мониторинга, используется XML-формат. Он удобен по нескольким причинам. Во-первых, состав атрибутов для каждого типа досье постоянно изменяется. Во-вторых, необходимо обеспечить возможность ввода новых типов досье. Наличие встроенных в шаблон средств контроля целостности документа позволяет передавать только правильные факты.

Аналитическая обработка фактов

В системах бизнес-разведки обычно реализованы следующие базовые виды аналитической обработки фактов:

построение исторической цепочки фактов для каждого атрибута досье объекта;
автоматическое порождение досье на появившиеся в связях новые объекты. В случае появления в факте нового объекта — участника связи по определенному атрибуту досье (например, конкуренты), по нему автоматически создается досье, и новый объект ставится на мониторинг;
автоматическое выявление прямых и нечетких связей объекта с другими объектами системы (связи через третий объект или по общим диапазону дат и обстоятельству места) (см. рисунок 6). При выявлении нечетких связей используются методы статистической фильтрации для устранения незначимых связей;
построение частотных распределений фактов в виде графика и таблицы. Визуальный интерфейс поддерживает механизм drill-down, просмотр фактов, формирующих ячейку частотного распределения (см. рисунок 5);
построение карты связей объектов для различных типов связей, визуализация и фильтрация связей по атрибутам и другим параметрам (см. рисунок 7, 8);
поиск оптимальных (в частности, кратчайших) связей между заданными объектами;
определение областей влияния объекта;
формирование групп объектов, связанных между собой общностью фактов (например, место, время, содержание факта);
поиск релевантных объектов и связей по контенту фактов; поиск объектов в базе данных по шаблону названия объекта и атрибутам содержащихся в них фактов;
поиск фактов по их атрибутам: значение, место, время, объекты связи;
сортировка фактов в досье по различным критериям (например, по месту, по объекту, по времени — свойствам факта).

Рисунок 5. Частотное распределение фактов

Рисунок 6. Типы связей объектов

Рисунок 7. Фрагмент типизированной сети связей объекта

Рисунок 8. Карта прямых связей объекта

Все виды аналитической обработки могут дополняться ограничениями на результаты: списки объектов и фактов, частотные распределения, карты связей и др., действующие на время всего сеанса пользователя (их можно также отключать). В зависимости от профиля предметной области аналитика, он может ограничить объем исследуемой информации при помощи фильтра. Фильтр накладывается на статус факта, на ссылочные объекты, на типы досье, на атрибуты, на место действия факта, на диапазоны времени действия и времени модификации факта, на рабочие группы, на пользователей, на приложения и на задачи (программы-агенты). Эта функция может использоваться и как инструмент разграничения доступа, и, самим пользователем, как возможность исследовать только релевантную информацию.

Рисунок 9. Визуальный интерфейс создания фильтра для пользователя

Система управления досье XFiles ориентирована на выявление смысловых объектовых групп (СОГ) или кластеров, т.е. групп, содержащих внутри себя наиболее тесно прямо или нечетко связанные объекты или факты. Связи могут относиться к различным атрибутам досье.

Примерами смысловой объектовой группы могут служить «политическая группировка» (люди, которых объединяют политические связи); «партнёры по бизнесу» (в один тип объединены атрибуты «покупка акций», «деятельность в бизнес-ассоциации», «должность в СЭД», «деятельность в СЭД»); «семья» (люди, объединённые родственными, интимными, личными связями), группа компаний, производящих медицинский препарат, и т.д.

Система управления досье «XFiles» позволяет решать следующие задачи:

поиск СОГ;
выделение типовых ситуаций (шаблонов) взаимосвязей.

Поиск СОГ производится автоматически. Система предоставляет пользователю интерфейс для выбора атрибутов, факты которых будут участвовать в формировании связей, а также интерфейс для указания критерия группировки объектов в СОГ. После этого автоматически строятся и отображаются списки объектов, входящих в СОГ, связи между ними (пользователю предоставляется механизм указания весов связей).

Выявление типовых ситуаций происходит следующим образом. Система предоставляет пользователю интерфейс описания модели ситуации в виде графа на карте типизированных связей фактов или объектов. Модель ситуации характеризуется:

ограничениями на типы объектов, являющихся вершинами графа;
ограничениями на значения фактов, которыми характеризуется объект (например «Должность в СЭД» — финансовый директор);
ограничениями на типы атрибутов связей;
ограничениями на статистические характеристики фактов, лежащих в основе связи (например, частоту либо суммарное количество встреч).

Например, аналитик задаёт описание типовой ситуации: недавно (не позднее месяца от вводимой пользователем даты) имело место поглощение бизнеса одной компании другой, например, с иностранным капиталом. Выбор необходимых атрибутов происходит аналогично механизму фильтрации. Пользователю предоставляется интерфейс, где он выбирает нужные элементы модели. Если в прошлом происходила аналогичная ситуация, и было выявлено, что «тайным менеджером» ситуации являлась связанная с поглотителем рейдерская компания, то система позволит такой же вывод сделать и на этот раз.

Профили пользователей системы

Различные пользователи могут иметь доступ к различным объектам, досье и выполнять в системе различные функции. Пользователи объединяются в рабочие группы, которые имеют доступ к заданному множеству объектов и заданному множеству типов досье. Один пользователь может входить в различные рабочие группы с разными полномочиями.

В каждой рабочей группе для пользователей допустимы различные уровни полномочий:

Администраторы — имеют возможность редактировать справочники типов досье, объектов и атрибутов, заполнять и просматривать досье;
Редакторы — имеют возможность редактировать и просматривать досье;
Пользователи — имеют возможность только просматривать досье и выполнять разрешённые виды аналитической обработки фактов.

Ведение профилей производится с использованием сервисов безопасности операционной системы сервера XFiles.

Заключение

В настоящее время без использования специальных систем аналитической разведки, извлечение конкретных фактов и их аналитическая обработка требуют от компании неприемлемо большого количества ресурсов. Заполняющая эту нишу система XFiles относится к системам извлечения знаний и используется для решения задач наблюдения, подготовки и принятия решений. Растущая популярность этого класса информационных систем объясняется возможностью интеграции знаний, накапливаемых экспертами и программами-автоматами. Этим достигается важное сочетание возможностей автоматического сбора большого числа относительно «сырых» фактов из различных источников, их экспертной оценки и информационной поддержки принятия адекватных решений. Компании, использующие системы бизнес- и аналитической разведки, получают качественно новые преимущества в конкурентном бизнесе, обеспечивают его безопасность и развитие.

Управление знаниями

Бизнес-разведка: факты, объекты, связи.

Автор: Сергей Леонидович Киселев, к.т.н. | Источник: предоставлено автором для it2b, it2b.ru

Система корпоративной безопасности компании является важнейшим инструментом управления предпринимательскими рисками. Задачи этой системы заключаются не столько в сборе, обработке, оценке и накоплении данных, сколько в их информационном анализе и синтезе управляющих воздействий. Её основой является подсистема бизнес-разведки (business intelligence). Термин бизнес-разведка определяется как «широкая категория технологий, связанных со сбором, хранением, анализом и обеспечением доступа к информации с целью принятия оптимальных деловых решений».

Методы ведения бизнес-разведки весьма близки к используемым в традиционной разведывательной деятельности. Сначала определяются требования к параметрам возможных объектов — источников угроз для планирования и организации поисковой работы. Затем рассматриваются возможные источники информации для проведения бизнес-разведки (как правило, используются несколько альтернативных источников или доверенные источники информации). Разрабатывается модель системы угроз и система управляющих воздействий при их обнаружении. На этой основе разрабатывается методика проведения бизнес-разведки, а также её технология. В настоящее время бизнес-разведка невозможна без использования специализированных информационных технологий. Фирмы, занимающиеся бизнес-разведкой, в своей работе используют информацию, получаемую из масс-медиа, внутрифирменных, банковских, правительственных отчетов, а также прогнозных исследований.

постоянно отслеживать и анализировать новую информацию, имеющую отношение к бизнесу конкурентов;
организовать постоянный поток автоматически выделяемой информации о действиях конкурента (таких как: ценовая политика, слияния и поглощения, рекламные объявления и анонсы, отзывы об их изделиях);
раскрывать планы конкурента;
проводить изучение потенциального спроса на продукцию и услуги;
изучать реакцию рынка на отдельные свойства товаров и услуг, например, с помощью анализа тональности публикаций об этих объектах.

Естественно, эти системы используются также в других областях деятельности: в профессиональной разведке, в деятельности правоохранительных органов, медицине, банковской сфере, страховании и др.

Приведем несколько типичных примеров использования информационных систем бизнес-разведки.

В процессе изучения фигуранта при формировании дела, описание его поступков может быть получено из различных источников: из отчетов участковых, из протоколов, из оперативных донесений, из агентурных сообщений и др. Зачастую эти документы хранятся в различных фондах. У объекта может быть большое количество контактов, как прямых, так и предполагаемых по косвенным признакам. Учетная информация об объекте может храниться в различных базах данных. Получение всей этой информации очень трудоемко. Для этого используется специализированная система автоматического выделения фактов, связей и ведения дел.

При проведении выборных кампаний зачастую кандидаты из открытых источников собирают факты о конкурентах и их окружении. Обычно для этого используются поисковые системы. Ареал выделяемых персон включает обычно более 50 человек. Объем выделяемой информации составляет сотни страниц. Ценность извлеченных фактов весьма невысока, поскольку экспертная технология не позволяет совместно проанализировать большое число фактов. В этих случаях технология выделения а-фактов используется для накопления первоначальных досье объектов, используя ретро фонды открытой информации и Интернет.

Для мониторинга мнения потребителей о качестве производимой объектами или конкурентами продукции в настоящее время используются методы периодических опросов, либо экспертная обработка сообщений из Интернет. Поскольку в Интернет индексируется незначительная часть объема страниц, экспертный поиск нужных фактов представляет собой очень трудоемкую задачу. Существенно дешевле и точнее для этих задач использовать технологии активной доставки новых фактов с помощью специализированных программ-агентов.

При изучении клиентов банками, страховыми компаниями, из различных источников: регистрационных учетов, финансовых отчетов, налоговых деклараций, баз данных зарегистрированной собственности и транспортных средств, СМИ, оперативных источников и из аналитических систем собираются факты в досье с целью минимизации рисков.

В статье обсуждаются концептуальная и базовая информационные модели информационных систем бизнес-разведки, которые иллюстрируются на примерах возможностей системы XFiles 2004, разработанной интеграционно-инжиниринговой компанией «Белый ветер» и используемой рядом организаций.

Концепция информационных систем бизнес-разведки предполагает реализацию трех принципов:
1. единое информационное пространство взаимосвязанных фактов или гипотез независимо от типа их контента (содержимого источников информации);
2. связь фактов или гипотез с релевантными источниками информации (аргументированность фактов и гипотез);
3. исторически-пространственная информационная модель базы данных фактов и гипотез. Это означает наличие атрибутов времени и места для каждого факта или гипотезы, а также невозможность их безвозвратного удаления.

Реализация этой концепции связана с решением ряда проблем преобразования различных форм представления знаний. Проиллюстрирую одну из них. В чем основная причина относительно малого объема рынка систем извлечения знаний и систем поддержки принятия решений? В том, что на сегодня, практически ни одна система аналитической обработки различного типа контента не производит формально-семантическую интерпретацию результатов своей работы (хотя бы за счёт семантического шкалирования результата), что не позволяет без дополнительных программных компонентов преодолеть понятийный разрыв между результатами работы систем типа Knowledge Discovery и Data Mining и входом систем поддержки принятия решений. Этот разрыв «сшивается» за счет интерпретации результатов работы программ экспертом-аналитиком для лица, принимающего решение.

Такая технология приводит к тому, что добытые знания «упрятываются» в документы, теряется их аргументация, они не могут быть повторно получены. В большинстве корпораций каждый новый аналитик проходит весь путь накопления профильных знаний заново, прежде чем он сможет стать экспертом. Собранные факты «находятся в умах» экспертов, хранятся в различных документах или базах данных. Это не позволяет совместно анализировать разрозненные факты и объединять их в единое информационное пространство фактографической информации, что ведет к потере ценности разведанной информации и вложенных в её разведку средств.

Чтобы избежать этого, для управления пространством фактов в информационных системах бизнес-разведки используется подсистема обработки фактографической информации. На её входе из различных источников выделяется не только поток информации об изучаемых объектах в форме количественных показателей, видеоклипов, документов (информационных сообщений), но и выделенный из них поток знаний (т.е. аналитически обработанная, классифицированная и очищенная информация), основной формой представления которых являются факты и гипотезы. Естественно, факты проходят процедуры очистки, интеграции и другие стандартные процедуры управления единым информационным пространством фактов (ЕИПФ). Эта система находится на вершине иерархии информационной инфраструктуры компании, поскольку для генерации фактов использует сервисы различных систем анализа и доставки контента. С помощью своих программ извлечения знаний они извлекают факты или порождают гипотезы (или сигнальную информацию) из СУБД, хранилищ многомерных данных, Интернет, подсистем аналитической обработки и моделирования, прикладных систем.

Природа множественности значений факта субъективно обусловлена возможностью различной интерпретации одного явления, а также противоречивостью, неточностью или нечеткостью поступающей из внешних источников информации. Поэтому инфологическими особенностями информационной модели ЕИПФ являются: поддержка множественных фактов об одном событии; наличие у факта атрибутов для его трекинга (идентификации автора, времени, источника факта) для его возможного повторного извлечения; поддержка множественных версий интерпретации фактов.

Перейдем к рассмотрению реализации концепции систем бизнес-разведки в системе управления фактографической информацией XFiles 2004, созданной с использованием программных компонентов нескольких фирм, среди которых: Hummingbird, Oracle, Гарант-Парк-Интернет, Inxight, ABBYY Software House и Altova.

Информационная модель системы

Кратко остановимся на основных понятиях информационной модели системы.

Факт — событие (как правило, зафиксированное и произошедшее), сопровождаемое временной и географической метками. Факт сопровождается также аргументирующей информацией, ссылками на источники и др. Факт может быть извлечен из текста документов, либо определен экспертом. Факт может определять как свойства объекта, так и его связь с другими объектами.

Гипотеза — аналитическое высказывание (полученное не из внешнего источника данных, например, из статьи СМИ, а в результате аналитической обработки данных, например, прогнозирования) относительно состояния атрибута досье, сопровождаемое также аргументирующей информацией, ссылками на источники и др. Гипотеза может порождаться различными подсистемами извлечения знаний или экспертами;

Объект — это сущность, факты относительно которой накапливаются в системе. Объект имеет семантический фильтр для самоидентификации в тексте.

Тип досье — описание проблемной области, представленное в виде иерархии атрибутов. Для каждого объекта должен быть определен, по крайней мере, один тип досье.

Досье — реализация типа досье для конкретного объекта.

Атрибут — это структурный элемент типа досье, предназначенный для накопления фактов одного типа. Например, биографических данных, сведений о поездках и др. Атрибут имеет семантический фильтр для выделения «своих» фактов из потока документов. Один атрибут может входить в несколько типов досье.

Связь — это направленное или ассоциативное отношение определенного типа между объектами системы. Связь представляется специальным типом атрибута в каждом досье связываемых объектов.

Поскольку предметная область зачастую довольно обширна, целесообразно использование нескольких досье для одного объекта. Например, одно досье может отражать бизнес-деятельность объекта, второе — его личную собственность, третье — медицинские данные, и другие. Такой подход дает возможность различным группам аналитиков «чувствовать» только профильную для них группу атрибутов. Однако, лицо, принимающее решение, может анализировать все досье объекта и все его связи.

Рисунок 1 — Пример фрагмента информационной модели системы

Концептуальной моделью единого информационного пространства фактов системы XFiles 2004 является расширенная ER модель (модель «сущность-связи» (Entity-Relationship model)) для поддержания исторической и пространственной модели предметной области (объектов, их атрибутов и связей). Она позволяет получить состояние базы данных фактов на любой момент времени. Актуализация базы данных досье производится путем ввода в неё новых фактов, каждый из которых определяется высказыванием вида:

Факт ::= {Идентификатор факта, значение факта, временной диапазон действия факта, место [, источник факта][, оператор][, статус факта]}
Идентификатор факта ::= {Идентификатор объекта. Идентификатор элемента досье}
Идентификатор элемента досье ::= {[Идентификатор атрибута] [, Идентификатор связи]}
…