Система сбора и анализа информации из различных источников в условиях Big Data
Исследована задача построения архитектуры и методов поиска признаков инсайдерской деятельности в условиях процессно-реального времени. Задача решена в следующих условиях. Источником «сырых» данных является Big Data, из которых выбираются данные, релевантные признакам инсайдерской активности, в соответствии с текущим перечнем угроз. Поиск ведется по большому множеству пользователей. В этих условиях построен алгоритм, преодолевающий барьер сложности в поиске релевантных данных. Важным осложнением задачи являются условия «открытости» данных. Условие «открытости» данных предполагает постоянное обновление данных. В понятие «открытости» также входит изменение признаков враждебной деятельности инсайдеров. При этом могут динамически изменяться и условия поиска. Построенная архитектура является двухуровневой. Первый уровень содержит данные, собранные из различных баз «сырых» данных, и релевантные текущему перечню угроз. Второй уровень связан с максимальной доступностью организованных на первом уровне данных для проведения анализа с участием экспертов - оперативных работников. Приведено научное обоснование корректности и эффективности задействованных при реализации этого программного комплекса математических моделей и алгоритмов интеллектуального анализа больших данных. Построенные решения показали свою работоспособность в промышленном варианте решения задачи.