论文

数据分析

Posted by gxkyrftx on April 8, 2020

1.论文

北邮——基于流量检测的用户异常行为识别机制

两个点:局域网汇聚节点的异常行为识别,流量异常检测

1586497806022

1.1 流量异常检测

主要技术:

  • 训练历史数据来建立流量异常模式,分析实时流量是否与异常模式相匹配——数据挖掘
  • 观察预先定义的网络流量异常指标是否在时间域上超出了正常的范围来判定异常的发生——统计分析
  • 对基于时域的流量特征参数进行频域变换可以发现频域中异常的信号——信号处理

1.2 异常行为识别技术

  • 基于端口的识别方法
  • 基于DPI(深度包,详细解包)/DFI(深度流,会话连接速率,传输间隔)的识别方法
  • 基于机器学习的识别方法

1.3 论文创新点

基于汇聚节点的特征和预先设定的机制总体目标

1.3.1 流量异常检测

1586497862296

为了消除熵值的趋势性变化,方便计算熵值变化程度,保证在检测熵值突变时的准确性,需对熵值序列进行一阶差分处理

统计发现,源地址、目的地址、源端口和目的端口的一阶差分熵值的分布近似符合正态分布的特征,故设置两级动态阈值:超过一级(3倍标准差)定义为明显异常点,一二(两倍标准差)之间非明显异常的时间点,继续通过基于线性关系的方法进行检测。

对正常情况下大量历史流量的源地址熵值和目的地址熵值、源端口熵值和目的端口熵值分别进行了一元线性回归的建模,发现:

  • 源地址熵值随目的地址熵值的增大而増大,可拟合为一条斜率为正的直线,具有正线性关系
  • 源端口熵值随目的端口熵值的增大而减小,可拟合为一条斜率为负的直线,具有负线性关系

时间点的熵值实际值与根据线性表达式得出的计算值之间的差异超过所设定的阈值范围判断出现异常流

基于熵和线性关系的流量异常检测算法:为了确定异常发生的时间点和异常类型

1.3.2 行为异常检测

1586497906318

基于行为相似性的用户异常行为识别算法:用户异常行为使用端口号的关联性

用户的一次行为:使用一条流量中的用户端端口号和服务端端口号共同标识用户的一次行为

同一用户不同行为的关联性:同一用户不同标识的行为间使用的用户端端口号不同而服务端端口号相同

行为相似性度量因素:将用户间相关联网络行为比例差异作为衡量行为相似性的关键度量指标。

同一前缀可以聚合,用户行为相似度高,例如图书馆,宿舍,将汇聚节点的流量按照网络前缀划分为不同的聚合流,对同一聚合流内的用户进行行为相似性分析。

将用户行为相似度根据计算公式,赋值与0-1之间,然后形成矩阵,然后为了直观变为灰度矩阵

K-means聚类

2.OpenRASP

在web端进行应用自我保护技术(RASP),百度安全团队

  • 使用RASP技术(应用运行时自我保护),抛弃了传统防火墙依赖请求特征检测攻击的模式,
  • 直接注入到被保护应用的服务中提供函数级别的实时防护
  • 可以在不更新策略以及不升级被保护应用代码的情况下检测/防护未知漏洞
  • 适合大量使用开源组件的互联网应用以及使用第三方集成商开发的金融类应用。

2.1 支持的功能

  1. web攻击检测:包含sql注入、命令注入、xss、敏感文件下载、任意文件读取、xxe、反序列化(fastjson等)、Struts OGNL 代码执行、ssrf、敏感日志打印等。另外还集成了一些 CVE 的检测。
  2. 服务器安全检查:关键 Cookie 是否开启 HttpOnly(Tomcat)、进程启动账号检查、后台密强度检查(Tomcat)、不安全的默认应用检查(Tomcat)、Directory Listing 检查(Tomcat)、数据库连接账号审计 (jdbc)
  3. 应用加固:当应用收到请求,会通过输出响应头的方式,实现对应用的加固。
  4. openrasp-IAST 灰盒扫描:openrasp-IAST 作为 openrasp 的一个插件集成到 openrasp 中,采用被动扫描的方式,java 探针在请求结束后会将本次请求参数、hook 点信息提交给服务端进行分析并选择性的 fuzz 目标。openrasp 会根据 hook 点信息精确检测漏洞。

2.2 RASP原理

​ 在 Java 技术栈下,RASP 引擎以 javaagent 的形式实现,并运⾏在 JVM 之上。在应⽤服务器启动的时候,RASP 引擎借助 JVM 自身提供的 instrumentation 技术,通过替换字节码的方式对关键类⽅法进行挂钩。以 OpenRASP 为例,挂钩了 SQL 查询、文件读写、反序列化对象、命令执⾏等关键操作。

2.3 openrasp-IAST技术原理

​ IAST(交互式扫描)技术是一种实时动态交互的漏洞检测技术,通过在服务端部署 agent 程序,收集、监控 Web 应用程序运行时函数执行、数据传输,并与扫描器端进行实时交互,高效、准确的识别安全缺陷及漏洞。

​ OpenRASP 项目已实现相当于 IAST agent端的 OpenRASP agent,在此基础上引入一个扫描端,即可实现一个完整的 IAST 扫描工具。

3.问题

顶会

开源工具,数据

数据中心,已经用的方法有什么?

问题域相关,然后放到自己的领域

unb.ca/cic/datasets


本文访问量: