系统旨在设计和实现一套IP网络流量资源共享系统,为更多网络研究人员和设备厂商提供原始网络流量数据.系统的主要功能包括:

1)网络流量数据捕获和存储,实现基于千兆网卡的真实网络流量线速捕获存储,流量捕获可以根据用户的需求使用不同的匿名化算法对IP数据包的不同部分进行在线匿名化后以pcap的格式按照一定的存储方式进行存储,在捕获流量过程中提供协议分析识别、数据流量包统计、数据包按照指定规则过滤和流量实时分析等功能.

2)IP流数据匿名化,系统能对流数据中可能涉及网络用户隐私的信息进行匿名化处理,其中对网络流量数据包中IP地址匿名化是系统的核心.另外系统将对数据包的不同部分内容采用不同的匿名化方法进行处理,匿名化后的数据包的内容在保持原有数据包可研究性的基础上最大程度保证用户数据的完整性、一致性、安全性,数据包匿名化后将具有不可逆性,但流量数据仍具有原始数据包的研究价值.

3)网络流量资源共享平台C/S系统框架,客户端提供可视化的用户交互界面,负责对系统中采集到的流量资源查询,流量资源采集、匿名化、导出的可视化配置、管理以及状态查询,服务器端提供对流量数据包的捕获、存储以及匿名化等操作.

系统采用客户端—服务器(CS)的逻辑框架,如图1,服务器端运行在linux操作系统环境下,系统按照功能划分为流量捕获存储和流量匿名化两个子系统,服务器后端挂接海量流量存储设备以及流量管理数据库.系统客户端运行在Windows操作系统环境,包括系统运行过程信息及结果的图形化显示模块和系统的通讯控制模块.

图1 IP网络流量资源共享系统

客户端-服务器逻辑架构图

系统的功能分解及数据流图如图2.用户通过客户端对系统下发捕获和匿名化命令.通过客户端对整个捕获过程进行设置后,系统通过千兆网卡从实际网络中捕获流量,捕获过程支持在线流量匿名化或者存储原始网络流量,捕获到的流量按照pcap的格式存储到磁盘RAID阵列中.捕获的过程中将流量捕获过程的流速信息、数据包信息、协议类型信息、匿名化方法等实时地发送给客户端进行图形化显示,并存入到后台Mysql数据库中.捕获完成后在客户端显示捕获到流量的信息,包括流量信息名称、捕获开始结束时间、流量大小、数据包个数、匿名化算法等,对于没有匿名化的数据可以通过客户端下发匿名化命令进行离线匿名化,匿名化后的流量数据可以进行远程拷贝到Window系统的磁盘目录下,根据系统功能分解以及流程将系统分为了3个子系统,分别为通讯控制子系统、网络流量捕获存储子系统以及网络流量匿名化子系统.

图2 IP网络流量资源共享系统功能分解和数据流图

系统使用Unix平台下开源的Libpcap库为基础进行流量的捕获,大多数网络监控软件都以它为基础,如tcpdump.

Libpcap的API是单线程的,单线程实现千兆以太网卡网络流量的线速捕获和存储有很大的难度,现代计算机技术多核处理器的出现为基于通用CPU平台实现高速业务流量监测分析带来了新的机遇,多线程可以充分发挥多核、多CPU计算平台的计算能力.系统需要设计实现一套基于Libpcap库的多线程网络流量捕获程序^[8-10].

使用Libpcap库采集网络流量的过程具体分为两个阶段:① 是通过Libpcap库提供的接口对网卡上的数据包进行读取,获取数据包的基本信息以及数据包的起始指针; ② 是根据获取到的数据包信息将数据包的内容写入到存储系统当中.其中,第1个阶段读取数据包的时候采用的是Libpcap提供的API,只能进行单线程的操作,但是在将数据包写入到存储系统中的时候我们可以使用多线程进行写入操作,充分利用多核、多CPU的计算能力^[11].具体的系统结构图如图5.

图5 基于Libpcap库的多线程流量采集方案

在多线程并行写入存储的过程中的中同时引入了环形循环缓存^[12-13].对于每个队列都分配有一定量大小的环形循环缓存,捕获线程将数据循环写入环形循环缓存,而存储线程从环形循环缓存中读取数据写入硬盘,存储线程每次都需要等到环型循环缓存中的数据达到一定大小之后才写入磁盘,这样就避免了小数据量的频繁写入导致的高CPU和磁盘占用率,有效的提高了系统资源利用率.使用环形循环缓存又引出一个问题,就是捕获线程和存储线程要共享同一片内存区域,怎么样协调好存储线程的读取和捕获线程的写入就是环形循环缓存的设计和实现的难点.

环形循环缓存在内存中表现的形式就是一段连续的大小为N×M的区域.其中, N为内存块的个数(BUFF_NUM); M为内存块的大小(BUFF_SIZE). N和M的值可根据系统的内存资源以及系统的负载做出调整.在本研究使用系统中, N设置为8, M设置为64 Mbyte.4个队列总共就是2 Gbyte的内存,比较32 Gbyte的系统内存,完全在系统资源可分配范围内.

环形循环缓存在初始化的时候设置所有内存块的标志为空,表示可以写入.捕获线程在写入数据包时,按照内存块的编号0→1→2→3→4→5→6→7→0依次写入,循环进行.所有内存块表现为首尾相接的一个环形内存空间,如图6.每写满一个内存块,标记此内存块为满,表示该内存块不可写入,只可读取,捕获线程指向下一个内存块,如果指向的下一个将要写入的内存块标志为满,那么说明环形循环缓存已经溢出,将会启动磁盘缓冲机制.

图6 环形循环缓存

存储线程也是按照内存块的编号0→1→2→3→4→5→6→7→0依次读取数据包,也是循环进行.当存储线程指向的内存块标志为空时,说明还没有可以读取的数据,那么存储线程就会挂起等待所指向的内存块为满.当指向的内存块标志为满时,存储线程会读取其中的数据包写入到流量文件之中,将该内存块中的内容全部写入流量文件后标记此内存块为空,存储线程循环指向下一个内存块.

对于系统需要满足的千兆以太网卡下限速真实网络流量的捕获和存储以及系统需要支持15 Tbyte以上的网路流量存储要求,系统使用8块7 200 r/s的2 Tbyte大下的 SATA硬盘以及2块15 000 r/s的450 Gbyte大小的SAS硬盘来构成我们的硬件RAID存储系统.

具体组织方式为2块15 000 r/s转速450 Gbyte的SAS硬盘使用RAID1形成系统盘.RAID1方式使两块硬盘互为镜像,当一块硬盘出现问题的时候可以方便的进行“热替换”,即对阵列中的损坏的盘可以在系统运行的时候进行移除或者替换,更换完毕只要从镜像盘上恢复数据即可.这种硬盘模式的保证了系统的高安全性以及系统的稳定性.8块7 200 r/s转速2 Tbyte的SATA硬盘,每2块硬盘进行RAID0形成一个逻辑硬盘对应网卡分流的1个队列.RAID0实现了带区组,RAID0连续分割数据并并行地读/写于多个磁盘上,数据并不是保存在一个硬盘上,而是分成数据块保存在不同硬盘上,因此具有很高的数据传输率,硬盘的负载也比较平衡.经测试每组4块硬盘形成的逻辑磁盘写入速度达到了80 Mbyte/s.4×80 Mbyte/s=320 Mbyte/s=2.56 Gbps,完全满足千兆网卡限速流量存储写入的速度要求.

系统需要支持高达15 Tbyte以上的容量存储,那么一次捕获的网络流量最大将会达到Tbyte的数量级.这么大的网络流量肯定不能存储在单一的文件之中.因为单一的大文件使用极不方便.不便于后续对流量的并行处理,非常影响性能.为了解决单一文件存储使用不方便、无法并行处理的问题,本系统设计采用一种文件矩阵的方式对采集到的流量进行组织存储,流量文件根据存储线程分流后队列的不同保存在不同的数据盘中,对每个队列中的流量而言,依据数据包的到达的先后顺序依次保存在大约1 Gbyte的文件中.如图7的文件矩阵存储结构,其中,逻辑磁盘号显示了相应队列,文件的标号显示了流量到达的时间.

图7 文件矩阵存储格式

流量文件的大小为非准确的1 Gbyte,因为数据包的大小是不定的,如果强行使流量文件为固定的大小就会产生数据包的截断问题.在后续对流量文件的处理和使用上会非常麻烦.所以在实际捕获过程中在一个流量文件写入即将要超过1 Gbyte时,就停止向此流量文件写入数据包,新建下一个流量文件继续写入.

TCPdpriv是一种前缀保留的匿名化算法,因其设计思路简单而成为应用最多的保留前缀匿名化方法一直,它把统一会话流IP数据报文具有相同前缀的IP地址映射到具有伪前缀的匿名IP地址上,TCPdpriv在具体实现的过程中了使用了IP地址转换表,在IP地址转换表中存储IP数据对(原地址,匿名地址).IP地址a=a₁, a₂, a₃, …, a_n, 匿名化后的地址用a'表示; IP地址b=b₁, b₂, b₃, …, b_n, 匿名化后的地址用b'表示.当IP地址a需要被映射时,具体步骤为:

1)若在IP地址转换表中查找原地址与a相同的IP地址对,如果查找到已经存在IP地址对(b, b'), 且a=b,那么, a地址的匿名化地址即为b'; 如果没有查找到相对应的IP地址对,则转向步骤2);

2)若在IP地址转换表中查找到与a具有最长相同前缀的IP地址对(b, b'), 原地址b与a具有最长相同前缀(n比特位), 那么原地址a的匿名化后的地址a'前n比特位应与原地址b匿名化后的地址b'相同, a'的后32-n比特位的值使用伪随机函数rand()生成.然后,将新的IP地址对(a, a')插入到IP地址转换表中;

3)若没有查找到任何IP地址对的原地址与a具有相同前缀,使用伪随机函数rand()生成新的32位的比特串a'作为a匿名化后的IP地址,其中a'不能与原IP地址对中的匿名化地址共享任何长度的前缀,然后将新的IP地址对(a, a')插入到IP地址转换表中.

以此类推,由于rand()函数产生的是随机数,因此所有经上述步骤匿名化的结果与lP地址在IP数据流中第1次出现的位置以及地址转换表中的相关记录结果有关.此外,TCPdpriv算法还可以保留IP地址原有的地址类型,实现非常简便.所有地址只要地址类型标志位不进行随机转换就能实现,TCPdpriv算法还可以保留私有地址不进行转换.

Crypto-PAn是一种基于密码学算法的匿名化前缀保留算法,其主要应用于IP地址的匿名化.Crypto-PAn算法的主要思想是使用密码学加密的方法依次计算出匿名化地址的各个比特位,从而实现地址的保留前缀匿名化.假设IP地址a=a₁,a₂,a₃,…,a_n, 匿名化后的结果为a'=a₁',a₂',a₃',…,a_n',则具体使用Crypto-PAn算法实现的具体过程如下:

1)根据匿名化前缀保留算法可知匿名化后的每一比特位

a_i'=a_if_i-1(a₁,a₂,…,a_i-1)

(i=1,2,…n)(1)

其中, f_i为{0,1}ⁱ到{0,1}的函数; f₀为一个常值函数.Crypto-PAn的函数 f_i可表示为

f_i(a₁,a₂,…,a_i):=

L(R(P(a₁,a₂,…,a_i-1),key))(2)

其中, L为最高位比特; R为伪随机函数分组加密算法Rijndael; P为填充函数,用于把a₁,a₂,…,a_i扩展成为一个符合R的分组长度的地址串; K为用于伪随机函数R的加密密钥.

2)根据上述定义,匿名化后地址的各个比特位由该比特位以及原比特位以及其前缀比特位共同确定具体步骤为:先通过基于密码学机密算法的伪随机函数对前缀比特位做随机化处理,然后将随机化处理得到的值与原地址的该比特位进行异或运算,最后依次求出匿名化地址的各个比特位,得到匿名化后的地址.

3)上述匿名化处理过程中由于采用相同的加密密钥,因此具有相同前缀的IP地址使用伪随机匿名化后得到的匿名化地址依然保持相同的前缀,同一IP地址在整个IP数据流中匿名化后的结果同样唯一,使用Crypto-PAn得到的匿名化地址具有前缀保持的特性.

使用Crpto-PAn对IP地址进行匿名化也可用二叉树表达,被匿名化的原地址序列空间用一颗完整的二叉树表示,使用Crpto-PAn对函数进行匿名化处理可以看做是在原地址二叉树的某些节点上进行翻转,其中, f_i(a₁,a₂,…,a_i)是匿名化树中相应的节点的翻转函数,如果f_i(a₁,a₂,…,a_i)=0, 则该节点对应的原地址树节点不变,如果f_i(a₁,a₂,…,a_i)=1, 则该节点对应的原地址树节点取反.如图8为原地址树,图9为匿名化二叉树,为方便表达,只画出树的前4 bit,黑色节点表示原地址在该节点的翻转.

图8 原地址二叉树

图9 匿名化地址二叉树

Rijndael分组长度长度均可独立设定为32 bit的任意倍数,最小应该128 bit,最大应为256 bit,具体的匿名化过程先是对匿名串进行加密处理,然后用加密后的填充串作为真正的填充串.给定某一个IP地址,依次取其前0,1,2,…,32 bit前缀,用填充串将其扩展为128 bit,然后分别对其加密处理,各得到128 bit的密文,取128 bit密文的第一个bit位,按照bit位由高到底的顺序依次得到32 bit位的匿名化树节点序列,翻转的节点用黑色节点“1”表示,不翻转的节点用空心的节点“0”表示.将原地址的32 bit位与得到的32 bit位序列按照异或操作处理就能到了匿名化后的IP地址序列b, 如图 10为具体的地址匿名化过程.

图 10 匿名化过程

对每个地址匿名化后的节点进行计算,相当于在原地址二叉树上进行节点的翻转操作,最终得到了匿名化后的地址二叉树.