CAO Li,LI Xin,DU Lianhua,et al.Applying bigdata technology for campus wireless network optimization[J].Journal of Shenzhen University Science and Engineering,2020,37(Suppl.1):200-206.[doi:10.3724/SP.J.1249.2020.99200]
1)内蒙古医科大学,内蒙古呼和浩特 010110; 2)南京云利来软件科技,江苏南京210002
1)Inner Mongolia Medical University, Hohhot 010110, Inner Mongolia Autonomous Region, P.R.China2)Nanjing Yunlilai Software Technology, Nanjing 210002, Jiangsu Province, P.R.China
network optimization; big data analysis; log analysis; parallel computation; tprotocol analysis; metadata
DOI: 10.3724/SP.J.1249.2020.99200
备注
介绍了用大数据分析技术解决校园无线网络优化的问题.通过整合日志和流量两种数据源,对网络设备状态和网络2~7层协议进行全方位的数据采集和分析.这种基于全流量的大数据分析技术克服了过去数据分散而导致分析难的弱点, 为无线网络优化提供了一个新的解决问题的思路.无线接入点(access point, AP)是无线网络的边缘设备, 其布局和通讯质量对无线网络通讯起到了决定性作用,能否通过对其日志和流量的分析得出AP的使用情况是优化的关键.通过并行计算模型,计算出AP的各层协议流量.研究结果将为无线网络布局、设备选型、系统扩容和故障诊断提供更好的解决方案.
This article introduces the use of big data analysis technology to solve the problem of campus wireless network optimization. By integrating two data sources: logs and traffic, a full range of data collection and analysis is carried out on the status of network equipment and the second to seventh layer of the network protocol. The analytics is based on the per-flow big data analysis technology and overcomes the weakness of the past analytics due to the data with scattered nature, and provides a new problem-solving idea for wireless network optimization. The wireless access point(AP)is the edge device of the wireless network. Its layout and communication quality play a decisive role in wireless network communication. Whether the effective usage of AP can be obtained by analyzing its log and traffic is the key to optimization. This research focuses on calculating the network traffic of each protocol layer of AP through a parallel computing model. The research results will provide better solutions for wireless network layout, equipment selection, system expansion, and fault diagnosis.
引言
随着移动互联网技术的快速发展,中国多数高校已完成无线网络全覆盖工作, 支持了各种无线网络终端,如笔记本、平板电脑、智能手机和智能设备的广泛使用. 校园网的无线上网流量呈爆炸式增长. 笔者所在高校,学生宿舍与办公区已实现无线全覆盖, 包括所有教学楼、行政楼、体育设施及学校各个附属医院.无线接入日志每天大于7百万条,流量约33 Tbyte,峰值流量高达7 Gbps. 大学校园无线网络带来无线设备使用便捷性的同时也要求有更高的网络服务质量.如何优化校园无线网络是一个大家迫切关心的问题,校园无线网也存在着重建设、轻管理和网络优化技术跟不上IT发展大趋势等隐患.
利用大数据分析技术来管理和优化无线网络是业界关注的研究问题[1].网络上的数据源一般有两种:网络设备的日志和网络中的流量,如无线接入点(wireless access point)日志主要包含移动设备的MAC地址、被分配的IP地址和上下线时间等信息. 流量数据是指网络协议信息,如Ethernet、IP、TCP、UDP和HTTP等2~7层协议的信息.
HENDERSON[2]通过对校园无线网的日志研究寻找无线流量应用的发展趋势.BABAK[3]通过结合Netflow流量数据和设备登录日志, 检查影响WLAN网络性能的因素.通过对AP(access point)的日志分析,可以得到校园人群分布和人群移动等信息,这些信息可以成为智慧校园规划的重要参考[4]. 通过流量和日志数据的结合,在大数据下还可以对移动互联网的用户行为进行画像[5]. 本研究重点是校园无线网本身的优化问题.通过大数据分析技术来分析AP的日志和流量,为无线网络优化提供强有力的技术支撑手段,为解决网络优化和运维提供更有效的技术支持.
在新冠疫情期间,内蒙古医科大学于2020年5月份所有年级学生全面返校,内蒙古医科大学是内蒙古地区唯一全面返校复课的高等院校.大量的网络直播课程对网络要求比较高.这期间促进了网络教育的发展,同样对于校园无线网络服务提出了更高的要求.疫情期间校园网络一天(2020- 05-10)流量情况如图 1.其中,纵坐标单位为Tbyte,按照每小时计算得出.
1 研究问题
AP是无线网络的边缘接入设备,具有无线路由的功能.一个校园无线网可以部署千台以上的AP.
通过观察AP日志中设备使用情况,可以了解AP设备的负载情况.我们研究如下优化问题:迅速发现很少使用的AP; 接入满员,用户通讯质量不受影响的AP; 接入不满,用户通讯质量深受影响的AP.以上问题可以帮助优化校园无线网络的架构和布局.例如,撤掉经常不用的AP减维护成本,更换通讯质量不佳的AP改善用户通讯体验.但是AP日志和AP的网络流量是不同性质的数据源.如果在AP上部署探点来收集数据会对AP本身的性能造成伤害,在实践中一般用旁路的方式收集AP的日志和流量[5,15].网络流量有不同类型,如网络流量二层的统计信息可以对AP进行SNMP轮询或者gRPC推送得到.但是网络中三层(IP)以上的信息,需要使用DPI(deep packet inspection),结合高性能计算技术得到[6-9].
IP在网络流量计算中是第一属性,是计算AP流量中不可缺少的因素.但是同一个用户IP会在不同AP中漫游,即某一个时间段某一个AP拥有的IP是一个时间段序列.由于各个IP所属的时间段长短不一,迫使大数据的AP流量计算需要针对IP的归属区间逐一发出计算请求.针对这种顺序计算模型,我们提出了一个大数据下并行计算AP流量的算法用于在大数据下近似地计算AP在某一时间段内的所属流量.本研究的主要贡献在于:使用日志解决AP使用率的问题; 通过大数据近似算法解决用户IP在AP之间漫游时流量难于计算的问题,提出大数据下AP流量计算的并行计算模型; 通过日志加流量分析解决了衡量用户通讯体验的问题.
2 大数据解决方案
2.1 大数据平台图 2介绍了大数据平台的数据处理流程和关键实现技术.以开源大数据Elasticsearch(ES)进行数据的存储和计算[10],Logstash[11]进行日志的采集和清理.iTAP(intelligent TAP)[12]利用分光器或者镜像端口采集网络旁路流量,输出网络各层协议的元数据.收集的元数据需要经过用GO语言实现的二次清理过程再输入大数据ES平台.数据分析模型以说明式的规则语言SQLAlert[13]为主,过程式的语言Python为辅,用以提高分析模型的抽象程度和编程效率.数据展示用Kibana[14]或者基于JS的大屏实现.
2.2 日志分析利用Logstash 清理AP的日志, 提取出某个时间段内某个 AP 对应的网络层 IP 集合. 这些日志清理后的元数据存入ES, 然后由 Kibana平台进行建模分析. 同时利用 iTAP 采集流量中的元数据经过清理后存入 ES,并在 Kibana 上和日志元数据一起通过IP地址的关联进行大数据分析.
针对内蒙古医科大学校园内的无线网络活动,我们搜集了2020年春季至今的所有无线AP设备的日志数据.日志采集是从5台AC(access point controller)上进行的,每天约7百万条.通过配置AC设备将系统日志消息使用UDP协议发送Logstash,然后在其上进行日志的清理工作.清理后的结构化日志存入ES, 然后由大数据平台进行建模分析.
在正常的AP会话过程中,包含了身份验证消息,设备重新关联消息,身份退出登录消息.将接收到的日志信息,按照不同消息类型分类.获取其中有效信息,主要是MAC、IP、AP和 AC等.其中,为了使得日志消息中字段名与通讯流量中字段名保持一致,将日志消息中的IP保存为SIP(source IP).如一条未清理的日志消息为:
WX6108E_WLAN_NEW%%10WMAC/6/WMAC_CLIENT_AUTH_LOGIN(l): -DevIP=172.18.8.1; MAC Address:084a-cf6f- 0d35, IP:10.17.128.53, UserName:-NA-, AP-name:js-xiaoyiyuan- 4, Radio id:2, Channel Number:1, SSID:CMCC-iYD, BSSID:5866-bab8-7b51
使用正则表达式得到清理后的信息如表1.
2.3 流量分析iTAP(intelligent TAP)针对校园网流量数据量大(Volume)、实时性要求高(Velocity)和数据类型复杂(Variety)的大数据特征,利用分光器或者镜像端口采集旁路流量.
iTAP主要部署在校园网的出口和内网核心交换机上,把非结构化的原始报文变成网络各层协议的结构化的元数据(metadata), 为大数据分析打开了大门.详细地介绍请参见[15].
与传统的基于抽样的Netflow v9流量分析相比,基于全流量、每条TCP流详细地分析在网络优化中能更加精确地透视网络特征,看出网络的瓶颈口[16].
2.4 分析过程分析目的:通过AC日志中包含的名字与分配的IP地址,计算得到每台AP设备在特定时间窗口T内有哪些SIP登录,即找出AP设备下属的无线设备的连接行为.输入:获取一个时间段T的所有经过解析的日志数据; 输出:该时间段内AP对应的登录过的SIP-list.
构造以AP-name作为键值的哈希表(图 3),登录过的SIP按照时间次序组成一个链表,表项中同时标记登出信息.即以时间窗口T作为查询时间段,获取该时间所有解析过的日志数据,若检查到登录或登出该AP的数据,则在哈希表中修改对应表项SIP的登录/登出状态.
该HASH算法决定了AP设备下属SIP链表的平均查寻时间的复杂度为 O(1). 当计算一天SIP连接数时,我们还计算最大的IP连接个数MaxCount,用于刻画该AP是否被用过.
根据这个AP和连接SIP的对应关系, 可以计算出每个AP在时间段T内的流量大小.图 4给出了精确计算AP流量的计算方法.
由于无线设备在AP设备间是可能漫游的,如果时间段足够的大,一个SIP可以出现在多个AP中,这个给统计AP的流量带来巨大的挑战.图 5描述了在时间点T1至时间点T4共4个时间段内的某SIP登录、登出情况:假设某用户在T1登录AP1, 在T2登出, 在T3登录AP2, 在T4从AP2 漫游至AP1(可理解为极短时间内在AP2 登出,在AP1登录).
因此,若选取数据的时间窗口覆盖了4个时间段,则该用户获得的SIP会被归为AP1下,因为 AP1存在登录状态,而AP2 已经登出.若选取时间窗口T覆盖了在T3和T4, 那么该用户获得的 SIP 会归为AP2下.
如果想精确地得到某个AP在当前时间段的流量就要把时间窗口选得足够的小,使得在该窗口内某个SIP只属于一个AP.但是当TCP流量一天达到TB数量级时,由于大数据平台计算性能的约束, T的选择不能太小.
即使数据聚合的时间段选好了,每个SIP属于AP的时间段也不固定.如果这个SIP恰好在这个时间段属于两个AP,那么这时针对这个SIP聚合计算得出的流量大于任何一个AP的精确流量.
大数据平台在某一个时间段针对某一个维度的聚合运算是采用并行计算模型展开的.因此为了减少计算流量时所产生的误差,则要减小查询时间窗口,使得时间窗口覆盖了大多数设备和SIP的单一对应状态.然后采用大数据常用的聚合+过滤的计算模式来近似地计算AP的流量.
图6用SQL-like语言描述了AP流量的近似算法.一个AP所属的SIP用是否属于SIP-list集合来刻画,它可以作为过滤的条件在WHERE语句中描述.流量的聚合运算用SUM表达,聚合的维度用GROUP BY表示.
为了解决T的选择问题,需要选定不同的时间窗口T, 以获取AP流量计算中计算性能和准确率的平衡.计算性能按照向大数据平台ES发出的请求数来衡量.请求数越少,相对来说对ES计算压力越小,计算性能就越高. 表2为5、10、15、 30和 60 min时获取的数据,统计流量计算总结果的流量偏移量S以及向大数据平台ES发起的总请求次数. 其中,流量偏移量S为以T计算的AP流量,记为a. 同一AP下,1 min内计算的AP流量作为标准参考值b, 每次计算两者AP流量差值的标准方差, 如式(1). S越大,代表了该时间T内获取的流量数据与标准数据误差越大.AP数随着时间窗口变大而减小,表明在更大的时间窗口内有SIP登出了某AP,这就导致了在我们的近似计算模型下把它变成没有登录的AP了.
x=|a-b|
S=(1/(n-1)∑ni=1(xi-(-overx))2)1/2(1)
从表2可以看出,不同时间窗口之间,获取到的S差距较大.选择第1个S不为零的T作为时间段的选择,如时间窗口T为15 min时,流量偏移量S请求数均较优,因此在研究中均采用T=15 min.
3 实验结果分析
收集40周内382 669台独立的无线设备与AP的连接,一共248 924 823条日志记录,处理了21 Pbyte流量数据.其中,独立设备的计算是以MAC地址作为区分设备的,包含了3处校区,4所附属医院的无线网络使用情况.
3.1 实验平台搭建在内蒙古医科大学校园内,通过部署11台高端服务器(256 Gbyte内存、万兆网卡),组成大数据分析平台集群.部署位置和网络拓扑结构如图 7.
3.2 流量概览针对无线网络流量,通过对大数据平台存储的流量元数据可以计算得到一整天的总流量与各协议的连接数.流量一天达到33 Tbyte,峰值流量达到7 Gbps. 图8展示了一天无线网络流量使用情况(2020-10- 09),其中纵坐标单位为TB.工作期间流量较高,凌晨流量较低.
各协议连接数对比如图9,包含了4层TCP、UDP,以及7层HTTP、DNS协议.值得注意的是,当TCP连接个数高于DNS连接个数时,表示一些应用在使用绝对IP地址访问校园网.这些应用有进一步的优化空间以支持应用的可用性和鲁棒性.
3.3 日志分析检查设备情况,即哪些设备未被使用,哪些设备使用率较低可以通过对AP-SIP对应关系的哈希表查询来完成,如计算一天之内最大的IP连接个数MaxCount为零的AP就是未使用过的AP.表3显示了未使用设备的情况.其中,使用数表示出现过的AP设备数目; AP未使用数根据总数减去未使用的设备数目; 占比表示AP未使用数占AP总设备的比例.结果显示有大于12%的AP设备在一天内没有被使用过,这些接入点可以考虑被优化掉.
表4取了一天连接数少于10个无线设备的 AP数,称为低频AP使用数,其中,占比为低频AP使用数与AP设备总数之比.
从表3与表4的整体情况上看,未使用数与低频AP使用数的相加已达到整体的40%, 可以得出AP数量与部署位置有着较大的优化空间.
4 相关工作
无线局域网的广泛应用给师生提供了极大的便利,教师上课期间使用无线投屏、在线统计打卡,学生可以随时随地利用笔记本学习、办公和娱乐等.但是目前校园内的无线接入点的使用情况并不理想,还存在着覆盖面不完整,部分AP使用率过低或过高,网络质量差,被黑客滥用等问题.对无线网络的日志及流量的分析在优化无线网络方面起着至关重要的作用.HENDERSON等[2]通过日志分析了校园无线网从最初建立到成熟这段期间无线网络对于用户群体的用途的改变. Babak等[3]通过日志分析了笔记本和智能手机在流量和流动性两方面的区别以及这两方面之间的关联. Farhana等[17]通过流量统计确定了校内最拥挤的接入点位置,并测量了各个无线接入点在不同区域的覆盖率,提出了在特定地点增添接入点来完善Wi-Fi覆盖面,缓解高活跃度AP压力的建议.VEDANT等[18]通过收集AP日志结合机器学习分析室外课程的社交状态并预测学生成绩.CHUCHMAN等[19]通过分析AP日志来验证AP的负载并评估了无线网络的性能.
5 总 语
提出了流量精确计算地顺序算法和AP流量近似计算的大数据模型,通过大数据平台利用以上算法和模型对无线AC的日志分析及校园网全流量进行分析,得到了无线AP设备使用情况、流量使用情况等指标,对校园网无线AP优化、校园骨干网络优化提供决策依据,给师生带来了更好的网络体验.在今后的工作中,针对用户体验还需要增加网络层和应用层延迟的研究来更精确地刻画通讯质量,以及对下一代互联网IPv6的校园网流量分析.
- [1] 张 鹏, 黄豪洲, 张 兴.蜂窝无线网络大数据平台设计与分析研究[J].邮电设计技术, 2016, 8(3):12-17.
- [2] HENDERSON T, KOTZ D, ABYZOV I. The changing usage of a mature campus-wide wireless net- work[C]// Proc. of International Journal of Computer and Telecommunications Networking.[S.l.:s.n.]:2008.
- [3] BABAK A, LEONARDO T, AARON Y D. Analyzing mobility-traffic correlations in large WLAN traces: flutes vs. cellos[J].arXiv, 2020,22:13-15.
- [4] 郭玉彬, 吴宇航, 周哲帆.基于密度聚类算法的校园人群聚集和移动规律分析[J].计算机应用研究, 2020, 37(3):688- 692,698.
- [5] 赖剑菲, 江 舟.基于WLAN的图书馆读者行为采集分析平台框架研究[J].图书情报工作, 2015(10):67-71.
- [6] WANG Junchang, TANG Xinan.B-queue: efficient and practical queuing for fast core-to-core comm unication[J]. International Journal of Parallel Programming, 2013, 41(1):137-159.
- [7] WANG Junchang, CHENG H,HUA Bei, et al. Practice of parallelizing network applications on multi-core architectures[C]// Proceedings of the 23rd international conference on Supercomputing, Yorktown Heights, USA:[s.n.]: 2009.
- [8] CHENG H, CHEN Z, HUA B, et al. Scalable packet classification using interpreting[C]// ACM SIGPLAN Symposium on Principles and practice of parallel programming.[S.l.:s.n.]:2010.
- [9] HU X, TANG X, HUA B. High-performance IPv6 forwarding algorithm for multi-core and multithreaded network processor[C]//Acm Sigplan Symposium on Principles & Practice of Parallel Programming. [S.l.:s.n.]: 2006:168.
- [10] ELASTIC.ELK introduction[EB/OL].(2020-10- 09). http://www.elastic.co.
- [11] LOGSTAHS. Logstash introduction [EB/OL].(2020-10- 09). http://www.el astic.co/cn/logstash.
- [12] iTap. iTAP introduction [EB/OL].(2020-10- 09). http://ido-net.net/pr oduct_en.html.
- [13] 唐锡南. SQLAlert introduction [EB/OL].(2020-10- 09). http://ido-ne t.net/id17_en.html.
- [14] KIBANA. Kibana introduction [EB/OL].(2020-10- 09). https://www.elast ic.co/cn/kibana.
- [15] 吴 超,涂海波,张焕杰,等.校园网络安全态势感知分析平台[C]// CERNET第二十六届学术年会论文集. [S.l.:s.n.]:2019.
- [16] 唐锡南. 从美国大选预测看流量计算的准确性[EB/OL].(2020-10- 09). http://ido-net.net/id10_en.html.
- [17] FARHANA B, KAMRUL E, ROBER A.Campus Wi-Fi coverage mapping and analysis[J], arXiv,2004,8:67-70.
- [18] VEDANT D S,HYELKHYEN K, BAHADOR S.Leveraging WiFi network logs to infer social interactions [C]// Proc of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies. [S.l.:s.n.]:2020.
期刊信息
深圳大学学报理工版
JOURNAL OF SHENZHEN UNIVERSITY SCIENCE AND ENGINEERING
(1984年创刊 双月刊)
主 管 深圳大学
主 办 深圳大学
编辑出版 深圳大学学报理工版编辑部
主 编 李清泉
国内发行 深圳市邮电局
国外发行 中国国际图书贸易集团有限公司(北京399信箱)
地 址 北京东黄城根北街16号
邮 编 100717
电 话 0755-26732266
0755-26538306
Email journal@szu.edu.cn
标准刊号 ISSN 1000-2618
CN 44-1401/N