注册邮箱：
确认密码：
验证手机：
手机验证码：
发送验证码
公司名称：
&我已阅读并同意&
如果您已拥有莲子账号，请&
请输入验证码：
看不清一张？
Incubator of Data Innovation
莲子团队—数据创新孵化器
●&深入挖掘用户使用的特点&●&找到产品设计的不足●&发现运营推广的机遇&●&优化产品和运营策略&●&提升移动应用的质量
LOTUSEED企业版
中国领先的移动数据管理解决方案
莲子应用统计分析系统
更精细的数据读懂用户
莲子游戏运营分析
更懂您的用户
大型客户专属的混合云模式，业内最高效集群资源支持千万级日活用户
，数据安全性，可靠性，一致性得到保障。全渠道iOS,Android,Windows Phone,HTML5，微信监测分析支持，用户属性和行为分析。全流程自动可视化，自定义KPI仪表盘，与业务数据系统灵活对接，可对接第三方数据源和报表系统。
iOS官方推广渠道追踪准确度95%以上，渠道多方对比，精细化推广运营
产品使用行为分析
强大的自定义事件分析，路径分析，有效改进产品
可视化画像
可视化相关度：社区聚类，标签云，人群聚类，人群属性
准确的终端，地域，机型多数据分析
可视化分析
地域人群属性标签，区域用户热力图用户兴趣分析，使用行为分析
技术架构——效能最大化
大数据挖掘、大数据分析、大数据应用、云支撑服务平台
莲子应用统计分析
更精细的数据读懂用户
用户可以选择自己关心的数据维度和喜好的图表格式；
莲子提供了强大的事件路径和漏斗模型为用户提供直观而严谨的数据转化率统计分析；
业内领先的信息库保障了地理分析中全球范围内城市级精度数据报表输出，助力本地化应用；
从各个维度分析用户的活跃度留存率和生命周期，得出应用对用户的真实吸引力和粘性。
灵活的报表定制
多维度的用户分析
高精度地域分析
用户生命周期分析
游戏运营分析
更懂您的用户
多维度交叉解析用户，数据层层深入，一览无遗；
实时数据全指标监测、便捷的预警，随时查看最新情报、更快相应；
通过玩家等级分布、商品类型、物品消耗等不同指标的交叉组合分析了解玩家的消费行为；
具备获取用户属性能力，帮你描述用户画像。
360度全面解析
实时数据监测
消费习惯分析
用户生命周期分析
合作客户案例
我们只为等待更精彩的你
&&&&“lotuseed正是我们一直在寻找的产品，它是先进的端到端应用性能管理解决方案，提供了完善的应用系统实时监控、告警、性能分析、故障诊断、性能报表展现等功能，彻底改变了IT部门的服务工作方式和工作内容。
&&&&lotuseed帮助我们快速诊断和定位了很多应用瓶颈，保障了业务系统的峰值稳定运行。我们下一步计划在其他系统上陆续完成部署，从而实现对生产系统的全方位监控。”
&&&&“lotuseed的事务分析功能，能让我及时了解每次交互的响应时间。针对响应慢，频繁出现的慢事务，lotuseed的深度trace，可以定位到执行慢的类、方法以及SQL语句，帮助我们快速找到问题的根源。&&&&崩溃分析非常不错，有针对性的修复crash漏洞，帮助我们打造最佳用户体验。通过一个后台，就能管理我们所有的应用，还有报警功能，确实很方便。”
查阅文档、提交问题工单、搜索故障的解决方案，都可以前往帮助中心
销售经理为您解答企业版 LOTUSEED 报价、部署实施方案的各种问题。
使用 LOTUSEED 时，遇到任何技术上的问题，都可以发送邮件给我们。
关注 LOTUSEED 最新技术和开发进展，了解行业动态，请关注我们
微信扫码关注微信公众号：lotuseedata移动应用市场运营不可不知的五大数据分析工具
发表于 16:47|
来源新闻资讯|
作者新闻资讯
摘要：分析用户行为,提高用户留存率一直是移动运营人员孜孜不倦的追求. 一款好的移动分析产品尤其重要 . 目前国内市场的移动应用分析领域的公司则有友盟、TalkingData、MaxLeap等,国外还有 Flurry, Countly等.哪一款更适合我? 我们就这些平台做一些对比分析.
分析用户行为,提高用户留存率一直是移动运营人员孜孜不倦的追求. 一款好的移动分析产品尤其重要 . 目前国内市场的移动应用分析领域的公司则有友盟、TalkingData、MaxLeap等,国外还有 Flurry, Countly等.哪一款更适合我? 我们就这些平台做一些对比分析.
移动分析产品
友盟是创新工场孵化的项目之一，是目前国内开发者最熟悉的移动应用数据统计分析平台。
TalkingData()
TalkingData成立于2011年9月，是一家专注于移动互联网综合数据服务的平台.
MaxLeap数据分析服务&MaxAnalytics(/zh_cn/analytics.html)
MaxLeap为应用开发者提供整合云后端的边界服务，包括分析、运营支持、存储、云代码，推送等一站式后端服务，尤其是MaxAnalytics其数据分析产品&超过数千个企业用户最佳实践案例。
国外较为老牌的移动统计分析平台.
Countly(count.ly)
Countly 是一个实时的、开源的移动分析应用 。
基础统计系统(宏观分析)
你一定对以下这些词汇耳熟能详细:新增用户,活跃用户,启动次数,版本统计,渠道统计,用户留存使用时长,使用频率,页面访问,设备型号& 没错,这些都是我们在 App 运营中常用的衡量指标.
由上表可以看出,这些指标各大平台基本上都支持,大同小异.但 MaxLeap的数据分析服务&MaxAnalytics基于&服务广度&&服务覆盖广泛的应用品类，以及&服务深度&&一站式的应用后端服务解决方案积累，在对付费分析,游戏分析功能方面更胜一筹.
然而,这些仅仅只是概要性的数据,只有这些数据实际上难以有针对性地降低用户流失,提高用户留存,我们需要一个精细化收集、管理、分析的数据平台。
精细化的统计分析系统
我们姑且称只有基础统计指标的系统为第一代统计系统,那么第二代统计分析系统(精细化统计分析)应该具有哪些功能呢?
用户分组分析(中间层分析)
我们常常需要分析一个特定的用户群体,分析他们的行为,对他们发推送消息/邮件/短信,给他们折扣以挽回流失用户等等.例如第二天回访/不回访的用户,轻度/中度/重度付费用户,具体的场景比如，上海使用iPhone 6的月活跃用户等.
个体用户分析(微观分析)
对于特定的用户(如重度付费) ,我们可能需要研究他的行为,了解他碰到的障碍,帮助他解决问题等.这时候就需要将分析精确到微观的单个用户层级.
由上表可见, MaxLeap数据分析服务&MaxAnalytics 在精细化的统计分析方面也能够提供较好的支持，同时真正意义上能够从分析行为直达结果层面的，只有MaxAnalytics。
营销及客户支持服务集成
有了从宏观到中间层再到微观的分析,得出了一些结论,那么我们需要针对性的做一些用户营销或运营了. 例如,给用户发推送消息,邮件,短信,应用内消息等等.如果自己开发,将会是不小的工作量,那么我们看看这些平台给我们提供了哪些支持呢?
由上表可以看出,各大平台都有一些自己的服务,但由于大多数平台主要是做分析,都是把这些服务作为附属服务,没有花太多的精力去做. 唯独MaxLeap实现了从数据搜集，展现，分析到营销推送运营一站式的解决方案，在营销运营推送方面推出了营销推广产品&MaxPromotion(/zh_cn/promotion.html)。
文档,支持,上手难度
由于QQ 和留言得到回复都较为缓慢,客户支持流程较长,如果遇到紧急情况400电话还是优选,这方面 TalkingData 和 MaxLeap的运营产品&MaxOperation (/zh_cn/operation.html)均有较好的支持.
由以上的分析可以看出，各大厂商在基础指标的统计支持方面大同小异, MaxLeap 在精细化用户群体/个体分析,营销/客服支持,付费/游戏分析,海量数据自定义分析方面均有很好的支持，因此功能支持方面 MaxLeap 完全胜出.
如果你仅仅需要简单的统计,只在国内运营,不考虑国外, 那么以上各家的服务都相差无几,均可以考虑;
如果你需要一套开源的系统,可以自己定制,数据都保存在自己的服务器上, 那么 Countly 可以考虑;
如果你需要精细化的运营, 营销及客户支持服务集成,或同时要在国内外运营,需要自定义数据分析等,推荐试用 MaxLeap,相信不会让你失望!
推荐阅读相关主题：
CSDN官方微信
扫描二维码,向CSDN吐槽
微信号：CSDNnews
相关热门文章LTE网络用户行为分析系统的设计与实现
席兵, 骆云龙, 王建. LTE网络用户行为分析系统的设计与实现[J]. 重庆邮电大学学报:自然科学版,): 208-212.
XI Bing, LUO Yunlong, WANG Jian. Design and implementation of user behavior analysis system in LTE network[J]. Journal of Chongqing University of Posts and Telecommunications:Natural Science Edition,): 208-212.doi:10.3979/j.issn.15.02.012&&
Permissions
LTE网络用户行为分析系统的设计与实现
重庆邮电大学 通信网与测试技术重点实验室,重庆 400065
席兵(1972-), 江苏人, 男, 副教授, 主要研究方向为宽带通信网测试技术。E-mail:xibing@骆云龙(1988-), 山东人, 男, 硕士研究生, 主要研究方向为宽带通信网测试技术。E-mail:。王 建(1990-), 湖南人, 男, 硕士研究生, 主要研究方向为宽带通信网测试技术。
基金:国家高技术研究发展计划(&#x”计划)(); 2013年重庆市高校创新团队建设计划项目(KJTD201312)
针对传统信令监测系统数据业务识别度低、统计能力不强等问题,在传统的监测系统基础上,提出了一种采用网络爬虫(web crawler)技术和深度包检测(deep packet inspection,DPI)技术的LTE网络用户行为分析系统。该系统对应用层业务内容进行精细化识别,进一步分析了移动互联网的用户行为特征。经现网测试验证,设计的用户行为分析系统达到了预期的效果,对移动互联网用户行为分析、精准化营销领域具有推广意义。
深度包检测
中图分类号:TN929.5
文献标识码:A
文章编号:15)02-0208-05
Design and implementation of user behavior analysis system in LTE network
LUO Yunlong,
Key Laboratory on Communication Network and Testing Technology,Chongqing University of Posts and Telecommunications, Chongqing 400065, P.R.China
Fund:The National High Technology Research and Development Program of China(&#x”Program)(); The Program of Innovative Research Team Constructing Plan of the Higher Education Institution in Chongqing 2013(KJTD201312)
There are weak identification of data services and poor statistical ability in traditional monitoring system. To solve this problem, the user behavior analysis system in LTE network is proposed by using the technology of web crawler and deep packet inspection (DPI) in this paper. The system was designed to refine identification of service content of the application layer. And the users' behavioral characteristics of mobile Internet is analyzed in further. Through testing in current network environments, the result shows that the user behavior analysis system proposed in this paper works well as what is expected. The system is of great importance for user behavior analysis and the promotion of precision marketing area.
LTE network;
user behavior;
web crawler;
deep packet inspection
0 引 言LTE作为下一代无线传输技术, 具有高速率、低时延、全IP的技术特性。4G网速更快、质量更好, 为移动互联网的发展搭建了快车道, 正引领全球IT产业大变革, 传统的产业话语权逐渐被分流。加之云计算、大数据等新兴技术的规模商用, 电信、IT、互联网等产业加速融合, 这些竞争将在4G时代继续深入演绎, 进一步促进全球IT行业的变革。随着LTE网络接入速度的提高、移动互联网的迅速发展, 运营商需要全方位分层次地对用户的业务和流量进行分析研究和控制, 从而为用户提供可靠的优质服务。移动互联网时代, 在保护用户隐私的前提下, 对移动用户的网络行为进行深入分析是非常有必要的。根据这些信息, 即可以进行业务内容分析、业务热点分析以及客户偏好分析等, 从而更好把握客户需求, 支撑移动互联网业务。因此, 用户行为分析对于运营商、内容提供商以及用户三者都具有重要意义[, ]。本文将重点研究LTE网络用户数据的精确识别和特征分析, 在传统的监测系统基础上, 实现了一套基于网络爬虫技术、DPI(deep packet inspection)技术与自学习功能的用户行为分析系统[]。1 LTE网络架构LTE网络采用全IP化、扁平化的网络架构, 这样可以降低组网成本, 增加组网的灵活性, 并减少系统延时。LTE网络由用户设备(user equipment, UE)、演进的接入网(evolved UMTS terrestrial radio access network, E-UTRAN)和演进的核心网(evolved packet core, EPC)组成, E-UTRAN仅由基站(evolved nodeB, eNode B)组成, EPC主要由移动性管理实体(mobility management entity, MME)、服务网关(serving gateway, S-GW)和公用数据网(public data network, PDN)网关等子组件组成[]。如所示。图1Fig.1 图1 LTE网络架构Fig.1 Structure of LTE network其中S1接口包括控制面(S1-MME)和用户面(S1-U)两部分, 2个平面的协议层次从底向上都可以分为传输网络层和无线网络层。S1接口是E-UTRAN和EPC之间唯一的接口, 承载了所有E-UTRAN和EPC之间的信令和数据, 在网络中处于核心位置, 对其进行分析可以全面地获取LTE网络的运行状况。因此, 对S1接口进行分析显得尤为重要, 故本系统采集该接口的数据作为分析的原始数据[]。2 系统方案本文提出的LTE网络用户行为分析系统采用模块化的设计思想, 将协议的解码、DPI业务识别封装成动态链接库(dynamic link library, DLL), 以实现各个模块的松耦合。根据相关测试规范[]的要求, LTE网络用户分析系统主要包括数据采集、数据存储、协议栈解码、特征爬虫、DPI业务识别等功能。如是LTE网络用户行为分析系统框架[]。2.1 协议栈解码在用户行为分析系统中, 协议数据解码是后续数据处理的基础。协议数据解码的任务是将采集过来的原始数据转换成具有逻辑意义的数据结构, 为DPI业务识别提供上下文。本方案中, 协议数据解码采用提取关键信息字段的简单解码。解码的过程采用从接口协议栈中从底到顶的逐层解码的思想, 提取完本层协议关键字段后, 根据上层协议标识调用相应的协议解码器, 将协议数据单元(protocol data unit, PDU)递交上层协议解码接口, 以此递归, 直到没有上层协议[, ]。图2Fig.2 图2 LTE网络用户行为分析系统框架Fig.2 Structure of user behavior analysis system in LTE network2.2 特征爬虫爬虫程序主要负责依据配置规则, 定向抓取制定的互联网或移动互联网资源, 并把抓取的结果存储在DPI特征库中。DPI特征库是一个特征字段与应用类型值的对应关系表。通过分析, 这些特征值通过内容可以分为2种:字符型特征值和数字型特征值。字符型特征按照其所在位置, 可以分为Host特征、User_Agent特征、Refer特征、统一资源定位符(uniform resource locator, URL)特征、承载层特征等; 数字型特征值主要是ID特征。特征库支持通配符“ * ” , “ ?” 的匹配。由于互联网数据更新快, 可以依据配置每天更新一次特征库。是起点中文网图书特征库, ID代表图书的特征字段, NAME, TYPE, SUBTYPE, AUTHOR为对应的应用信息表。图3Fig.3 图3 起点中文网图书特征库(截图)Fig.3 Feature library books of the start Chinese net(screenshot)该爬虫模块采用2层架构:基础能力层和模块应用层。不同的业务爬虫(即对不同的业务类别、不同的网站内容的抓取)不需要调整基础能力层, 只需要在模块应用层中增加相应的模块, 因为不同的业务, 其特征结构或策略可能都不同, 所以通过分析某个具体业务内容特征的结构, 来设置具体的爬虫策略。此结构扩展性以及可维护性较强, 如所示。图4Fig.4 图4 爬虫模块架构图Fig.4 Structure of web crawler module2.3 DPI业务识别DPI技术[, ]是近年来出现的一种协议识别技术, DPI技术在分析包头的基础上, 增加了对应用层的分析。DPI业务识别划分为2类:一类为实时DPI业务识别; 一类是基于HTTP(hyper text transfer protocol)的, 需要基于URL进行2次匹配, 2次匹配可以理解为非实时的。实时DPI业务识别也需要特征库的支撑, 如五元组、三元组、比特流特征、流量特征等。这些特征统一存储在DPI特征库中。当采集解析程序加载实时DPI识别模块时, 实时DPI识别模块依据配置从特征库上下载实时DPI特征库, 并进行初始化。结合LTE网络数据流量大的特点, 本方案提出了1种自学习的方法, 能够大幅度地减轻服务器的压力, 提升数据包识别速度。识别流程如所示。基于URL 的2次DPI业务识别关键在于通过爬虫模块建立的DPI特征库, 进行内容级别的匹配, 分析用户具体的行为特征。2次匹配进程启动时, 会读取DPI特征库中的所有内容, 在内存中建立快速索引, 后续的匹配不再查询DPI特征库, 可以提高匹配的效率。识别流程如所示。本文基于特征的DPI业务识别技术中, 主要用到了正则表达式(regular expression)的确定有限状态机(deterministic finite automaton, DFA)算法[]和哈希散列算法。正则表达式描述了1种字符串匹配的模式, 可以用来检查1个串是否含有某种子串、将匹配的子串做替换或者从某个串中取出符合某个条件的子串等。可以人为地将所需检测的内容表达成一个个的模式, 每一个模式可以用正则表达式去进行描述, 从而处理成计算机能够识别的一种语言。在处理正则表达式的时候, 将正则表达式转化成DFA(deterministic finite automation)来进行处理。DFA算法的搜索时间是O(n), 其的核心思想是, 当使用非确定有限状态机(nondeterministic finite automata, NFA)遍历文本时, 会经过很多转移, 因此会激活一个状态集合。然而, DFA在一个时刻只有一个确定的活动状态, 因此, 可以在NFA的状态集合上定义相对应的DFA。该思想的关键在于, DFA的当前唯一状态就是NFA的当前活动状态集合。图5Fig.5 图5 实时DPI识别流程Fig.5 Procedure of real-time DPI identification图6Fig.6 图6 2次DPI识别流程Fig.6 Procedure of secondary DPI identification3 用户行为分析将从LTE网络S1接口采集到的原始数据发送到数据处理模块, 经过解码模块、实时DPI业务识别模块处理后递交2次DPI业务识别模块, 得到业务识别统计表, 并对其进行归类、入库、分析, 供应用层调用。应用层采用C#编程语言, 利用WPF+WebService技术完成用户界面的设计, 供用户查询行为分析结果。为通过数据业务检测与分析平台展示的用户行为分析系统全业务分析。分析的是日12&#x0∶ 00用户经常访问的移动互联网网站的流量和占比率, 从中可以看出, 用户的访问量最多的是音乐类, 而用户量和流量消耗最多的是阅读类。是阅读类的用户行为统计表, 中标识的是用户浏览起点中文网时具体的行为特征部分。分析图表可知, 某一用户使用华为B923型号的手机, 通过智能手机APP的方式, 阅读了起点中文网奇幻类勇者的法则第2卷。从-中我们可以分析用户的个人习惯和终端类型。图7Fig.7 图7 用户行为全业务分析(截图)Fig.7 Full-service analysis of user behavior (screenshot)图8Fig.8 图8 阅读图书网站用户行为统计(截图)Fig.8 User behavior statistics of book website (screenshot)图9Fig.9 图9 起点中文网用户具体行为特征(截图)Fig.9 Users specific behavioral characteristics of start Chinese net (screenshot)对单个用户访问兴趣和行为特征的叠加, 能够反映群体用户的兴趣分布以及潜在的需求。不同群体的兴趣分布往往会呈现出不同的态势, 结果的不同能够帮助内容提供商和运营商针对各类群体提供更为个性化的服务策略。针对传统的监测系统只能实现应用层协议类型的识别, 并且数据业务识别度低、统计能力不强等问题, 本文提出的采用网络爬虫技术和深度包检测技术的精细化识别实现了应用层内容级别的识别, 提高了识别效率和准确度, 可以帮助运营商精确定位用户业务需求, 提高市场竞争力。4 结束语本文提出了基于LTE网络的用户行为分析系统的设计。首先分析了LTE网络时代运营商面临的挑战, 阐述了LTE网络架构。然后在传统移动网络监测的基础上, 通过网络爬虫技术和DPI技术, 实现了对业务内容的准确识别, 并对移动互联网用户行为特征进行归类、分析、展示。整个系统基于Linux平台, 经过现网数据测试, 能够稳定、可靠的实现用户网络行为的分析, 对移动互联网用户分析和运营商精准化营销领域具有推广意义。
The authors have declared that no competing interests exist.
张海峰, 张杰.
TD-LTE数据业务发展趋势[J]. 互联网天地, 2013, 6(04): 12-14. ZHANG Haifeng, ZHANG Jie.
Prospect of Data Service Development in TD-LTE Network[J]. China Internet, 2013, 6(04): 12-14.
[本文引用:1]
移动互联网用户行为分析系统的设计与实现[D]. 北京: 北京邮电大学, 2010. ZHENG Guifeng.
Design of User Behavior Analysis System Based on Mobile Internet[D].
Beijing: Beijing university of posts and
telecommunications, 2010.
[本文引用:1]
[CJCR: 0.62]
QIAO Y, LEI Z, YUAN L, et al.
Offline traffic analysis system based on Hadoop[J].
[本文引用:1]
臧永蔓, 阮军洲, 王鹏.
TD-LTE网络S1接口的研究与实现[J]. 计算机与网络, 2012, 38(15): 67-69. ZANG Yongman, RUAN Junzhou, WANG Peng.
Research and
Implementation of S1 Interface in TD-LTE Network[J]. China Computer&Network.
2012, 38(15): 67-69.
[本文引用:1]
中国移动通信集团公司, QB-X-XXX-XXXX,
信令监测系统接口规范—LTE采集网关分册[S]. 北京: 中国移动通信集团公司, 2013. China Mobile Communications Corporation, QB-X-XXX-XXXX,
Interface Specification of China Mobile Signaling Monitoring System(LTE Signal Collection Gateway Part)[S]. Beijing: China Mobile Communic-ations Corporation, 2013.
[本文引用:2]
TD-SCDMA网络测试仪——IuPS与Gn接口协议解码软件的设计与实现[D]. 重庆: 重庆邮电大学, 2007. BAO Haining.
TD-SCDMA Network Testing Instrument——On the Designand
Implement of Protocol Decoding Software at IuPS&Gn Interfaces[D].
Chongqing: Chongqing University of Posts and
Telecommunications, 2007.
[本文引用:1]
[CJCR: 0.7826]
YANG C S, LIAO M Y, LUO M Y, et al. A network management system based on DPI[C]//Network-Based Information Systems (NBiS), 2010 13th International Conference on.
New York: IEEE Press, 2010: 385-388.
[本文引用:1]
魏辉, 张治中.
TD-SCDMA网络测试仪中SCCP协议解码及上层PDU获取方案[J]. WEI Hui, ZHANG Zhizhong.
Decoding and
upper layer PDU getting of SCCP in TD-SCDMA network analyzer[J].
[本文引用:1]
[CJCR: 0.6903]
LU X, CAO W, HUANG X, et al. A real implementation of DPI in 3G network[C]//Global Telecommunications Conference (GLOBECOM 2010). [s. l. ]: IEEE Press, 2010: 1-5.
[本文引用:1]
DPI技术在移动数据网络分析的应用[J]. 电信技术, 2013, (06): 72-75. LV Jinyang.
Application of DPI Technology in Mobile Data Network Analysis[J]. Telecommunication Tech- nology, 2013, (06): 72-75.
[本文引用:1]
丁晶, 陈晓岚, 吴萍.
基于正则表达式的深度包检测算法[J]. 计算机应用, 2007, 27(09): 2184-2193. DING Jing, CHEN Xiaolan, WU Ping.
Deep packet inspection algorithm based on regular expressions[J]. Journal of Computer Applications, 2007, 27(09): 2184-2193.
[本文引用:1]
[CJCR: 0.646]
... 因此,用户行为分析对于运营商、内容提供商以及用户三者都具有重要意义[1,2] ...
... 因此,用户行为分析对于运营商、内容提供商以及用户三者都具有重要意义[1,2] ...
QIAO Y, LEI Z, YUAN L, et al.
Offline traffic analysis system based on Hadoop[J].
Offline network traffic analysis is very important for an in-depth study upon the understanding of network conditions and characteristics, such as user behavior and abnormal traffic. With the rapid growth of the amount of information on the Internet, the traditional stand-alone analysis tools face great challenges in storage capacity and computing efficiency, but which is the advantages for Hadoop cluster. In this paper, we designed an offline traffic analysis system based on Hadoop(OTASH), and proposed a MapReduce-based algorithm for TopN user statistics. In addition, we studied the computing performance and failure tolerance in OTASH. From the experiments we got the conclusion that OTASH is suitable for handling large amounts of flow data, and can complete the calculation in the case of single node failure.
离线网络流量分析，是深入了解网络状况重要手段，也是深入研究用户行为、异常流量等等网络特征的前提。随着互联网信息的增多，传统的单机分析工具在存储能力和计算效率上都面临挑战，而使hadoop集群可以解决这些问题。本文设计了基于hadoop的离线流量分析系统OTASH，提出实现TopN用户统计的MapReduce方案，并对系统的计算性能和容错能力进行了研究。实验表明，OTASH很适合处理大数据量的流记录，并且在单节点失效的情况下，仍可以无阻碍的完成计算。
... 本文将重点研究LTE网络用户数据的精确识别和特征分析,在传统的监测系统基础上,实现了一套基于网络爬虫技术、DPI(deep packet inspection)技术与自学习功能的用户行为分析系统[3] ...
... LTE网络由用户设备(user equipment,UE)、演进的接入网(evolved UMTS terrestrial radio access network,E-UTRAN)和演进的核心网(evolved packet core,EPC)组成,E-UTRAN仅由基站(evolved nodeB,eNode B)组成,EPC主要由移动性管理实体(mobility management entity,MME)、服务网关(serving gateway,S-GW)和公用数据网(public data network,PDN)网关等子组件组成[4] ...
... 因此,对S1接口进行分析显得尤为重要,故本系统采集该接口的数据作为分析的原始数据[5] ...
... 根据相关测试规范[5]的要求,LTE网络用户分析系统主要包括数据采集、数据存储、协议栈解码、特征爬虫、DPI业务识别等功能 ...
... 如图2是LTE网络用户行为分析系统框架[6] ...
... 解码的过程采用从接口协议栈中从底到顶的逐层解码的思想,提取完本层协议关键字段后,根据上层协议标识调用相应的协议解码器,将协议数据单元(protocol data unit,PDU)递交上层协议解码接口,以此递归,直到没有上层协议[7,8] ...
魏辉, 张治中.
TD-SCDMA网络测试仪中SCCP协议解码及上层PDU获取方案[J]. WEI Hui, ZHANG Zhizhong.
Decoding and
upper layer PDU getting of SCCP in TD-SCDMA network analyzer[J].
以TD-SCDMA网络测试仪的信令分析功能作为研究背景,介绍了3G协议栈中信令连接控制协议的基本概念、功能以及消息结构,并且在此基础上探讨了信令连接控制部分(SCCP)协议的解码以及针对实际数据的组装方法,目的是对网络测试仪中SCCP模块的软件实现提出解决方案.该协议位于协议栈的传输层,其分析思路和方法对研究传输层的其他协议具有指导和推广意义.
... 解码的过程采用从接口协议栈中从底到顶的逐层解码的思想,提取完本层协议关键字段后,根据上层协议标识调用相应的协议解码器,将协议数据单元(protocol data unit,PDU)递交上层协议解码接口,以此递归,直到没有上层协议[7,8] ...
... 3 DPI业务识别DPI技术[9,10]是近年来出现的一种协议识别技术,DPI技术在分析包头的基础上,增加了对应用层的分析 ...
... 3 DPI业务识别DPI技术[9,10]是近年来出现的一种协议识别技术,DPI技术在分析包头的基础上,增加了对应用层的分析 ...
... 本文基于特征的DPI业务识别技术中,主要用到了正则表达式(regular expression)的确定有限状态机(deterministic finite automaton,DFA)算法[11]和哈希散列算法 ...
LTE网络用户行为分析系统的设计与实现
[席兵, 骆云龙, 王建]