网站用户体验评估 用户体验质量评估方法浅析

　　1 引言　　近年来，随着我国电信业重组、3G牌照发放以及全业务运营战略的有序推进，特别是移动互联网业务的迅猛发展，我国电信运营企业再次面临业务创新策略、网络演进策略、产业整合策略乃至整个经营管理策略的全面调整，从而对通信网络运维提出了新的挑战。全业务运营的环境下，各大运营商的业务产品类型更加趋同，因此急需将网络运维管理的焦点从网络质量转移到以客户为中心客户体验。网络运维管理的对象不再仅仅是网络，更强调面向客户和面向业务的维护管理，即网络运行维护部门要成为各项电信业务、客户、企业客服部门和业务经营部门的强大技术支撑，面向业务计量和评价体系来调整运行维护部门内部组织机构的设置，强调运维向运营延伸，体现网络服务的理念。关注用户感知成为运营商的工作重点。改善用户感知，不仅可以帮忙运营商降低投诉率，还可提升客户的体验满意度，增加用户黏度。
　　常规的网络运营管理目标是服务质量（QoS）。QoS是网络和应用的衡量机制，用来保证用户的感受，其考核指标可在网络或应用中监测或监控。随着运维服务向运营延伸，网络运维的指标体系也由单纯追求QoS转向注重用户体验质量（QoE）。QoE可以理解为用户体验或用户感知，即终端用户对移动网络提供的业务性能的主观感受，其考核指标是用户对服务所作的定性评价，如：优、良、中、差、劣。其本身是一项综合指标，影响因素包括：客观因素，如源端内容质量、端到端的网络质量、承载通道的透明性等；主观因素，如用户期望、投诉处理、体验行为等。
　　2 目前网络监控存在的不足
　　目前通信行业对于网络质量指标的监控和分析已经非常成熟，但仍然存在着一些不足，具体表现在如下几个方面：
　　首先是大多数网络质量监控对象和获取的指标主要仍停留在单个的网元、逐段的链路，缺乏业务层面的全程全网的质量监控。
　　其次是监测到的大多是单个专业/网元的KPI，而非具体的用户体验的衡量，与真实用户体验相距甚远。以常见的“无线寻呼成功率”为例，具体指标的高低不一定能够真实反映用户体验。如一次用户通话过程中，在无线侧可能会出现多次寻呼失败，但最后一次寻呼成功，只要中间的时延足够地小，用户感知不到多次连接，用户的最终体验会比较好，而此时无线寻呼成功率不一定很高。而当无线寻呼成功率指标数值很高时，客户感知的业务质量也不一定很好，用户的体验还受到通话建立过程中其他网络（如核心网、数据网等）的接通率/质量的影响，如果其他协同网络的质量不足，用户通话质量也就难以提升。
　　3 网络运营管理能力的转变
　　越来越多的运营商已经认识到，传统的网络KPI并不能完全反映终端用户的感受。据相关资料统计：82%的用户离网是由于对产品或服务体验不满意，以及运营商无法有效地处理他们的投诉；平均每个不满的客户会将不满传播给13个人。由此，运营商网络运营支撑思路不能仍然停留在网络、网元层面，而应该逐步向客户、服务、体验转变。
　　首先，运营管理对象必须从网络向业务转变。传统的基于网元、网络性能的监控和分析已经研究得非常充分，但最终给予客户的是产品和服务。从面向用户出发，运营管理对象必须进行调整。
　　其次，运营管理模式必须从专业向全网转变。要打破现有以专业为主的监控管理模式和壁垒，为客户提供全专业、全网络的运营管理，从而提供端到端的业务质量体验。
　　再次，运营管理思路必须从监控向管理转变，由被动的网络性能监控，转变为主动的业务质量管理。监控的目的是为了发现问题，需要进一步提升支撑能力、预测能力乃至主动的管控能力。
　　基于上述目标，运营商必须进一步加强以客户为中心的业务QoE的监控和管理。由于其特殊性，QoE的建立方法和模型一直是各运营商及研发机构关注的热点，如何构建合理的QoE就成为首要解决的问题。
　　4 QoE评估的难度
　　广义的QoE不仅仅与网络质量相关，而且与用户使用的终端、所接受到的服务（如客服人员在业务宣传、办理时的方式态度、账单清单的清晰程度）相关。因此，一个全面的QoE模型，牵涉到网络、终端、用户和服务等多个复杂且难以量化的因素。
　　一般为简化QoE模型的建立，首先需要排除一些难以量化和监测的因素（如用户及运营商所提供的售前、售后服务等），仅将用户终端（也可以排除）和网络环节作为重点考察因素。
　　以彩信业务为例（如图1所示），一条彩信的成功发送和接收包含手机、无线接入网、GPRS网络、WAP网关、彩信中心及底层的数据承载网等多个环节的协同配合；如果细分下去，还会包含如路由器、防火墙、交换机、各类服务器等具体设备，因此彩信业务的QoE模型的建立就非常复杂。
　　5 QoE评估方法
　　文献[1]提出的一套KPI/KQI设计思路与架构，提供了自KPI向KQI的由下至上的评估方法以及相对应的服务质量管理模型。但这个模型仅仅提供了QoE的评估思路，具体如何实现还有待进一步细化。
　　基于长期的运营商业务网络监控和分析经验，在TMF GB 923的基础上，本文提出一种QoE评估方法。QoE评估过程的进一步细化，可以按照如下五个步骤开展：
　　（1）分析研究标准规范
　　主要是根据相关标准规范（例如GB 923），研究QoE的定义方法和原理，对具体的业务实现层次和流程进行细化，建立起QoE评估的初步思路。此部分为后续的QoE相关指标的定义和测算提供原则性的指引，可以采用向上汇总和向下挖掘的思路确立指标。
　　向上汇总：通过合理的评估算法生成业务质量KQI，选择重点、具有较大影响力的KPI参数作为KQI的基础，关键指标如：PDP激活成功率、掉话率等，非关键指标如：CP负荷、端口利用率等。
　　向下挖掘：底层KPI可以来自多种途径，不限于网元设备，例如网络性能数据、拨测类数据、信令数据等。KPI数值高低并不能指示业务质量的高低，例如2台设备互备情况。
　　（2）确定QoE/KQI指标