您当前的位置:首页 >> 广告
面向政府管理的大数据客情分析产品
发布时间:2019-08-11
 


 背景  

 

为深入贯彻《习近平与“十三五”十四大战略》系列文章之“国家大数据战略”篇,打破“信息孤岛”和“数据烟囱”,甘肃移动用大数据提政府效能和宏观调控能力,提高政府社会治理能力,意欲通过政府辖区每日流入流出以及滞留客情情况,分析其来源,去向,人口特征等信息,进一步掌握该区域劳务输出情况、酒店住宿情况等信息。进而为政府提供决策依据,为百姓提供出行指南,为城市业态规划提供指导意见。


 产品内容  

 

基于甘肃移动数据资源,利用大数据、数据挖掘等技术,甘肃公司研发面向政府管理的大数据客情分析产品,通过运营商数据分析出社会公众的移动位置、流动信息,经过筛选过滤数据源,分别从用户溯源、流向、人员聚集、人口特征、劳务输出等维度进行数据分析。目前产品主要包括首页大屏展示、流入分析、流出分析、统计报表、滞留分析、聚集分析、人口特征以及劳务输出等功能。

本产品研发以国家各类技术规范和业务要求为依据,采用国际先进的技术解决方案。对于不同数据类型的大数据集和应用场景,使用主流的Flume+Kafka+Spark Streaming架构模式,来实现对信令数据的实时处理。信令流式处理过程如下:

图1 信令实时处理过程

  • Flume从网管实时采集信令数据;

  • Flume将采集到的数据推送到Kafka分布式消息系统;

  • Kafka从Flume下拉数据提供给Spark Streaming流式计算消费使用;

  • 流式计算经过关联一系列维表、过滤、剔重、汇总计算等环节之后,将数据落地装载至数据库。

同时为了保证用户前端系统友好的用户感知和体验,采用了当前流行的基于node.js 的B/S系统结构建设面向政府管理的大数据客情分析产品。

结合未来平台可能的发展方向,以主流开源通用框架技术为主+结合特定专业场景定制开发,设计面向政府管理的大数据客情分析产品平台架构。

图2 平台架构

(1)数据源。平台结合使用信令数据与计费数据,充分挖掘发挥运营商数据的价值。

(2)计算层。通过流式实时计算实现对数据的清洗、转换,通过离线计算构建面向政府管理的客情模型体系。对计算完的数据进行脱敏处理,最后将该部分数据转载进数据库中。

(3)数据装载。经过计算层数据的处理,会生成多种类型的数据,这些数据被分发到不同的地方,按照顺序,排队装载进数据库中。在数据装载发生异常时,实现异常数据留存与日志监控,以确保数据的完整性。

(4)业务逻辑层。初始装载进数据库的数据为粒度较细数据,为了保证系统前端访问效率,需要对细粒度数据进行定时粗粒度化汇总,该层主要负责汇总分析不同时间粒度(分钟、小时、日、月)的业务结果数据。

(5)服务层。逻辑层汇总分析生成的结果数据,经过业务数据模块化组装之后,可以提供给上层应用直接(直接使用)或间接(数据接口)使用。

(6)应用层。有了服务层的数据之后,可以对汇总分析的结果数据进行可视化呈现与接口集成。

平台整个架构的处理流程符合部门安全管控要求,数据处理流程利用BDI平台全程可视化管控,提升了系统的健壮性。


 产品优势  

 

(1)完全自主研发,核心能力自主掌控

该产品为甘肃公司自有员工完全自主研发,从商务、产品设计、数据、程序以及安全等环节,实现全流程闭环自主性管理,实现甘肃移动数据变现产品与自研产品的“双零”突破,同时也为公司四轮驱动战略中的“新业务”、“政企”保障作出贡献。

(2)面向政府的客情模型体系,提升政府软实力

面向地方政府,构建用户常驻地、务工返离乡人员识别、漫入交通方式识别、漫入用户职业识别、人口偏好识别等模型,帮助政府机构深入洞察所辖地域客情。

(3)平台化的产品研发模式,提升产品效率

传统的产品研发模式是一个产品一套系统,各个系统之间互相独立,彼此之间没有关联性。这种产品研发模式有个很大的缺点就是当我们再有同类型的产品需要开发时不能复用,导致我们不得不重新从头开发,从而极大的浪费了人力成本和时间,不能满足当今互联网的快速迭代开发,以至于错过许多商业机会。

然后,平台化的产品研发模式,研发一个数据处理平台,多个产品复用,减少重复开发,提高开发效率,实现节约成本、快速开发、快速迭代、快速响应、快速上线的效果。

图3 产品研发模式

(4)扁平化服务模式,提升服务效率

原来公司竞标拿到项目建设权之后,一般会找第三方厂家进行开发,本次项目完全为公司自有人员开发完成,相较于第三方厂家,具有研发成本低、项目周期短、核心技术自主掌控的特点。

图4 服务模式


 应用效果  

 

产品快速迭代开发完成了如下web展示系统,如下图所示:

图5 首页

图6 务工流向

(1)经济效益

增加公司收入:2017年,与政府签约收入百万余元。

增强政企粘性:通过提供产品服务手段,增加政企业务对外粘性,增强公司对外竞争力,助力企业更好更快发展

(2)社会效益

支持政府职能释放,系统稳定运行至今,服务政府发布大数据客情报告,彰显央企责任本色。

图7  2018年某市春节人口流动大数据报告


 结束语  

 

面向政府管理的大数据客情分析产品,利用甘肃移动大数据挖掘能力,深耕运营商数据,精准分析出社会公众的移动位置、流动信息,经过筛选过滤数据源,紧扣流入、流出、滞留三个特征,围绕用户溯源、流向、人员聚集、人口特征、劳务输出等五项维度,为零售业、交通运输、城市规划、房地产、娱乐、旅游、公共安全管理等行业提供了人流来源去向、行为偏好、人口基础信息等基础信息输出服务,有效配合了政府的社会管理职能实施。系统推出后,得到客户的深度好评,同时也为甘肃移动的自研变现之路做了有益的成功尝试。

本文供稿于

“甘肃移动陈宝平、潘江波”

相关阅读