大数据dpi
1. 电信dpi数据包含了用户的许多什么行为
做用户行为分析的基础是获得用户行为数据，例如用户页面停留时间、跳转来源等等。这些信息有些能直接拿到，有些是需要做一些计算才能拿到的。一般来说用户访问时的一些信息都是以日志的形式打到web容器的日志空间中去，这其中包含了最通用的一些访问信息以及一些自定义的日志打点。
题主提到了大数据技术中对用户行为进行分析，那么可以假定网站或者App的访问量是比较傲多的。由于系统流量比较大，计算维度又比较多，后续数据消费者的需求增长比较快，所以对计算分析平台有了一定的要求。具体表现为：
1.负载能力。流量增大以后带来的压力是多方面的，比如网络带宽的压力、计算复杂度带来的压力、存储上的压力等等。一般来说这些都是比较显而易见的，会对产生比较直接的影响，比如计算实时性下降、消息出现了堆积、OOM等等。为了解决这一现象，一般来说会选择一些分布式的框架来解决这个问题，比如引入分布式计算框架storm、spark，分布式文件系统hdfs等。
2.实时性。在系统资源捉襟见肘时消息的实时性会立即受到严重影响，这使得部分算法失效（例如对计算和收集上来的数据进行行为分析后，反馈到推荐系统上，当整体响应时间过场时会严重影响推荐效果和准确度）。对于这个情况来说可能会选择storm这种具有高实时性的分布式流式计算框架来完成任务。
3.系统管理和平台化相关技术手段。在大数据情景下，企业内数据环境和应用环境都是比较复杂的，用户行为分析应用不是一成不变的，那么就要求用户行为分析这种多变的应用在复杂环境中能有效生存，这包括算法数据材料的获得、系统运维、系统任务调度、系统资源调度等等，相关的技术很多时候要求团队自研，但也有ganglia、yarn、mesos这类开源系统可以参考或者直接使用。
4.数据链路。企业技术环境一般来说是非常复杂的，一层一层交错在一起，远不是一句MVC三层架构能够概括得了的，为了避免消息流通呈复杂的网状结构，一般会考虑应用服务化、企业服务总线（ESB）及消息总线来做传输，有兴趣的话题主可以网络一下这几个方向的技术和开源工具。
5.应用快速生成工具。我个人认为在大数据环境下应用都摆脱不了一个快速开发的要求，用户行为分析也是如此，这时候要考虑对接一些开源的分布式数据分析算法库而不是通过自己去实现，比如像spark ml，mahout这类的库用得好能减少很多工作量。
2. 运营商大数据对外价值变现的十大趋势
|作者 | 傅一平
来源 | 与数据同行
最近中国移动提出了DICT战略，显示其在政企市场进一步拓展的雄心，在这个背景下，重新探讨下运营商的大数据变现很有意义。虽然近半年“大数据圈”似乎有点风声鹤唳，但对于合法合规的进行大数据业务的企业来讲没有什么影响。
下面笔者就结合自身实践，给出未来2-3年运营商大数据价值变现的十个趋势判断，仅代表个人看法，希望于你有所启示。
1、行业服务边界不断拓展
依托于运营商潜力巨大的数据资源和政企市场渠道资源，经过多年的市场培育和拓展，当前运营商大数据业务从原来的金融、旅游等行业逐步拓展到政府、旅游、交通、教育、商业、招聘、医疗等各个各业。
运营商ICT业务在推进中，也孕育了不少大数据业务的商机，大数据业务则反过来促进了ICT业务的发展，因为大数据除了业务价值，还有一定的社会品牌效应，两者通过融合可以形成合力。
随着企业数字化转型的加快及产业互联网的崛起，作为未来社会基础设施的大数据，将与云计算、人工智能、物联网、区块链一起，在行业领域开疆扩土，其应用的边界几乎是无限的。
2、进入行业应用的深水区
大数据在行业领域拥有着巨大的潜力并不意味着运营商就能分得多少杯羹。虽然运营商大数据业务当前在金融、旅游等行业已经有所斩获，但这些行业低垂的果实基本要被摘光了。
以金融为例，4-5年前运营商切入的验真，失联触达等业务，当前仍然是运营商大数据变现的主力，但金融行业并未如运营商原先预料的那样，在贷前、贷中、贷后中给予运营商更多的机会，运营商很多变现业务模式的拓展基本是停滞的，起码不够快。
在大量的其他行业领域，运营商往往只能做到蜻蜓点水，而无法聚沙成塔，比如业务的复购率很低。
从定性的角度讲，运营商对于行业的理解还是比较浅的，其大量的行业应用游走在企业的核心生产流程之外，大数据似乎是奢侈品，而不是必需品，因此粘性是不够的。
以金融验真这个业务为例，其附加值并不高，且容易被替代，想想这几年对于金融行业的理解又增加了多少呢？这些都是需要反思的地方。
笔者曾经在智慧交通相关文章中提到：运营商的数据在很多领域其实是很有前途的，但必须深耕，要理解这个行业的业务，通晓这个行业的算法，不停的打磨产品，从而逼近核心。
可以这么说，运营商大数据将很快进入行业应用的深水区，为了顺应这个趋势，运营商需要建立专业化的组织去攻坚克难，挑战很大。
3、与互联网公司的竞争加剧
互联网应该没有把运营商当成主要的大数据竞争对手，但运营商进入这个领域会跟互联网公司形成事实上的竞争，无论是新零售，智慧交通等等，进入者都会感受到互联网巨头的压力。
比如运营商要为大型商超提供数据服务，但互联网公司早就捷足先登，新零售是互联网出的概念，当运营商还在进行自身渠道的艰难转型时，互联网公司线下商业的版图已经规划好了，当然也包括了大数据业务。你到商超谈，人家一开口就提XX通怎么样怎么样。
当然还不仅仅是这些。
无论是互联网公司在To G上自顶向下的推广策略，还有诸如城市大脑单一采购来源的霸气，都在说明巨型互联网公司在这些领域的影响力。
运营商要获得机会，得动用一切可用的资源，发挥自己数据的差异化价值，由点及面去寻找机会。实践证明，管道数据的价值是巨大的，但巨型互联网公司的数据也越来越好，这是不得不面对的现实。
4、从要素驱动向要素+能力驱动转型
运营商当前在大数据变现上的突破只能说摘取了低垂的果实，但这种通过简单数据加工形成的数据产品竞争力是不够的，也是不可持续的。
比如做智慧交通，如果位置精度和覆盖度不够，连速度都测不准，根本做不出高质量的数据产品。
应该来讲，运营商从来就没有现成的、高精度的、可以到用户级别的位置数据，粗精度的原始位置数据未来可能连支撑运营商自己的业务转型都不够，运营商需要充分挖掘现有位置数据的潜力，通过建模等方式把较为精准的位置模型做出来，才能有基本的大数据变现底蕴。
位置精度的提升虽然是一小步，但却是对外大数据变现的一大步。位置准了，运营商对于人们整个线下生活的理解就准了，无论是客流，路网，OD等等都不再话下。
现在运营商依靠数据资源这个要素能走出第一步是不错的，但光靠资源驱动已经不够了，能力必须过来接棒，没有能力加持的运营商大数据变现前景暗淡。
因此，运营商大数据变现未来不再是躺着挣钱，而是要从原始数据的驱动向数据+能力双驱动转型，这个能力包括人才、技术、数据、产品、运营等等，这是不容置疑的。但如果只是空喊着口号不敢探索尝试，则也许连能力提升的机会都没有。
5、持续强化大数据合作的生态
大数据变现从底向上涉及平台、数据、建模、产品、方案、渠道、咨询、运营、安全等一系列的内容，运营商无法一手包办，因此必须建立合作的生态。
从业务的角度看，缺乏渠道合作伙伴、缺乏行业解决方案对于运营商都是很现实的挑战，最大的痛苦莫过于不知道商机在哪里，不知道自己想做的这个数据或产品有没有前途。运营商不可能瞬间将现有的客户经理队伍转为数字化产品的销售队伍，毕竟知识结构的要求不一样。
虽然可以采取MVP的方式推进，但一方面试错的成本摆在那里，运营商也并没有资本为其背书，另一方面时间成本也大了点。现在很多运营商都有合作伙伴招募计划，这是很好的尝试，但符合要求的合作伙伴还是太少了。
从开放的角度看，中国移动的梦网曾经创造过辉煌，但开放这句口号不是随便喊喊的，你得建立一套标准，清晰的告诉别人你有什么能力，然后如何能方便的接入。
比如当我们在互联网大会展示城市实验室产品的时候，发现仍然有那么多的人惊讶于运营商竟然还能做这个，就说明我们在开放这条道上还有很长的路要走。
而当笔者第一次访问阿里云网站的时候，其较好的使用体验给我留下了深刻的印象，随后定期的营销推送起码说明是用心的，又比如笔者第一次使用腾讯云域名申请时，其后腾讯云客服的电话调研也是很及时的。
因此，能否跟更广泛的合作伙伴建立连接，能否建立起开放的平台，能否确保信息的安全，在很大程度上决定了运营商大数据变现的蛋糕能做多大。
6、通过集中化获得溢价能力的趋势将加强
由于历史原因运营商的大数据实际是分省存储和运营的，这跟互联网公司天然的集中统一的数据基因是完全不同的。虽然一些运营商在集中化上做了很多努力，但相对互联网公司，还是有一些差距。
各省本地化做一些产品虽然带来了灵活性，但造成了事实上的重复开发，这种模式在创新阶段其实没什么问题，但最大的问题是各个省能否有足够的资源去保证产品的持续优化，无论从数据的角度，还是从运营的角度看，我们都需要一定的集约化机制来确保高效低成本的运作。
但这还仅仅是一个方面。
另一方面，相较互联网，由于数据的割裂，运营商基于单个省的数据做出的产品溢价能力不高，往往只能服务于特定区域，在很多竞争中会处于劣势，比如当前运营商基于位置数据的应用很多，但为什么上网数据的变现却很少呢？
这个不仅仅是简单的https问题，更是因为客户对于上网数据的诉求基本是全国的，没有地域的概念，这让运营商失去了很多突破的机会。
因此，运营商的大数据在一个省创新后迅速全网复制是一直要坚持的策略，而基于集中化的数据进行创新是提升产品竞争力的一个关键。
7、运营商DICT战略将使得大数据获得更大支持
随着数字经济的发展和行业数字化的进步，传统产业转型升级的需求强劲，运营商和云服务提供商，均在强化云、网、端、边协同，推出“云+网+DICT”智能化解决方案，帮助企业实现更深层次的数字化转型。
运营商的政企2B市场是当前关注的焦点，而云+DICT（DT+CT+ICT+IDC）又是其中的关键，这意味着未来各种资源会逐步会向DICT倾斜，大数据需要抓住这个机会，通过DICT的融合来促进大数据业务的规模化发展，所谓“借势”。
另外，当前三大运营商已经宣布了5G商用，中国移动也发布了了“5G+”计划，其中包括“5G+AICDE”计划，“5G+AICDE”是将5G作为接入方式，与人工智能（AI）、物联网（IoT）、云计算（Cloud Computing）、大数据（Big Data）、边缘计算（Edge Computing）等新兴信息技术深度融合，准备打造以5G为中心的泛智能基础设施。
5G时代人和物、物和物之间的连接产生的数据类型将会更多，5G更密集的基站布点意味着更高的定位精度，5G业务形式更加多样意味着管道中的数据内容会爆发性增加，运营商对于客户行为的刻画能力将进一步加强，每项垂直5G行业应用都将会与大数据有着千丝万缕的关系，这些对于运营大数据的发展是利好。
8、日益趋紧的数据安全要求对于运营商既是挑战也是机遇
运营商虽然拥有海量的数据，但很多省公司并未实质性的开展大数据业务，很多是基于安全的考量。即使是正在开展大数据变现业务的运营商省份，合规合法经营也是其开展大数据业务的底线，运营商对于大数据的业务创新是相对保守的。
事实上，运营商当前能开展的各项大数据新业务，都需要经过内部极其严格的法律、安全多道审核，加上行业、集团、省出台的各种安全管理规范的约束，还有定期的安全检查，都让运营商大数据业务从一出生就经历着内部一轮轮的安全洗礼。
2019年持续发酵的各种信息安全事件让大数据圈似乎如履薄冰，但其打击的还是各种违法经营和黑市交易。事实上，经过新一轮的洗盘，运营商也许会面临较以往更好的商业环境，数据可能会变得更为稀缺，毕竟以前黑市的数据交易会导致良币驱逐劣币的现象，当然这也只是一种猜测。
可以肯定的是，未来国家对于信息安全管控的趋紧会使得大数据业务的创新变得更具挑战性，但合规合法的进行大数据价值挖掘，助力中国经济高质量发展始终是主流，运营商虽然会面临安全上的挑战，但也有更多的机会。
9、运营商大数据对于TO C业务的探索不会停止
互联网公司TO C业务前期是靠钱烧出来的，毕竟消费者是趋利的，拥有高体验的产品和一定基础的用户后，互联网公司才有了珍贵的海量数据，这个时候大数据才有用武之地，反过来赋能业务发展，这是互联网公司应用大数据的本质。
运营商天然就有大数据，但大数据变现的实践还是告诉我们，运营商的数据维度还是不够丰富，比如缺乏消费数据，而巨型的互联网公司通过应用的丰富不断积累着更多维度的数据。
事实上，当前运营商的数据维度拓展基本是停滞不前的，如果不加以改善，在不久的将来，运营商的数据优势会逐步变小，最终会影响到产品的竞争力。
现在运营商建立了很多专业公司，比如中国移动的咪咕，有人会质疑这些公司能否赚钱，姑且不从战略的角度思考这个问题，即使站在大数据的角度看，这些公司的拓展能够让运营商拥有更丰富的数据，这就很有价值。最近中移金科成立了，支付数据对于DT有多重要不用解释吧，因此意义是很深远的。
其实做大数据产品的，哪个没有点TO C的梦想？希望运营商能基于自己的资源优势，结合大数据的差异化特点，能够打造出真正的既卖座又叫好的TO C产品。
10、运营商对于低价值密度的大数据处理能力要求会大幅提升
运营商的DPI数据具有典型的大数据特征，有潜力但价值密度低，但这个数据是运营商除位置数据以外最珍贵的数据，很多人说这个数据在运营商变现中实际没啥应用场景，或者言必称https，那是比较业余的说法。
随着5G时代的到来，对于DPI数据的有效开采挖掘对于运营商大数据变现是核心的基础工作之一。
首先，DPI这个技术原生是为网络优化服务的，比如很多字段对于数据变现没有价值，能否考虑更高性价比的处理手段？这个就需要运营商针对性的进行研究，比如从客户洞察、精准营销和价值变现的角度去高效低成本的采集管道中的数据。
其次，5G海量、低延时、非结构数据的特点，将进一步促进数据存储、处理和分析技术的进步，即使是当前的4G，从采集到应用的时延也是比较高的，很难达到场景式营销的要求，而且保留的周期也非常有限。
最后，5G大数据的价值密度将进一 步降低，对AI的能力要求将更高，即使是针对当前的4G数据，运营商的NLP等能力储备也是不够的，因此要尽快补足短板。
当然，以上十个趋势只是笔者的个人判断，受限于自己的能力和视野，以上谈的肯定有很多不到位的地方，权当笔者抛砖引玉，如果能引发一点思考，那就更好了。