天猫实时数据,实时数据收集解决方案

 

　　一、实时数据收集解决方案

　　随着公司业务发展，各条业务线对数据收集的实时性要求日益增加，为解决该问题，泰然鲸数云计算团队提供了两种数据收集的解决方案。

　　1、基于日志级别的实时数据收集，使用RabbitMQ（消息队列）、Flume（日志收集）、Elasticsearch + Kibana（数据索引+数据展示）和HDFS（云存储）的实时存储与可视化解决方案；

　　2、基于业务数据，尤其是爬虫数据的收集和处理，采用Thrift RPC （远程过程调用协议）+Kafka（分布式发布订阅消息系统）和 Spark Streaming（实时数据处理）的实时计算解决方案。

　　

方案一

　　实时数据存储与可视化解决方案，MQ是消费-生产者模型的一个典型的代表，一端往消息队列中不断写入消息，而另一端则可以读取或者订阅队列中的消息。RabbitMQ支持消息的持久化，保证消息顺序、保证数据不丢失，同时支持多个队列，满足多业务线需求。业务团队在代码架构中将业务日志或服务器日志以Json格式推送到RabbitMQ集群，数据收集团队通过Flume读取RabbitMQ的消息，并将消息转发给Elasticsearch集群与Hadoop集群，在Elasticsearch中，通过对每条消息建立索引，通过倒排索引的技术，能够支持快速查询每条消息，满足技术人员对于日志的分析，同时可以通过Kibana工具对索引数据进行可视化分析。于此同时，同样的数据将持久化保存在HDFS文件系统中进行备份，保证数据不丢失。该方案解决了泰然城的业务线以及门道的日志收集需求，同时提供一部分能力用于大屏数据实时展示。该方案能够提供秒级数据可视化展示，极大的解决了业务中遇到的对于日志分析的需求。具体的架构如图1所示：

　　

图1

　　日志实时入库情况如图2所示，满足实时查询需求。

　　

图2

方案二

　　实时数据计算解决方案。针对爬虫团队的网络授权数据抓取，我们提供了自主开发的一套基于RPC的远程过程调用接口，通过向开发团队提供开发工具包，对方在实时抓取数据后只需调用一个接口，该方案首先将数据保存在临时文件中，然后通过扫描临时文件，将增量数据通过RCP客户端发送到远程RPC服务端，我方在接收到数据后，将数据转发到实时消息队列Kafka中，所有消息都将通过Kafka进行保存，最后启动相对应的Spark Streaming对每条数据进行实时处理、分析，并提供相关反馈。方案二架构如图3所示：

　　

天猫实时数据

图3

　　以上就是鲸数小宝跟大家分享的关于实时数据收集解决方案的知识，希望对大家有所帮助哦！！

 

　　二、京东超越天猫了吗？最新数据告诉你答案

　　阿里巴巴电子商务规模极速扩大，BAT三巨头中的腾讯和百度尝试切入电子商务领域欲分一杯羹未遂。而刘强东一手创办的京东却逐步成为匹敌阿里电商的行业黑马。

刘强东

　　按照刘强东自己的说法，京东给自己定了一个要成为中国B2C行业第一的小目标。并且这个第一不只是宽泛上的第一名，按照刘强东的意思，京东的这个第一要比第二名到第十名加起来还要多。此外，刘强东也公开声称，只要有足够的时间，终究会超过阿里。

京东VS天猫

　　而在刘强东也在现场的世界互联网大会乌镇峰会上，马云则表示阿里巴巴要做的就是培养更多的京东，并且让这样的公司挣钱。事实上，此前有消息称阿里方面在帮助部分天猫店上市一定程度上印证了这一点。

　　2017年京东第一季度财报公布，京东扭亏为盈实现盈利。

　　此时，不少人想起一个问题：京东超越天猫了吗？最新数据告诉你答案

易观大数据

　　从易观大数据发布的关于中国网上零售B2C市场2017年度综合分析报告或许，在过去的一年里，阿里电商继续领跑市场，57.5%的市场份额使得天猫处在绝对的领先地位。

　　第二名的京东市场份额占比为26.2%，差不多是天猫的二分之一。

　　看到这里就比较清楚了，京东是没有超过阿里B2C电商业务的。而京东金融、物流方面虽持续发力，但是于整个阿里生态体系而言还是隔了一段距离。至于这段距离是否会像刘强东说的那样不过是时间的问题，总有一天会超越不得而知。你怎么看京东超越阿里这件事呢？

　　文丨李民民

　　未经授权不得转载，转载授权请联系微信：media－li

 

　　三、「618直击」京东、天猫、苏宁实时最全战报！

　　恰逢世界杯以及端午佳节之际，6月18日凌晨拉开“618”购物狂欢节的序幕，电子商务研究中心（微信ID：i100ec）第一时间征集到各大电商平台数据战报，为您带来最新、最翔实的618独家战报。据各大电商平台第一时间向电子商务研究中心发来的战报数据显示，当前已发布618战报的分别是：京东、天猫、苏宁和国美。

　　当前的“618”越来越像“双十一”一样，已成为全零售行业促销的盛宴，包括京东、天猫、苏宁易购、网易考拉、唯品会、亚马逊中国、国美、当当、1号店等在内的综合电商平台，以及洋码头、寺库、走秀网等在内的跨境进口电商，还有拼多多、云集为代表的社交电商，纷纷开展年中大促，引发一场比肩俄罗斯世界杯的全民狂欢。

　　京东篇

　　6月18日凌晨的钟声敲响，“6·18”年中大促的高潮随之来临。6月18日，京东发布京东全球年中购物节数据。数据显示，截至6月18日00点10分，消费者在京东累计下单金额达1275亿元。3c、数码商品依旧占据榜单，消费品的销量接连攀升。

　　其中，家电销售额8分钟破20亿，手机8秒销量破万、30秒销售额破亿，电脑数码1分钟销量10万件，生活旅行前10分钟销售额同比500%，图书文娱1小时销量破30万册，京东电器再次展现出业内绝对领先的地位。

天猫实时数据

　　除了线上的活动之外，京东从去年开始大规模与线下实体商业融合，今年的6.18也就成为线上和线下一起狂欢的节日。其中，京东以生鲜为特色的线下店——7fresh单日GMV环比增长150%;在单品方面，泰国榴莲在7fresh的销售额增长101倍，蓝月亮的家庭清洁类产品通过京东新通路事业部卖到线下便利店的销售额增长8500%。

　　此外，今年5月京东物流首次公布了无人仓的世界级标准。这标志着由中国物流人自主研发的无人仓智能控制系统，正在开启全球智慧物流的未来。618期间，京东不同层级无人仓项目已达到27个，日订单处理能力同比增幅达1415%。

　　天猫篇

　　18日零点刚过，天猫618将持续两周的购物热情推至高潮，时尚、家电、数码、运动、家装、生鲜、食品等多个品类的销售额不断冲高。

　　天猫电器、手机销售数字一路飙升。海尔、美的、小米、华为等多个商家旺旺被挤爆。仅10分钟，联想旗舰店超过去年618全天销售额；24分钟，大疆无人机销售同比增长500%；40分钟，小米旗舰店超去年18日全天成交;天猫精灵方糖的销量突破100万台。

　　天猫618期间，擦窗机器人增长4倍，自动洗菜机增长23倍，食物垃圾处理器增长266倍，扫地机器人增长1092倍。

　　服饰时尚在天猫618更是全面爆发。面膜卖出了超过2亿片，太阳镜销售超过1.4亿副，美容仪、精华类产品增长也高达8倍。

　　大规模的吃货也在618期间涌入天猫。天猫618恰逢端午节，粽子与咸鸭蛋大卖。天猫披露的数据显示，截至6月16日，约1.3亿只粽子和超过2000万枚咸鸭蛋在天猫上被买走。

　　世界杯与天猫618的相遇，也带动了啤酒、小龙虾以及与球队国家相关产品的大热销。618期间，天猫卖出5000万瓶啤酒；天猫、盒马、口碑、饿了么等平台卖出的小龙虾超过1亿只。

　　苏宁易购篇

　　18日当晚第一个小时内，苏宁易购订单成交额比去年同期增长152%。截至6月18日18：00，整体销售额同比去年增长121%。

　　其中，海尔、苹果、美的占据品牌销售额榜前3强。iPhone 8P、iPhone X、小米8、荣耀畅玩7A、美的空调、雀巢奶粉、泰国金枕头榴莲、雪花啤酒、达利园小面包、维达手帕纸为TOP 10单品订单。

　　世界杯VS端午节“德比”较量，苏宁超市成最大赢家，销售额增长698%。苏宁超市在1小时内，啤酒类饮料售出120万听，小龙虾售出500万只，榴莲10万只，生鲜销售额同比增长1185%。

　　今年618“撞车”端午，苏宁超市数据显示，粽子销量同比去年增长200%，蛋黄鲜肉粽、板栗鲜肉粽、豆沙粽位列销量TOP3口味。

　　超市、母婴等迎来爆发，雀巢奶粉、泰国金枕头榴莲、雪花啤酒等闯入单品订单排行榜前十名。数据显示，尿不湿、奶粉、儿童玩具等母婴产品同比去年增长150%，且购买母婴类产品顾客客单价相对较高。

　　线下市场“快速插上”。苏宁小店主打世界杯套餐与30分钟配送服务，16座城市的苏宁小店自世界杯开始，为深夜看球的球迷“补给加油”。截至6月18日18：00，共接到15万单配送需求，深夜售出世界杯套餐已超过16万份。

天猫实时数据

　　任性付上演最佳“助攻”。1小时内，超30%的苏宁金融订单用户使用任性付支付，交易金额超去年618全天。618当天计划派发10亿元红包，1小时内被领走1.5亿，万元红包还有戏。

　　国美篇

　　国美发布618-12小时战报，销售额已超过去年618全天，订单量同比提升483%，彩电空调送装一体完成超过3000台。