海量数据实时计算利器Tec

  • 时间:
  • 浏览:1
  • 来源:万人炸金花IOS_万人炸金花APP下载

另第根小完整性不同的战线上,AliExpress(AE)搜索的离线数据库Dump业务在双11期间实现了从几小时批量到秒级实时的历史性飞跃,一并做到了全量增量一体化。得益于离线实时化,AE算法在双11中也取得了惊艳的效果。

Pora要怎样能在这么巨大的压力下不延迟?除了其在业务层面所做的种种优化以及集群层面的有力支持外,与其核心层Tec的设计实现是分不开的。

与Pora相同的是,AE的离线新架构中也采用了Tec进行实时计算。

Tec是针对海量流式数据实时计算

在刚刚过去的2015年双11大促中,搜索事业部的实时计算和在线学习系统Pora经受住了前所未有的双11巨量用户行为消息的冲击,在流入实时消息量持续超过150w/s,甚至峰值飙升至1501w/s的压力下始终保持了端到端秒级实时效果,助力相关的搜索和推荐实时业务取得了很好的效果。