近日,第十二届BigData NoSQL Meetup在快手总部圆满落幕。来自快手、阿里云、京东、滴滴、贝壳找房的技术专家与近300位开发者齐聚一堂,交流分享NoSQL等大数据技术的应用与实践。
本次活动由快手技术沙龙、云栖社区等技术社区共同举办。快手技术沙龙是由快手举办的线下技术交流活动,每期活动将以AI、大数据、音视频技术等技术方向为主题,邀请产业、学界的专家、技术人员进行分享,打造前沿技术的交流平台。
快手大数据高级研发工程师陈杨
本次活动上,快手大数据高级研发工程师陈杨首先分享了《hBase在千亿级用户特征数据分析中的应用与实践》。陈杨介绍,快手每天产生数百亿用户特征数据,分析师需要在跨30-90天的数千亿特征数据中,任意选择多维度组合秒级分析用户行为。针对这一需求, 快手基于hBase自主研发了支持bitmap转化、存储、索引、快速计算的分析服务——BitBase,并成功应用于留存分析、用户增长、广告营销、ABTest 等多个业务场景。
阿里云数据库专家吴阳平
阿里云数据库专家吴阳平的演讲主题为《阿里云hBase x-pack数据存储检索分析平台》,演讲分享了阿里云hBase x-pack 的平台能力——基于 Apache hBase、Phoenix、Spark 深度扩展,融合 Solr 等技术,支持海量数据的一站式存储、检索与分析,被广泛应用于风控、推荐、检索、画像、 社交、物联网、离线数仓等场景,助力企业数据智能化。
京东大数据技术专家吴怡燃
京东大数据专家吴怡燃分享了《NoSQL在京东的使用》。演讲首先介绍了NoSQL在京东的使用场景;讲解了hBase支撑在线系统时遇到的挑战与改进,如支持异构配置的RSGroup、RPC优化RWS队列、跨集群双活集群等;并分享了hDFS参数优化、Zookeeper配置优化、hBase参数优化等经验。
滴滴大数据工程师初晓
滴滴大数据工程师初晓分享了《基于hBase的NewSQL落地实践》,主要分享了hBase及其生态组件Phoenix、Kylin 在滴滴的使用场景及落地中遇到的问题及解决方法。
贝壳大数据架构团队负责人赵国贤
贝壳大数据架构团队负责人赵国贤分享了《流式数据的平台化实践与挑战》,介绍了贝壳流式数据从产生、处理、应用整个生命周期的管理与平台化实践。包括流式数据的挑战、流式数据的平台化建设以及流式数据的应用案例。
一直以来,快手十分重视、关注NoSQL等大数据技术的发展。本次快手技术沙龙与云栖社区联合举办BigData NoSQL Meetup活动,正是希望能够进一步推动相关技术的沟通与交流,看到更多经验分享、更多对技术挑战的突破。