数据库应用在大数据实践中至关重要,技术人员的一项主要工作就是对查询性能进行极致优化,包括底层引擎改造、编译优化、架构优化等手段,同时也要保证大数据场景下的稳定运行。
为此,在DataFunCon 2023(深圳站)的【极致效能OLAP论坛】中,DataFun邀请了来自ClickHouse、炎凰数据、vivo、灵犀互娱和微信的嘉宾,从上述几个方面,全面介绍OLAP的极致优化实践,以及如何赋能业务人员进行数据分析。
欢迎感兴趣的小伙伴,扫码报名,获取免费门票👇
(赠票数量有限,先到先得)
⏰活动时间:11.25(周六)9:00-12:20🍀活动形式:线下(无直播)
☕️活动地点:深圳机场凯悦酒店·宴会厅2
✨论坛亮点:1.揭秘ClickHouse 2024新版本动态2.详解即时编译JIT技术基础与应用3.人群和指标的高效联动分析方法与实践4.分享微信 OLAP 新场景优化实践活动议程
议题详情与嘉宾介绍
👨💻演讲嘉宾:
Alexey Milovdov,ClickHouse CTO
谢志豪 ClickHouse 技术支持工程师
Alexey 毕业于莫斯科国立大学,拥有数学学位。他的兴趣领域包括数据处理算法和技术,他热爱数据和高性能。拥有13年的设计、开发和操作数据密集型应用程序的经验。他于2009年开始着手ClickHouse初始模型的策划和开发,并于2016年将其释放为开源项目。在ClickHouse之前,他开发了全球第二大网络分析系统的数据处理引擎。
Derek 谢志豪是 ClickHouse 的技术支持工程师。主要工作范围包括帮助大型客户解决重大技术问题,优化 Clickhouse 集群,提升使用体验。Derek 毕业于新加坡国立大学 (NUS) 获得信息系统学位,在 ClickHouse 工作之前一直从事数据平台的优化和管理工作。
📕演讲提纲:ClickHouse是业内公认最快的OLAP数据引擎,同时clickHouse也在面对来自包括中国区在内的全球的优秀产品的竞争,这也激励了我们更加努力地发展社区,完善我们的产品。我们非常愿意分享我们产品的新功能新特性以及未来的roadmap,我们也希望听到来自中国社区和用户的期望。硕士,毕业于上海交通大学,在上海炎凰数据主要负责时序数据库的开发。之前在Splunk工作,主要参与数据采集相关的开发工作。
📕演讲提纲:
1. 介绍数据库表达式求值的一般方法
(1)什么是表达式求值问题
(2)常见方法如向量化/JIT/树遍历等
(3)不同的数据库的解法
2. JIT即时编译技术
(1)什么是JIT即时编译技术
(2)JIT技术的优缺点
3. 使用Gandiva表达式编译器
(1)介绍Apache Arrow
(2)介绍Gandiva表达式编译器, LLVM及其工作
🍎听众收益:1. 如何对数据库表达式求值
2. JIT即时编译技术的基本概念以及为什么需要JIT
3. 如何使用Apache Arrow/Gandiva的JIT即时编译技术加速计算
🔥演讲题目:Bit-sliced-index:基于 Roaringbitmap 的人群 OLAP 分析、在线服务的 one more thing?
👨💻演讲嘉宾:黄海林 灵犀互娱 技术专家
唐凯麟 灵犀互娱 高级研发工程师
黄海林,灵犀互动数据服务 leader,Roaringbitmap Java 版 BSI 作者。
唐凯麟,计算机科学与技术硕士,专注于大数据系统和数据平台的技术研发工作,现在主要负责阿里巴巴-灵犀互娱数据平台开发。
📕演讲提纲:第一部分:
1. 灵犀互娱面向游戏用户的数据难题
2. 元数据驱动数据架构设计
第二部分:
此次分享将介绍现代 DMP 平台中的数据存储与计算面临的特点与挑战,以及为灵犀互娱针对海量数据的建模与存储计算优化策略。具体包括:
1. 灵犀互娱业务数据应用现状及挑战
2. 基于 Roaring Bitmap 与 Bit-Index Slice 的数据存储、计算原理介绍
3. 案例分享
🍎听众收益:第一部分:
1. 人群和指标的高效联动分析
2. 高性能人群服务如何设计
第二部分:
1. 海量数据建模、存储与计算解决方案
2. 如何构建高效的海量数据平台架构快速进行数据分析
👨💻演讲嘉宾:孙弘毅 微信 大数据研发高级工程师
硕士毕业于南京大学计算机系,具有多年大数据和分布式系统研发经验,对 Spark、Flink、Kafka、Pulsar 等大数据组件和消息中间件有深入的理解,目前在微信 WeOLAP 团队参与以 Clickhouse 为基座的海量数据亚秒级分析系统研发。
📕演讲提纲:1. ClickHouse 在微信的新应用场景
2. 如何进行查询性能观测
3. 湖仓读取场景优化
4. 实验场景优化
5. 向量数据库应用 & embedding 检索优化
👨💻演讲嘉宾:袁文兵 vivo 互联网大数据架构师
计算机科学与技术硕士,曾任职于腾讯,现在 vivo 负责大数据研发工作,OLAP 项目负责人,专注于大数据系统和 OLAP 数据库的技术研发工作,具有8年大数据从业经验。
📕演讲提纲:1. vivo OLAP 的发展历程与选型
2. ClickHouse 的稳定性实践
3. ClickHouse 查询优化实践
4. ClickHouse 实践案例
🍎听众收益:1. 了解 ClickHouse 常见的稳定性问题及解决方案
2. 了解 ClickHouse 的查询优化方面的实践技巧
3. ClickHouse 如何赋能业务,带来降本增效
赠票数量有限,先到先得
欢迎感兴趣的小伙伴,
扫码报名,获取免费门票👇