电子书上新 |《数据湖与实时数仓:架构、实践与治理》

领取方式如下:

点击下方标签,关注DataFunSummit公众号

关注上方公众号,私信回复『实时数仓』获取领取方式

资料目录及介绍:

结合数据湖的实时数仓架构演进探讨了实时数仓架构的实际应用、设计挑战、技术选型及数据湖方案的优化与实施,分享实时数仓在落地和演化过程中的一些问题和解决方案。

数据湖在快手的应用实践

数据湖Hudi在快手的应用实践,从业务视角回顾其在快手的推广历程,提升开发效率并优化成本。文章将分享应用案例,探讨如何与技术团队配合,将Hudi打造为全公司多场景的核心基础设施。

华为实时入湖 Hudi 应用解决方案

华为推出实时入湖Hudi应用解决方案,支持高效数据集成与实时处理,通过专业CDC工具提升资源利用率,利用Hudi的MOR格式和索引策略优化数据管理和查询,同时创新MOW存储模型和MDT索引加速技术。

面向 Data+AI 时代的数据湖优化与实践

本文探讨了AI数据链路管理挑战与读写性能问题,介绍了Apache Iceberg作为数据解决方案的优势,并通过PyIceberg优化数据加载以提升AI性能。同时,讨论了向量查询优化及数据湖技术面向DataAI的优化实践。

数字经济时代,元数据驱动的数据治理还重要吗?

分享了元数据驱动的数据治理。元数据驱动的数据治理还有助于通过提供对数据上下文含义的清晰理解,来建立数据的信任和透明度。

Hudi 1.0 新功能预览

Apache Hudi 1.0全新发布,优化大数据处理效率和查询性能,支持多模式索引和函数索引,提升系统灵活性和可扩展性,为数据湖仓领域带来显著进步,满足现代数据管理挑战。

京东零售数据湖应用与实践

京东零售通过数据湖架构革新,采用Flink、Spark等技术优化数据处理,提升实时性和效率,降低维护成本。陈洪健分享其应用与实践,强调索引能力对查询效率的重要性,并展望数据架构的未来发展方向。

流式数据湖 Paimon 0.7 的研发进展

Paimon 0.7作为实时湖仓架构,结合Lake Format和LSM结构,支持Upsert操作,优化主键表更新策略。通过CDC技术自动同步数据,提高数据同步效率,并支持嵌套字段索引优化查询性能。

领取方式:关注上方公众号,回复『实时数仓』获取电子书领取方式

相关推荐

  • 丁香园大数据基于 Apache Kyuubi / Celeborn 的实践
  • 从答题到阅卷,还以MMLU评测大模型你就out了
  • ICML 2024 Spotlight | 将表格数据中的专家知识迁移到图像中
  • CCF今年这情况,很严重,大家做好准备吧!
  • SpringBoot + Minio 实现大文件分片上传,很快
  • “剧本杀”进化体!多智能体谋杀案来了
  • 消费行业业务走向云端,IT管理如何提质增效?| 火山引擎飞连《IT研习社》直播预告
  • 中国有望使用最强Blackwell架构!英伟达拼了!突破拜登政府芯片出口限制,为中国定制旗舰版B20!美商务部长:第二天就会反制
  • 无网不惧,轻松上手,openEuler系统离线部署Docker全攻略!
  • 为什么 JDK9 把 String 中 char 数组改成了 byte 数组?
  • 全球电脑蓝屏崩溃,为何中国没事?周鸿祎:因 90% 用 360 软件!
  • 天津大学等提出首个「缸中大脑」控制机器人!脑机接口技术取得新突破
  • 长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙
  • 马斯克19天建成世界最强AI集群!10万块H100「液冷怪兽」即将觉醒
  • 谷歌AI天气「神算」登Nature:30秒模拟22天天气,效率暴涨10万倍!
  • Llama 3.1磁力链提前泄露!开源模型王座一夜易主,GPT-4o被超越
  • 5 个 Pandas 超级好用的隐藏技巧
  • 7k star!斯坦福开源学术研究神器!storm
  • 人民大学通报:教师王贵元猥亵女生情况属实,开除党籍、撤销教授职称开除!人大大王贵元教授性骚扰且强制猥亵我,并要求与我发生性关系”
  • 京东健康·全球医疗AI创新大赛火热进行中,立即参与,共创医疗新纪元!