真正的无服务器 Kafka 解决方案，可最大限度地发挥云的优势

一款真正的云原生 Kafka 解决方案。该项目是基于云原生重新设计的新一代 Kafka 发行版。在保持和 Apache Kafka 100%兼容前提下，AutoMQ 可以为用户提供高达 10 倍的成本优势以及百倍的弹性优势，同时支持秒级分区迁移和流量自动重平衡，解决运维痛点。

AutoMQ 特性

云原生

基于云服务构建。每个系统设计决策都会考虑云服务的功能和计费项目，以在云上提供最佳的低延迟、可扩展、可靠且经济高效的 Kafka 服务。

高可靠性

利用云服务的特性，实现 0RPO 和秒级 RTO。

• AWS：使用 S3 Express One Zone 和 S3 提供 AZ 级灾难恢复。
• GCP：使用区域 SSD 和云存储提供 AZ 级灾难恢复。
• Azure：使用区域冗余存储和 blob 存储提供 AZ 级灾难恢复。

无服务器

• 自动扩展监视集群的关键指标并自动扩展/扩展以匹配你的工作负载并实现按需付费。
• 秒级扩展：计算层（代理）是无状态的，可以在秒级内扩展/扩展，这使得 AutoMQ 成为真正的无服务器。了解更多
• 无限扩展：使用云的对象存储作为主存储，永远不用担心存储容量。

无管理

内置自动平衡器组件自动平衡代理之间的分区和网络流量。永远不用担心分区重新平衡。了解更多

成本效益

使用对象存储作为主要存储，设计系统时考虑计费项目，充分利用云服务，所有这些都有助于 AutoMQ，使其比 Apache Kafka 便宜 10 倍。请参阅此报告，了解我们如何将云上的 Apache Kafka 计费削减 90%。

高性能：

• 低延迟：使用 AWS EBS 等云块存储作为持久缓存层来加速写入。
• 高吞吐量：利用预取、批处理和并行来实现高吞吐量。
• Apache Kafka 的卓越替代品：100% 与大于 0.9.x 的 Apache Kafka 兼容，不会失去它的任何良好功能，但更便宜、更好。

架构

AutoMQ 使用 logSegment 作为 Apache Kafka 的代码方面来融入我们的功能。该架构包括以下主要组件：

• S3Stream：AutoMQ 提供的基于对象存储的流媒体库。它是 AutoMQ 的核心组件，负责向对象存储读写数据。
• Stream：Stream 是映射 Apache Kafka 的 logSegment 的抽象。LogSegment 的数据、索引和其他元数据将映射到不同类型的流。
• 持久缓存层：AutoMQ 使用 AWS EBS 等小型云块存储作为持久缓存层来加速写入。请注意，这不是分层存储，AutoMQ 代理可以与持久缓存层完全解耦。
• 流对象：AutoMQ 的数据是按流对象组织的。通过索引通过流对象 id 读取数据。一个流有一个流对象。
• 流集对象：流集对象是小流对象的集合，旨在减少 API 调用时间和元数据大小。

快速开始

基于 Docker

解压 Release 包，进入解压后的目录：

tar zxvf automq-1.0.0_kafka-3.4.0.tgz && cd automq-1.0.0_kafka-3.4.0

可以通过配置 docker-compose.yaml 文件来启动 AutoMQ Kafka 集群。docker/docker-compose.yaml 给出了 1 个 Controller 角色节点和 2 个 Broker 角色节点的文件示例。

• 使用以下命令启动 AutoMQ Kafka 集群：

docker compose -f docker/docker-compose.yaml up -d

使用以下命令销毁 AutoMQ Kafka 集群：

docker compose -f docker/docker-compose.yaml down -v

传送门

开源地址：https://github.com/AutoMQ/automq

-END-