正文内容 评论(0

火山引擎ByteHouse:如何提升18000节点的ClickHouse可用性?
2023-09-26 15:52:29  作者:cici 编辑:cici     评论(0)点击可以复制本篇文章的标题和链接

ClickHouse是业内被广泛使用的OLAP引擎。当集群规模过大时,ClickHouse则面临使用局限性的问题。如何提升ClickHouse的可用性,成为困扰广大开发者的难题之一。

目前,字节跳动内部的 ClickHouse 节点总数超过 18000 个,管理总数据量超过 700PB,最大的集群规模在 2400 余个节点。字节跳动内部很多业务都建立在 ClickHouse 为基础的查询引擎上,因此在可用性提升上具备广泛经验。

在内部丰富经验的基础之上,火山引擎也将字节跳动可用性方面经验通过云原生数据仓库ByteHouse对外输出。火山引擎ByteHouse以开源ClickHouse为基础,经过字节跳动多年的优化和完善,提供了更丰富的功能和更强的性能,主要为用户带来极速的分析体验,解决了ClickHouse集群节点数增长过快,带来的多方面问题:Zookeeper性能出现瓶颈,故障发生频率增加;故障恢复时间过长;运维复杂度提升。

为了进一步提升ClickHouse的可用性,ByteHouse从降低Zookeeper压力和提升故障恢复能力两个方面进行升级。

首先,ByteHouse采用先进的集群管理策略,降低Zookeeper在集群管理中的角色和压力。Zookeeper在分布式系统中常常被用作协调和管理节点,但在大规模集群中可能会成为性能瓶颈。通过减少对Zookeeper的依赖,ByteHouse将部分协调和管理功能下放到各个节点上,使得集群中的每个节点能够自主地进行协调和管理,从而降低了Zookeeper的压力。

其次,ByteHouse提升了ClickHouse故障恢复能力。在分布式系统中,故障恢复是保障系统可用性的重要环节。通过完善的数据备份和恢复策略,ByteHouse可以在节点发生故障时,快速恢复数据和系统状态。此外,ByteHouse还通过节点状态实时检测和自动隔离策略,防止故障扩散到整个集群。

[MD:Title]
ByteHouse故障恢复改造思路

以上优化策略不仅提高了集群的性能和稳定性,也使得ByteHouse成为了企业级用户在大数据处理和分析领域的重要选择。未来,火山引擎ByteHouse将继续致力于提供更优质的大数据处理和分析服务,帮助企业更好实现数字化转型。

 

【本文结束】如需转载请务必注明出处:快科技

责任编辑:

  • 支持打赏
  • 支持0

  • 反对

  • 打赏

文章价值打分

当前文章打分0 分,共有0人打分
  • 分享好友:
  • |
本文收录在
#快讯

  • 热门文章
  • 换一波

  • 好物推荐
  • 换一波

  • 关注我们

  • 微博

    微博:快科技官方

    快科技官方微博
  • 今日头条

    今日头条:快科技

    带来硬件软件、手机数码最快资讯!
  • 抖音

    抖音:kkjcn

    科技快讯、手机开箱、产品体验、应用推荐...