CruiseControl增強(qiáng)Kafka負(fù)載均衡的示例分析

Cruise Control增強(qiáng)Kafka負(fù)載均衡的示例分析，相信很多沒有經(jīng)驗的人對此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個問題。

創(chuàng)新互聯(lián)公司長期為成百上千家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊從業(yè)經(jīng)驗10年，關(guān)注不同地域、不同群體，并針對不同對象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為丁青企業(yè)提供專業(yè)的成都做網(wǎng)站、網(wǎng)站制作，丁青網(wǎng)站改版等技術(shù)服務(wù)。擁有十年豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。

Cruise Control是一個Kafka負(fù)載平衡組件，可以在大型Kafka集群中安裝使用。在添加或刪除Kafka代理時，Cruise Control可以根據(jù)特定條件自動平衡分區(qū)。

Cruise Control的體系結(jié)構(gòu)由負(fù)載監(jiān)控器、分析器、異常檢測器和執(zhí)行器組成，如下圖所示。 Cruise Control增強(qiáng)Kafka負(fù)載均衡的示例分析

負(fù)載監(jiān)控器

基于標(biāo)準(zhǔn)Kafka指標(biāo)和資源指標(biāo)生成集群工作負(fù)載模型，以利用磁盤、CPU、字節(jié)輸入速率和字節(jié)輸出速率。將集群模型輸入到異常檢測器和分析器中。

分析儀

根據(jù)用戶提供的優(yōu)化目標(biāo)以及來自Load Monitor的集群工作負(fù)載模型，生成優(yōu)化建議。可以設(shè)定硬目標(biāo)和軟目標(biāo)。必須實現(xiàn)硬目標(biāo)，而如果達(dá)到硬目標(biāo)，則軟目標(biāo)將無法實現(xiàn)。如果優(yōu)化結(jié)果違反了硬目標(biāo)，則優(yōu)化將失敗。

異常檢測器

負(fù)責(zé)檢測以下異常：

異常現(xiàn)象	原因	結(jié)果
Broker失敗	非空Broker崩潰或離開集群。	Cruise Control通過刪除故障的broker來修復(fù)集群。
違反目標(biāo)	優(yōu)化被違反。	如果啟用了自我修復(fù)，Cruise Control會自動分析工作負(fù)載并執(zhí)行優(yōu)化建議。
磁盤故障	非空磁盤死亡。	如果啟用了自我修復(fù)功能，則Cruise Control會將所有脫機(jī)副本移至正常代理。
指標(biāo)異常	收集的指標(biāo)異常。	可能會先降級，如果異常仍然存在，請根據(jù) self.healing.slow.brokers.removal.enabled配置刪除速度慢的broker 。

執(zhí)行器

執(zhí)行優(yōu)化建議，執(zhí)行建議時可以安全地中斷它。執(zhí)行始終是資源感知的過程。

檢索指標(biāo)

Cruise Control使用Kafka存儲和檢索其指標(biāo)，該指標(biāo)由Metric Fetcher讀取。

在負(fù)載監(jiān)視器中，Metric Fetcher Manager負(fù)責(zé)協(xié)調(diào)所有采樣任務(wù)：Metric采樣任務(wù)，Bootstrap任務(wù)和線性模型訓(xùn)練任務(wù)。

每個采樣任務(wù)都由配置數(shù)量的Metric Fetcher線程執(zhí)行。每個Metric Fetcher線程使用一個可插入的Metric Sampler來獲取樣本。每個Metric Fetcher都在集群中分配了幾個分區(qū)以獲取樣本。指標(biāo)標(biāo)準(zhǔn)樣本由指標(biāo)標(biāo)準(zhǔn)樣本聚合器組織，該指標(biāo)標(biāo)準(zhǔn)聚合器根據(jù)指標(biāo)標(biāo)準(zhǔn)樣本的時間戳將每個指標(biāo)標(biāo)準(zhǔn)樣本放入工作負(fù)載快照中。

集群工作負(fù)載模型是負(fù)載監(jiān)視器的主要輸出。集群工作負(fù)載模型反映了集群的當(dāng)前副本分配，并提供了移動分區(qū)或副本的接口。分析器使用這些接口來生成優(yōu)化解決方案。

樣本存儲區(qū)存儲指標(biāo)標(biāo)準(zhǔn)和訓(xùn)練樣本以供將來使用。

借助指標(biāo)標(biāo)準(zhǔn)采樣器，您可以將Cruise Control部署到各種環(huán)境并與現(xiàn)有的指標(biāo)標(biāo)準(zhǔn)系統(tǒng)一起使用。

在Cloudera環(huán)境中使用Cruise Control時，將 HttpMetricsReporter 指標(biāo)報告給Cloudera Manager時間序列數(shù)據(jù)庫。結(jié)果，可以使用Cloudera Manager讀取Kafka指標(biāo)。

看完上述內(nèi)容，你們掌握Cruise Control增強(qiáng)Kafka負(fù)載均衡的示例分析的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！

新聞名稱：CruiseControl增強(qiáng)Kafka負(fù)載均衡的示例分析
URL地址：http://www.xueling.net.cn/article/jsidoj.html

老熟女激烈的高潮_日韩一级黄色录像_亚洲1区2区3区视频_精品少妇一区二区三区在线播放_国产欧美日产久久_午夜福利精品导航凹凸

重慶分公司，新征程啟航

CruiseControl增強(qiáng)Kafka負(fù)載均衡的示例分析

其他資訊