天天即時(shí)：分布式集群化設(shè)計(jì)——MySQLServer

(資料圖片)

1、MQ場(chǎng)景    1）訂單異步解耦    2）解決分布式事務(wù)問(wèn)題    3）應(yīng)用于聊天平臺(tái)    4）大規(guī)模機(jī)器的Cache同步    5）MySQL BinLog訂閱數(shù)據(jù)分發(fā)2、ONS應(yīng)用場(chǎng)景    異步、解耦、最終一致、并行3、設(shè)計(jì)假定    1）每臺(tái)PC機(jī)器都可能down機(jī)不可服務(wù)    2）任意集群都可能處理能力不足    3）最壞情況一定會(huì)發(fā)生    4）內(nèi)網(wǎng)環(huán)境需要低延遲來(lái)提供你最佳用戶體驗(yàn)4、關(guān)鍵設(shè)計(jì)    1）分布式集群化        a、理論上無(wú)限處理能力        b、集群級(jí)別高可用    2）強(qiáng)數(shù)據(jù)安全        a、單機(jī)磁盤級(jí)別冗余        b、單組多隊(duì)列級(jí)別冗余        c、多組消息隊(duì)列冗余    3）海量數(shù)據(jù)堆積        a、推模式：訂閱者邏輯簡(jiǎn)單        b、拉模式：關(guān)注吞吐量，快        c、推拉結(jié)合：隊(duì)列通知消費(fèi)者，消費(fèi)者去拉取（兩次交互）        d、阿里采用長(zhǎng)連接和輪詢：輪詢?nèi)ダ袆t拉取，無(wú)則保持長(zhǎng)連接等待，直到有消息    4）毫秒級(jí)投遞延遲5、關(guān)鍵概念    1）Topic：第一級(jí)消息類型，主標(biāo)題    2）Tug：第二級(jí)消息類型，分標(biāo)題    3）發(fā)送組：生產(chǎn)者所在集群    4）訂閱組：消費(fèi)者所在集群    5）RocketMQ不是一對(duì)一，也不是一對(duì)多，是隨機(jī)一對(duì)一    6）網(wǎng)絡(luò)三種狀態(tài)：成功、失敗、沒(méi)響應(yīng)6、消息亂序問(wèn)題：Message服務(wù)器不處理，恰好不需要解決    1）發(fā)送時(shí)對(duì)消息進(jìn)行編號(hào)    2）一組消息只有唯一一個(gè)訂閱者處理（sharding）    3）一組消息的數(shù)量（即“鎖的顆粒度”）越小越好7、消息重復(fù)問(wèn)題    1）重復(fù)原因：網(wǎng)絡(luò)不可達(dá)    2）冪等：某個(gè)操作無(wú)論重復(fù)多少次，結(jié)果都一樣（不需要解決，性能極高）    3）非冪等，去重        a、保證有個(gè)唯一ID標(biāo)記每一條消息；        b、保證消息處理成功與去重表日志同時(shí)出現(xiàn)    4）去重代價(jià)：額外的tps和qps8、事務(wù)的分布式優(yōu)化    1）事務(wù)1-->MQ Server-->事務(wù)2    2）同時(shí)成功，同時(shí)失敗：        a、發(fā)消息；        b、執(zhí)行事務(wù)1；        c、確認(rèn)消息發(fā)送；        d、投遞消息到消費(fèi)者    3）處理超時(shí)問(wèn)題（重復(fù)）：事務(wù)2增加消息確認(rèn)表（去重表）    4）消息失敗（事務(wù)2失敗）：記錄后人工處理 小概率事件