這是淘寶架構(gòu)ppt，包括了淘寶的數(shù)據(jù)很美麗，淘寶數(shù)據(jù)庫發(fā)展的三個(gè)階段，用戶，商品，交易現(xiàn)在的架構(gòu)，2010雙11大促的挑戰(zhàn)，MySQL源代碼研究的一些思路，淘寶自主數(shù)據(jù)庫Oceanbase原理介紹等內(nèi)容，歡迎點(diǎn)擊下載。

淘寶架構(gòu)ppt是由紅軟PPT免費(fèi)下載網(wǎng)推薦的一款課件PPT類型的PowerPoint.

淘寶數(shù)據(jù)庫架構(gòu)演進(jìn)過程 丹臣/趙林 數(shù)據(jù)架構(gòu)師 提綱 淘寶數(shù)據(jù)庫發(fā)展的三個(gè)階段 用戶，商品，交易現(xiàn)在的架構(gòu) 2010雙11大促的挑戰(zhàn) MySQL源代碼研究的一些思路 淘寶自主數(shù)據(jù)庫Oceanbase原理介紹 淘寶的數(shù)據(jù)很美麗 淘寶數(shù)據(jù)庫發(fā)展三階段 SQL語句變化 淘寶電子商務(wù)網(wǎng)站的特點(diǎn) 高并發(fā)，PV13億，光棍節(jié)促銷PV達(dá)到了17億 數(shù)據(jù)實(shí)時(shí)性要求高 數(shù)據(jù)準(zhǔn)確性要求高 大多數(shù)頁面屬于動(dòng)態(tài)網(wǎng)頁 網(wǎng)站需要大量商品圖片展示 用戶通過搜索引擎，廣告，類目導(dǎo)航尋找商品 網(wǎng)站讀多寫少，比例超過10:1 賣家相關(guān)的數(shù)據(jù)量較大，比如商品數(shù)，評價(jià)數(shù) 業(yè)務(wù)量快速增長 不同的時(shí)期，不同的策略 正是因?yàn)槿缟系臉I(yè)務(wù)特點(diǎn)： 早期的淘寶前端應(yīng)用系統(tǒng)，嚴(yán)重依賴于數(shù)據(jù)庫系統(tǒng) 早期單機(jī)式的mysql的使用方式，在業(yè)務(wù)的高速發(fā)展下，很快達(dá)到瓶頸 Mysql遷移到Oracle，并升級到小型機(jī)，高端存儲(chǔ)后，幾年的時(shí)間里，滿足了淘寶業(yè)務(wù)快速變化發(fā)展的需要。 我們的業(yè)務(wù)發(fā)展很快，但我們的技術(shù)沒有成長 數(shù)據(jù)庫里的數(shù)據(jù) 連接數(shù)問題 中心化，服務(wù)化 用戶，商品，交易三大中心的建設(shè) HSF的誕生 中心化后面臨另一個(gè)問題，服務(wù)調(diào)用者，與服務(wù)者之間如何進(jìn)行遠(yuǎn)程通信，淘寶HSF誕生，數(shù)據(jù)庫一些OLTP join問題解決。 數(shù)據(jù)垂直化 應(yīng)用中心化之后，底層數(shù)據(jù)庫系統(tǒng)按照不同的業(yè)務(wù)數(shù)據(jù)進(jìn)行了一系列的垂直拆分.此類拆分方式具有如下的特點(diǎn)： a. 拆分方式簡單，只需要把不同的業(yè)務(wù)數(shù)據(jù)進(jìn)行分離 b. 避免了不同的業(yè)務(wù)數(shù)據(jù)讀寫操作時(shí)的相互影響 c. 該業(yè)務(wù)內(nèi)部及其所導(dǎo)致的問題依舊 問題 單庫IOPS 3w 單庫連接數(shù)已經(jīng)4k個(gè)了，應(yīng)用還在不斷加機(jī)器？ 單庫每秒SQL執(zhí)行次數(shù)到4w次 搜索dump數(shù)據(jù)緩慢，DW ETL緩慢 一臺(tái)高端存儲(chǔ)的處理能力 數(shù)據(jù)庫架構(gòu)發(fā)展新思路 異構(gòu)數(shù)據(jù)庫讀寫分離原始架構(gòu)圖（08年8月份）: 異構(gòu)的讀寫分離 a. 寫庫為集中式的oracle環(huán)境，提供數(shù)據(jù)安全性保障 b. 讀庫使用mysql， 采用數(shù)據(jù)分片，分庫分表，每臺(tái)mysql放少量的數(shù)據(jù)，單個(gè)數(shù)據(jù)分片內(nèi)部采用mysql復(fù)制機(jī)制 c. 讀庫的超大memory容量，起到了很好的cache作用，在內(nèi)存中的數(shù)據(jù)查詢性能遠(yuǎn)遠(yuǎn)高于在硬盤上的性能 d. oracle到多臺(tái)mysql按規(guī)則復(fù)制，由TDDL完成 e. 分區(qū)鍵的選擇至關(guān)重要，盡量讓數(shù)據(jù)訪問落在單臺(tái)數(shù)據(jù)庫上 g.利用好當(dāng)前的高端硬件，保護(hù)好自己的投資 構(gòu)建數(shù)據(jù)查詢的高速公路 應(yīng)用到DB的數(shù)據(jù)寫入與查詢從雙向通行變成了單向通行，通行效率更高，大大避免了相互影響。“借道行駛”的情況不再出現(xiàn)。 跨不過去的坎 為什么不直接遷到MySQL上面去呢？ a. 對于核心業(yè)務(wù)，停機(jī)時(shí)間有限，寵大的數(shù)據(jù)無法短時(shí)間內(nèi)遷移 b.無法在短時(shí)間內(nèi)完成項(xiàng)目發(fā)布過程中的測試 c.沒有搞過mysql分布式系統(tǒng)，對完全使用MySQL還沒有信心 大數(shù)據(jù)量核心業(yè)務(wù)數(shù)據(jù)遷移思路 采用兩步走戰(zhàn)略，不僅走得穩(wěn)，而且走得好： 先采用異構(gòu)的數(shù)據(jù)庫讀寫分離，將數(shù)據(jù)復(fù)制到目標(biāo)mysql各結(jié)點(diǎn)，不斷切換應(yīng)用相關(guān)的讀服務(wù)到mysql結(jié)點(diǎn)上，驗(yàn)證可靠性，機(jī)器壓力，服務(wù)響應(yīng)時(shí)間 將寫壓力從oracle結(jié)點(diǎn)遷移到mysql各結(jié)點(diǎn)，oracle停止寫 對于一些不太核心，業(yè)務(wù)不太復(fù)雜，相關(guān)影響點(diǎn)不多的數(shù)據(jù)，可以直接進(jìn)行遷移。 水庫模型 數(shù)據(jù)庫系統(tǒng)余量 兩輪測試過程，確保上線穩(wěn)定： 底層數(shù)據(jù)庫環(huán)境性能，穩(wěn)定性的基礎(chǔ)測試，常用的工具可以采用sysbench， orion， supersmack 選擇不同的硬件，軟件組合，模擬應(yīng)用的壓力測試，要超越當(dāng)前業(yè)務(wù)壓力的幾倍進(jìn)行，這個(gè)壓力的幅度可以根據(jù)自己的業(yè)務(wù)增長設(shè)計(jì)一個(gè)合理的值。 我們?nèi)绾巫龅接脭?shù)據(jù)來說話？靠測試拿數(shù)據(jù)，不靠經(jīng)驗(yàn) 數(shù)據(jù)庫系統(tǒng)余量 數(shù)據(jù)生命周期之歷史遷移 在線與歷史應(yīng)用分離 商品訪問框架 用戶 用戶登陸事件數(shù)據(jù)(日志量90%)與用戶主數(shù)據(jù)(日志量10%)分離，不僅要分表，而且要放到不同的數(shù)據(jù)庫集群中，并且作好不同數(shù)據(jù)等級的容災(zāi)處理。 過度中心化 用戶中心中的讀寫分離 交易的讀寫分離框架 主庫按照買家拆分，讀庫按照賣家拆分。 一些難題 數(shù)據(jù)庫集群自動(dòng)擴(kuò)展仍然是個(gè)難題，但是是可以忍受的，底層數(shù)據(jù)庫集群經(jīng)過評估，擴(kuò)展的頻率并不高。 MySQL DDL操作不便，鎖表，對寫操作影響較大，為了減少影響，分了比較多的表，進(jìn)一步加重了維護(hù)的負(fù)擔(dān)。 其它。。。 光棍節(jié)大促 一個(gè)小意外 Dataguard+mirror redo對寫的影響比較大，臨時(shí)刪除遠(yuǎn)程的redo member解決這個(gè)問題 MySQL源代碼研究 我們主要從兩方面著手： MySQL內(nèi)部，源代碼熟悉，性能優(yōu)化，新增功能 MySQL外部，比如利用binlog做數(shù)據(jù)復(fù)制 MySQL源代碼研究 內(nèi)部新增的一些功能： a.給innodb動(dòng)態(tài)加數(shù)據(jù)文件 b.禁止新連接 c.表的訪問統(tǒng)計(jì) d.Innodb ssd加速 e.Mysql replication并行復(fù)制 MySQL Binlog解析數(shù)據(jù)復(fù)制中心 MySQL Binlog解析數(shù)據(jù)復(fù)制中心 C client端特性： a. 支持mysql master，slave主備切換，獲取binlog不受影響 b. 自動(dòng)重連主機(jī) c. 支持checkpoint， 支持?jǐn)帱c(diǎn)續(xù)傳binlog Java端復(fù)制代碼特性： a. 支持statement， row兩種復(fù)制模式 b. 支持按規(guī)則復(fù)制 c. 支持一定條件下的并行復(fù)制 c. 支持checkpoint 異地多數(shù)據(jù)中心的數(shù)據(jù)同步 異地多數(shù)據(jù)中心的數(shù)據(jù)同步 除了oracle dataguard，master-slave replication數(shù)據(jù)復(fù)制，我們還有其它哪些可選方案？ 淘寶自主數(shù)據(jù)庫Oceanbase 動(dòng)態(tài)數(shù)據(jù)與靜態(tài)數(shù)據(jù)進(jìn)行分離，動(dòng)態(tài)數(shù)據(jù)采用集中式，靜態(tài)數(shù)據(jù)存放與服務(wù)采用分布式 設(shè)計(jì)了一個(gè)寬表，冗余數(shù)據(jù)，將離散型IO合并成連續(xù)型IO 每晚動(dòng)態(tài)數(shù)據(jù)，與靜態(tài)數(shù)據(jù)合并一次 將首先在收藏夾應(yīng)用上試點(diǎn) 總結(jié) 架構(gòu)就是用一些簡單的道理，去解決問題 對多種技術(shù)，業(yè)務(wù)特征，細(xì)節(jié)都要有所了解，考慮周全 識(shí)別系統(tǒng)的主要問題，花80%的精力去解決80%的問題 架構(gòu)都是有時(shí)效性的，需要不斷探索或者接受新的思路 Follow me Taobao dba 團(tuán)隊(duì)blog http://www.taobaodba.com/ 我的blog subject: Data & Architecture http://zhaolinjnu.blog.sohu.com/ 我的新浪微博:丹臣 http://t.sina.com.cn/zhaolinjnu 我的msn: echo_lin@hotmail.com Questions ?abA紅軟基地

淘寶商品ppt：這是淘寶商品ppt，包括了小件商品適合在單純的環(huán)境空間里進(jìn)行拍攝，拍攝靜止的物體是一種造型行為，布光是讓塑造的形象更具有表現(xiàn)力的關(guān)鍵等內(nèi)容，歡迎點(diǎn)擊下載。

農(nóng)村淘寶與物流ppt：這是農(nóng)村淘寶與物流ppt，包括了時(shí)代變遷案例介紹，農(nóng)村淘寶做什么？農(nóng)村淘寶信息平臺(tái)，農(nóng)村淘寶問題，電子交易基礎(chǔ)等內(nèi)容，歡迎點(diǎn)擊下載。

淘寶店鋪策劃方案ppt：這是淘寶店鋪策劃方案ppt，包括了欣賞幾個(gè)案例，淘寶金冠店，了解淘寶運(yùn)營思路，產(chǎn)品定位，消費(fèi)者，成本導(dǎo)向，選擇貨源，壓貨的缺點(diǎn)，經(jīng)營管理，常見淘寶推廣計(jì)劃等內(nèi)容，歡迎點(diǎn)擊下載。