極客網(wǎng)·極客說8月27日 在上海舉行的華為數(shù)據(jù)存儲AI SSD新品發(fā)布會上，華為公司副總裁、數(shù)據(jù)存儲產(chǎn)品線總裁周躍峰博士發(fā)布面向AI時代的高端SSD——Huawei OceanDisk EX/SP/LC系列化新品，旨在打破傳統(tǒng)AI存儲器當(dāng)前的性能和容量瓶頸，提升AI訓(xùn)練效率和推理體驗，樹立AI存儲器領(lǐng)域新標(biāo)桿。

周躍峰博士指出，近年來業(yè)界在投入大量的AI基礎(chǔ)設(shè)施之后，才發(fā)現(xiàn)仍然存在很多困難和挑戰(zhàn)，包括訓(xùn)練數(shù)據(jù)量太大、推理體驗差、token成本居高不下等。AI未來要能夠?qū)崿F(xiàn)商業(yè)正循環(huán)，需要從整體系統(tǒng)的效率以及性價比綜合考慮、綜合優(yōu)化。而在效率方面，業(yè)界又碰到兩個大瓶頸：一是內(nèi)存墻（行業(yè)有時也叫顯存墻），二是容量墻。華為在業(yè)界率先定義AI SSD并發(fā)布系列新品，就是希望通過AI SSD打破性能和容量的瓶頸，讓AI真正商業(yè)正循環(huán)。

以下是周躍峰博士演講全文：

謝謝各位現(xiàn)場和線上的嘉賓、專家。

我們幾周前發(fā)布UCM之后，今天我們發(fā)布AI SSD，實際上這兩個產(chǎn)品一軟一硬，協(xié)同使用，效果一定會更好。

大家知道在AI時代，我們這幾年方方面面都在討論，都在投入AI基礎(chǔ)設(shè)施，在投入大量的AI基礎(chǔ)設(shè)施之后，我們發(fā)現(xiàn)很多困難和挑戰(zhàn)。

第一，數(shù)據(jù)量實在太大了。訓(xùn)練越多參數(shù)的模型，我們需要越多的語料數(shù)據(jù)，這些數(shù)據(jù)如何存得下，用得好，而且效率很好，成本很低，這對我們來說是一個挑戰(zhàn)。

同時，今天我們越來越意識到AI生產(chǎn)過程就是推理，推理的體驗也是巨大的挑戰(zhàn)。過去我們只是簡單的問答，短序列推理，現(xiàn)在，越來越多的多模態(tài)融合長序列的推理，推理首token的時延成為非常重要的體驗指標(biāo)，很多時候我需要等很長時間，才有結(jié)果。同時當(dāng)很多人使用的時候，并發(fā)性就是說每秒一定時間內(nèi)能處理的token數(shù)也是很重要的指標(biāo)，恰恰我們碰到了一些困難。今天我們很多模型的網(wǎng)站，一些APP使用，發(fā)現(xiàn)體驗很差。

另外token成本居高不下。今天我聽國家數(shù)據(jù)局一個統(tǒng)計，截至今年6月底，日均Token消耗量已經(jīng)突破30萬億，1年半時間增長了300多倍，所以說token數(shù)的消耗，應(yīng)該越來越多，對我們基礎(chǔ)設(shè)施的成本是巨大的考驗。

因此，AI未來要能夠?qū)崿F(xiàn)商業(yè)的正循環(huán)，我們要從整體系統(tǒng)的效率以及性價比綜合考慮和綜合優(yōu)化。大家知道今天我們在效率方面，碰到兩個很大的困難：第一內(nèi)存墻，行業(yè)有時也叫顯存墻；另外一個是容量墻。這已經(jīng)成為我們主要的瓶頸。

比如在某些國產(chǎn)大模型訓(xùn)推一體機(jī)里，有8張卡，往往它的顯存或者HBM大小是一定的，我們今天發(fā)現(xiàn)參數(shù)量很大的模型，推不動。這當(dāng)中也訓(xùn)練不了，大家知道我們要微調(diào)一個671B的模型，顯存容量需要超過13.4 TB，在很多一體機(jī)我們訓(xùn)練不動，我們該怎么辦？因為一個盒子里面的資源畢竟有限，同時我們看到推理的首token時延，中國大量APP比西方領(lǐng)先模型，時延是他們的兩倍，我們每秒的token數(shù)量，以及所能處理能力的數(shù)量也是他們的1/10左右，主要差別在于我們基礎(chǔ)設(shè)施的投資和效率。

我們在訓(xùn)練大模型的時候，需要大量的數(shù)據(jù)。大家知道訓(xùn)練一個671B大模型，我們需要的原始語料數(shù)據(jù)是3.5PB，因此越來越多的語料消耗了我們大量存儲空間，這意味著空間和電力的消耗。

在今年上海人工智能大會當(dāng)中，AI之父杰弗里·辛頓談到一個觀點，他說“人類智能無法超越或者戰(zhàn)勝機(jī)器智能，原因是機(jī)器擁有永久的記憶”，可見AI的能力不僅僅取決于處理系的思考能力，也取決于我們整個系統(tǒng)的記憶能力，因此存儲在整個AI系統(tǒng)當(dāng)中，以及它的優(yōu)化是非常的至關(guān)重要。

今天我們在業(yè)界率先定義AI SSD，相對過去普遍的SSD，它的區(qū)別就在于它的高性能和大容量，我們希望通過AI SSD打破性能和容量的瓶頸。

我們定義AI SSD有兩類：第一類AI SSD是助力擴(kuò)展HBM，對我們高帶寬、高性能的內(nèi)存進(jìn)行相關(guān)的擴(kuò)展，在推理的數(shù)據(jù)當(dāng)中可以分級緩存。它的特征就是帶寬大于14.4GB/s，同時時延小于10微秒，這是高性能這塊。

第二類AI SSD主要助力打破容量瓶頸，替換HDD，就是替代機(jī)械硬盤在過去AI數(shù)據(jù)中心當(dāng)中的使用，它的特征就是單盤容量大于30TB，同時帶寬大于14.4GB/s，意味著它不僅要有巨大的容量密度，同時性能還不至于太低。

這兩類SSD，我們統(tǒng)稱為AI SSD，我們希望這兩類SSD能夠幫助我們突破顯存墻和容量墻。今天我們將發(fā)布三款產(chǎn)品：

前兩款是高性能的AI SSD，用于突破內(nèi)存墻，對HBM進(jìn)行更好的擴(kuò)展：一是我們的OceanDisk EX 560，這是極致性能AI SSD盤。它的IOPS將達(dá)到1500k，它隨機(jī)寫時延是7微秒，它的DWPD是60，這是一個性能極其強(qiáng)大的SSD盤。同時，我們在很多場景，為了讓系統(tǒng)更加經(jīng)濟(jì)，我們也推出高性能盤，就是我們OceanDisk SP 560，它是高性能盤，在很多推理系統(tǒng)當(dāng)中，性能足夠了。它的IOPS是600k，它的隨機(jī)寫時延7微秒，DWPD是1，因此這個盤在很多推理系統(tǒng)當(dāng)中可能更為經(jīng)濟(jì)。第一類OceanDisk EX 560計劃年底提供商用，OceanDisk SP 560現(xiàn)在已經(jīng)具備批量商用的能力，事實上我們很多客戶，包括互聯(lián)網(wǎng)、醫(yī)療、金融客戶已經(jīng)在使用這類產(chǎn)品，得到了很好的效果。

第三款產(chǎn)品是OceanDisk LC 560系列具備超大容量盤，而且它的帶寬并不低，單盤物理容量有61/122/245 TB，其中61TB的重構(gòu)時間，從過去一般的1.5天可以縮短至8小時，另外它的順序讀寫帶寬達(dá)到了14.7GB/s。這是既具備很好性能又具備超高容量密度的盤，單盤容量可以達(dá)到245TB，是業(yè)界最大的單盤容量。我們希望這類盤能夠普遍用于集群訓(xùn)練中心當(dāng)中去，幫助解決語料數(shù)據(jù)存不下，用不好的問題。

接下去我列舉幾個場景，如何讓AI SSD，幫助我們AI系統(tǒng)有更好的商業(yè)正循環(huán)。首先我們看一下集群訓(xùn)練場景，這個場景我們需要大量的語料，作為我們訓(xùn)練的數(shù)據(jù)，不僅僅要存得下，同時要避免GPU、NPU不至于一直在等待過程中，快速能夠給它提供數(shù)據(jù)，讓我們操作更加高效，我們認(rèn)為在這個場景當(dāng)中，我們OceanDisk LC系列的盤，可以很好解決容量的問題。

舉個例子，假設(shè)在一個訓(xùn)練系統(tǒng)當(dāng)中，我們需要250PB的數(shù)據(jù)集容量，那么用普遍的機(jī)械硬盤，要超過10000塊的24TB機(jī)械硬盤。如果我們用122TB每單盤容量的AI SSD盤，我們只需要大概超過2000塊就可以了。但是，不僅僅是這個盤的數(shù)量、空間，更為重要的是我們數(shù)據(jù)預(yù)處理的效率可以提升6.6倍，我們空間占用將減少85.2%，我們能耗將減少38.6%，這是一個巨大的成本節(jié)約。當(dāng)然這里面，我們沒有考慮SSD盤相對機(jī)械硬盤，它的壽命這個因素，以及在運維等人力上的節(jié)?。ň庉嬜ⅲ喝绻紤]進(jìn)去SSD盤的優(yōu)勢更明顯）。

第二個場景我們想舉例的是集群推理場景，尤其在大型AI數(shù)據(jù)中心，比如說互聯(lián)網(wǎng)和運營商他們所構(gòu)建的。在這個過程當(dāng)中，我們希望引入超高性能的AI SSD，倍數(shù)級的提升推理效率。我們在這里面也舉個例子，這個過程當(dāng)中，我們使用OceanDisk SP 560 AI SSD盤，我們可以看到，可推理序列的長度將提升2.5倍，我們有效擴(kuò)展了HBM的能力，而且是低成本。

除此之外，首token的時延也可以減少73%，token的吞吐率提升2.7倍，這些數(shù)據(jù)都在我們實驗室和客戶真實商業(yè)場景當(dāng)中得到了印證。

大家知道，很多中小企業(yè)并不構(gòu)建AI的集群，往往是訓(xùn)推一體機(jī)，在訓(xùn)推一體機(jī)這樣的小盒子，往往最多只有8張卡的情況下，能不能讓我們小的系統(tǒng)可以微調(diào)，更多參數(shù)的模型，讓我們的推理序列，長序列越來越長，而且可以有更多的商業(yè)場景適用，不僅僅是簡單的問答，讓各個公司單位花的這點錢，物有所值。

我們認(rèn)為，在模型微調(diào)的場景，我們建議應(yīng)該配一些超快性能的AI SSD，在我們例子當(dāng)中，8個算力卡的情況下，我們配2張3.2TB的AI SSD，我們可以看到單機(jī)可用內(nèi)存直接擴(kuò)充到11倍，同時我們可以看到單機(jī)可微調(diào)模型的參數(shù)也提升了6.3倍，就是說進(jìn)一步提升了一體機(jī)微調(diào)模型的種類和它使用的場景。

在這個一體機(jī)當(dāng)中，當(dāng)然它很重要的過程是推理，我們建議在推理場景下，用SP系列的AI SSD，我們也做了嘗試。我們發(fā)現(xiàn)，如果使用OceanDisk SP 560可以進(jìn)一步擴(kuò)展有限的HBM，讓我們的序列長度增加一倍，同時首token時延下降75%，token的單位時間吞吐量提升了一倍。這意味著我們單位買了一體機(jī)之后，可以極大擴(kuò)展我的商業(yè)場景，當(dāng)然我們知道這是訓(xùn)推一體機(jī)，所以我們覺得在這樣一個一體機(jī)當(dāng)中，如果把極致性能盤和我們的高性能盤，就是EX系列和SP系列混合使用，將獲得更好的性能。

以上是這四個場景，我們認(rèn)為今天作為例子，跟大家介紹一下AI SSD突出的性能和應(yīng)用場景。我們希望今天發(fā)布的這三款產(chǎn)品，就是我們OceanDisk EX 560、SP 560以及大容量的LC 560，能夠用于超大AI集群中心和相應(yīng)的訓(xùn)推一體機(jī)場景當(dāng)中，結(jié)合相關(guān)的軟件，尤其是結(jié)合上一次發(fā)布的UCM，可以更加高效地對于推理當(dāng)中高性能需要短時間進(jìn)行緩存的數(shù)據(jù)和相對來說時延可容忍數(shù)據(jù)，進(jìn)行分級緩存，效果一定會很不錯的。

在千行萬業(yè)落地過程中，我們希望AI SSD和它們持續(xù)的演進(jìn)，能夠為整個AI經(jīng)濟(jì)——當(dāng)然我們相信AI剛剛開始，通過我們持續(xù)的演進(jìn)，可以貢獻(xiàn)我們的力量，讓AI真正商業(yè)正循環(huán)。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。