雷鋒網(wǎng)按，新推出的AI芯片因架構(gòu)的獨特性和軟件的易用性增加了客戶嘗試和遷移的成本，因此，軟件成為了能否快速、低成本遷移的關(guān)鍵。現(xiàn)在普遍的做法是在TensorFlow寫一些后端集成新硬件，這給社區(qū)和AI芯片公司都帶來了負(fù)擔(dān)，增加了遷移的難度和成本。

目前，有不少項目都希望從AI編譯的角度避免重復(fù)性的工作，比如微軟亞洲研究院的NNFusion以及阿里云的HALO開源項目，降低從GPU向其它AI加速器遷移的成本。

有一個值得關(guān)注的開源框架TVM，開發(fā)者通過這個框架就可以將已有的模型部署到不同的硬件上，這是打開AI芯片的萬能鑰匙嗎？

對于處于AI硬件和軟件領(lǐng)域的芯片公司和開發(fā)人員而言，開源Apache TVM的努力已經(jīng)眾所周知。這是一個機器學(xué)習(xí)的編譯器框架，無論是何種類型的芯片，它都可以通過優(yōu)化配置滿足從數(shù)據(jù)中心到邊緣設(shè)備的需求。

如果AMD、高通、Arm、賽靈思、亞馬遜和許多其他公司還未支持它，那么它可能會散發(fā)出“神奇編譯器”的魔力，一些AI芯片初創(chuàng)公司幾年前就開始相關(guān)工作。

TVM的想法是不需要將機器學(xué)習(xí)模型專門針對某個硬件進(jìn)行手動定制，進(jìn)而發(fā)揮傳統(tǒng)芯片巨頭以及初創(chuàng)公司芯片的潛力?，F(xiàn)在是時候為新AI芯片的生產(chǎn)確定標(biāo)準(zhǔn)，讓用戶無需為采用特定于體系結(jié)構(gòu)背負(fù)沉重負(fù)擔(dān)。畢竟，有很多機器學(xué)習(xí)的芯片可供選擇。

“硬件越來越多樣，圍繞這些硬件的軟件生態(tài)系統(tǒng)也是如此。再加上TensorFlow、Keras、PyTorch等深度學(xué)習(xí)框架，還有各種深度學(xué)習(xí)模型，它們之間的相互作用日益復(fù)雜?！比A盛頓大學(xué)教授，TVM OctoML的聯(lián)合創(chuàng)始人兼聯(lián)合首席執(zhí)行官Luis Ceze說。

“這些軟件堆棧現(xiàn)在是用于特定用例或特定硬件（如cuDNN，ROCm等），這些都是通過初級工程師手工優(yōu)化，這些工程師優(yōu)化了線性代數(shù)代碼，將模型中的機器學(xué)習(xí)運算符連接到帶有經(jīng)過調(diào)整的硬件庫的硬件。這對于芯片提供商來說效果很好，但是就使用硬件設(shè)備公司而言，效果是有限的?！?/span>

本質(zhì)上，TVM是一個編譯器加一個Runtime（運行時）堆棧，帶有一組中間表示，這些中間表示將高級框架（如TensorFlow，PyTorch等）中的機器學(xué)習(xí)模型轉(zhuǎn)換為可以被不同硬件體系結(jié)構(gòu)理解的代碼，從服務(wù)器級GPU到低端移動CPU甚至MIPS或RISC-V芯片。

對于希望在新硬件上運行機器學(xué)習(xí)模型的芯片公司來說，這是個好消息，尤其是考慮到開發(fā)深度優(yōu)化的軟件堆棧的時間和成本。這也意味著，只要一次建模型，就可以將其部署在幾乎所有TVM支持的硬件上。

目前，支持TVM的列表包括幾乎所有主要的硬件供應(yīng)商以及多家初創(chuàng)公司。

Ceze表示，從深度學(xué)習(xí)模型到更小的可部署模塊的編譯流程，以及在具有更好性能的更多架構(gòu)上自動生成和優(yōu)化模型，TVM的速度平均比手工優(yōu)化快2-10倍

Codeplay首席執(zhí)行官安德魯·理查茲（Andrew Richards）也致力于跨越AI硬件與軟件鴻溝。他補充說：“這類技術(shù)面臨的挑戰(zhàn)是如何將其應(yīng)用于不同AI加速器并實現(xiàn)不同的應(yīng)用。AI是一個非?；钴S的研究領(lǐng)域，每天都會有新的進(jìn)展。在新硬件上快速運行舊的神經(jīng)網(wǎng)絡(luò)模型并不是真正的挑戰(zhàn)，我們需要在新硬件上運行新的神經(jīng)網(wǎng)絡(luò)。”

“太多的AI芯片公司都在努力運行最新的基準(zhǔn)（Benchmark）。為了推動AI芯片和AI軟件領(lǐng)域的發(fā)展，我們需要將硬件設(shè)計人員需要的圖編譯器（例如TVM）的自動調(diào)整功能與AI研究人員需要的C ++或Python這樣的編程語言的常規(guī)編程能力相結(jié)合。這個挑戰(zhàn)使這個領(lǐng)域令人興奮?！?Richard繼續(xù)說道。

Ceze和他的OctoML團隊正在這么做，將TVM商業(yè)化?！白屝掠布\行新的模型對平臺是一個機會。例如，在視頻存儲庫中的云中大規(guī)模運行計算機視覺來進(jìn)行內(nèi)容審核的應(yīng)用，通過我們的優(yōu)化程序，能夠有10倍的性能提升?！?/span>

Ceze表示，對于機器學(xué)習(xí)工程師來說，他們代表著越來越多的用戶，厭倦了擔(dān)心部署模型的麻煩。如果必須在模型創(chuàng)建過程中考慮硬件部署的效率低下，那數(shù)據(jù)科學(xué)足夠困難。這就是人們選擇TVM和我們的原因，他們只需要專注于想要運行的模型，而不是關(guān)注如何在特定硬件中運行它們?！?/span>

正如我們多年來所看到的，如果在正確的時間做正確事，將開源商業(yè)化將有利可圖。盡管TVM獲得了廣泛的支持（大約三分之二來自行業(yè)/硬件制造商），但Ceze認(rèn)為他們有足夠的能力來獲取有關(guān)模型的類型和數(shù)量，硬件目標(biāo)、復(fù)雜程度和數(shù)量的信息。作為一個非常普遍的問題，一個中型計算機視覺的云計算模型每月的費用約為1-1.5萬美元。

“我們提供的價值是，讓用戶獲得更易于使用的體驗，并基于我們對所有主要芯片和模型的異構(gòu)的集合，獲得成本優(yōu)勢，并不斷進(jìn)行優(yōu)化?！?Ceze表示。

到目前為止，該公司已經(jīng)籌集了1900萬美元的種子基金和A輪融資，盡管其一些最大的（經(jīng)過驗證的）客戶都因保密協(xié)議不能公布，但考慮到大多數(shù)主要的芯片制造商（英特爾和英偉達(dá)等幾個著名的例外，特別是英偉達(dá)和其cuDNN），以及擁有自己的ASIC和一些行業(yè)巨頭云提供商。

未來是否有足夠大的業(yè)務(wù)來支持TVM還有待觀察，但對于AI芯片生態(tài)系統(tǒng)軟件之外的人，應(yīng)該認(rèn)識到的是，軟件是造成這個行業(yè)差異化的因素。特別是隨著時間的流逝，可以開始降低成本。

隨著開源的發(fā)展，我們可以期望TVM對更多設(shè)備的更廣泛支持，讓開發(fā)人員嘗試不同架構(gòu)。

文章來源于網(wǎng)絡(luò)，如有侵權(quán)請聯(lián)系刪除。