|
在現(xiàn)代計(jì)算硬件中，需要頻繁地將數(shù)據(jù)從處理器到存儲(chǔ)器之間來回搬運(yùn)，然而該過程會(huì)耗費(fèi)大量的時(shí)間和精力。好消息是，IBM研究院剛剛宣布了人工智能硬件的最新進(jìn)展——通過內(nèi)存計(jì)算的方式，將內(nèi)存單元作為處理器來使用。減少了數(shù)據(jù)騰挪的麻煩之后，可將能源需求減少90%。 在本周舉辦的國際電子器件會(huì)議（IEDM）和神經(jīng)信息處理系統(tǒng)會(huì)議（NeurIPS）上，IBM介紹了迄今為止精度最高的“8-bit模擬芯片”（較此前提升了一倍）。 這套全新的解決方案，使用了被稱作“投影相變存儲(chǔ)器”的新方法，簡稱Proj-PCM。與具有類似精度的數(shù)字架構(gòu)相比，其能耗僅為1/33。 IBM表示，研究人員在Proj-PCM中插入了一個(gè)與相變段平行的“非絕緣投影段”。 在寫入過程中，投影段對(duì)設(shè)備操作的影響最小。但在讀取的時(shí)候，變成狀態(tài)的電導(dǎo)值，主要由投影段來確定——其對(duì)電導(dǎo)的變化，具有顯著的免疫力。 如此一來，Proj-PCM可實(shí)現(xiàn)比以往的PCM設(shè)備更高的精度。IBM表示： 改進(jìn)的精度，證明了‘內(nèi)存計(jì)算’有朝一日可被用于物聯(lián)網(wǎng)和邊緣應(yīng)用等低功耗環(huán)境、同時(shí)實(shí)現(xiàn)高性能深度學(xué)習(xí)的能力。 除了模擬芯片的最新進(jìn)展，IBM還提出了針對(duì)數(shù)字計(jì)算的新方法。 其能夠以8-bit精度訓(xùn)練深度學(xué)習(xí)模型，同時(shí)保持圖像、速度、文本數(shù)據(jù)集類別的模型精度。 上述研究突破，在IBMResearch的論文中有詳細(xì)介紹。原標(biāo)題為：8-Bit Precision for Training Deep Learning Systems --cnBeta |
