頂點光電子商城2024年9月5日消息：近日，壁仞科技在AI芯片領域取得了重大突破，成功實現(xiàn)了業(yè)界首次的三種異構GPU混訓技術。這一技術成就不僅標志著中國AI芯片技術的飛躍，也為全球AI訓練技術的發(fā)展注入了新的活力。
壁仞科技在2024全球AI芯片峰會上首次公布了其自主原創(chuàng)的異構GPU協(xié)同訓練方案HGCT。該方案業(yè)界首次支持3種及以上異構GPU（包括壁仞GPU、英偉達GPU及其他國產(chǎn)芯片）混合訓練同一個大模型。這一技術突破解決了傳統(tǒng)AI模型訓練中不同廠商、不同架構甚至不同型號GPU之間難以流暢協(xié)同的問題，實現(xiàn)了異構算力的有效整合和利用。
技術特點與優(yōu)勢有
異構協(xié)同通信效率高：壁仞HGCT方案的異構協(xié)同通信效率大于98%，這一高效的通信效率保證了異構GPU在混合訓練過程中的數(shù)據(jù)交換和協(xié)同工作的順暢進行。端到端訓練效率高：該方案的端到端訓練效率達到90-95%，這意味著在大模型訓練過程中，整體訓練效率得到了顯著提升，從而縮短了訓練周期，降低了訓練成本。普適性與易用性：壁仞HGCT方案用一套統(tǒng)一方案支持多種不同型號、不同廠商的GPU，并且一行代碼即可適配多種框架。這種普適性和易用性使得該方案能夠廣泛應用于各種AI訓練場景中。解決異構算力孤島難題：通過實現(xiàn)三種及以上異構GPU的混合訓練，壁仞科技突破了異構算力孤島難題，使得不同來源、不同性能的GPU能夠協(xié)同工作，共同承擔大模型的訓練任務。
壁仞科技的這一技術突破實現(xiàn)了國產(chǎn)GPU和英偉達GPU的異構共存，有助于加快國產(chǎn)GPU的落地遷移和市場應用，提升國產(chǎn)芯片在AI領域的競爭力。HGCT方案具備普適性、易用性和兼容性，能夠助力最終客戶實現(xiàn)多種異構算力聚合，最大化異構GPU集群利用效率，從而推動整個算力產(chǎn)業(yè)的發(fā)展。高效的異構GPU協(xié)同訓練方案能夠顯著提升AI模型的訓練效率，縮短訓練周期，降低訓練成本，為AI技術的廣泛應用提供更加堅實的算力支撐。
未來，壁仞科技在實現(xiàn)三種異構GPU混訓技術的基礎上，將繼續(xù)深化技術研發(fā)，推動異構GPU協(xié)同訓練生態(tài)的完善和發(fā)展。同時，壁仞科技還將積極聯(lián)合客戶、合作伙伴和科研機構，共同推動AI技術的創(chuàng)新和應用，為構建更加智能、高效、可持續(xù)的未來世界貢獻力量。
鄂公網(wǎng)安備 42011502001385號 鄂ICP備2021012849號 
