 |
北京2023年5月16日 /美通社/ -- 我們站在人工智能（AI）革命的前沿。過去十年，數(shù)據(jù)與算力的碰撞催生了深度學(xué)習(xí)，讓許多令人刮目相看的AI能力成為現(xiàn)實。然而，這也讓我們面臨好似潘多拉盒子那樣的矛盾性挑戰(zhàn)：自動化居然是勞動密集型的工作。聽起來似乎好笑，但任何試圖用AI來解決業(yè)務(wù)問題的人可能都知道，這是事實。
傳統(tǒng)的AI工具雖然功能強大，但可能昂貴且耗時難用。必須費力地收集、整理數(shù)據(jù)并使用特定任務(wù)的注釋來標(biāo)記數(shù)據(jù)，以訓(xùn)練 AI 模型；而構(gòu)建模型還需要專門但卻難找的技能，更不要說每個新任務(wù)都需要重復(fù)這個過程。因此，企業(yè)不得不將主要注意力放在自動化那些有豐富數(shù)據(jù)和高業(yè)務(wù)價值的任務(wù)之上，而把其它的一切先放在一邊。然而，這種情況正在開始改變。
如需了解IBM技術(shù)、產(chǎn)品和服務(wù)的更多信息，點擊訪問IBM官網(wǎng)。
https://research.ibm.com/blog/what-is-generative-AITransfomers算法架構(gòu)和自監(jiān)督學(xué)習(xí)方法的出現(xiàn)，使我們能夠利用大量未標(biāo)記的數(shù)據(jù)，為大型預(yù)訓(xùn)練模型鋪平了道路，我們有時將其稱為"基礎(chǔ)模型"。這些大模型降低了自動化背后所需的成本和勞力。
基礎(chǔ)模型為各種 AI 應(yīng)用提供了強大而多樣的基礎(chǔ)。我們可以使用基礎(chǔ)模型以有限的注釋數(shù)據(jù)和最少的工作量快速執(zhí)行任務(wù)；在某些情況下，我們只需要描述手頭的任務(wù)就可以驅(qū)使模型去完成任務(wù)。
但這些強大的技術(shù)也給企業(yè)帶來了新的風(fēng)險和挑戰(zhàn)。今天的許多模型都是在質(zhì)量和來源未知的數(shù)據(jù)集上進行訓(xùn)練的，導(dǎo)致會產(chǎn)生攻擊性、有偏見或與事實不符的響應(yīng)。那些最大型的模型不僅成本高昂，而且訓(xùn)練和運行的耗能龐大，部署起來也很復(fù)雜。
IBM 一直在開發(fā)一種方法，解決企業(yè)使用基礎(chǔ)模型所面臨的核心挑戰(zhàn)。IBM日前在Think大會上宣布推出 watsonx.ai，這是IBM提供的市場上最新的 AI 工具和技術(shù)門戶。當(dāng)然，這個領(lǐng)域發(fā)展極快，有些工具只有幾周時間長，而IBM也在不斷為市場提供更新的工具。
watsonx.ai 是IBM剛剛宣布的watsonx產(chǎn)品集的一部分，包含的內(nèi)容多樣且將不斷演進，但IBM總體的承諾不變——就是要提供安全的企業(yè)就緒的自動化產(chǎn)品。
這是 IBM 正在進行的一項工作，旨在加速客戶從AI 新范式中獲取價值的旅程。在此，介紹一下IBM構(gòu)建一套由 IBM 訓(xùn)練的企業(yè)級基礎(chǔ)模型的工作，包括IBM采用的數(shù)據(jù)與模型架構(gòu)的方法。同時還將概述IBM新的平臺和工具，如何幫助企業(yè)基于廣泛的開源模型目錄和IBM的模型，來構(gòu)建和部署基于基礎(chǔ)模型的解決方案。
數(shù)據(jù)：基礎(chǔ)模型的基礎(chǔ)
數(shù)據(jù)質(zhì)量 至關(guān)重要。在有偏見或不良數(shù)據(jù)上訓(xùn)練的AI模型，自然會產(chǎn)生有偏見或不良的輸出。這個問題在基礎(chǔ)模型時代會變得更加復(fù)雜，用于訓(xùn)練模型的數(shù)據(jù)通常來自眾多數(shù)據(jù)源，且異常豐富，以至于人類根本無法合理地梳理所有數(shù)據(jù)。
由于數(shù)據(jù)是驅(qū)動基礎(chǔ)模型的燃料，因此 IBM 一直專注于精心策劃模型中的所有內(nèi)容。我們開發(fā)了AI工具，嚴(yán)格過濾數(shù)據(jù)中存在的仇恨、褻瀆、許可限制和偏見等。一旦發(fā)現(xiàn)，立即刪除，然后重新訓(xùn)練模型，如此循環(huán)反復(fù)。
數(shù)據(jù)管理是一項永遠(yuǎn)都做不完的工作。我們不斷開發(fā)和完善新方法，以提高數(shù)據(jù)質(zhì)量和控制，以滿足不斷變化的法律和監(jiān)管要求。我們構(gòu)建了一個端到端框架來跟蹤已經(jīng)清洗過的原始數(shù)據(jù)、使用的方法，以及每個數(shù)據(jù)點接觸過的模型。
我們不斷收集高質(zhì)量的數(shù)據(jù)，以幫助解決金融、法律、網(wǎng)絡(luò)安全和可持續(xù)發(fā)展等各個領(lǐng)域的一些最為緊迫的業(yè)務(wù)挑戰(zhàn)。 我們當(dāng)前的目標(biāo)是收集超過 1 TB 的精選文本用以訓(xùn)練我們的基礎(chǔ)模型，同時添加精選軟件代碼、衛(wèi)星數(shù)據(jù)以及 IT 網(wǎng)絡(luò)事件的數(shù)據(jù)與日志。
IBM 研究院還在開發(fā)能夠在基礎(chǔ)模型整個生命周期中注入信任的技術(shù)，以減輕偏見并提高模型的安全性。例如FairIJ，它可以識別用于調(diào)整模型的數(shù)據(jù)中的偏差數(shù)據(jù)點，以便對其進行編輯。其它方法，如fairness reprogramming，允許我們減輕模型中的偏差，即使是已經(jīng)訓(xùn)練過的模型。
專注于企業(yè)價值的高效基礎(chǔ)模型
IBM 新的 watsonx.ai 開發(fā)平臺提供了 一套旨在實現(xiàn)企業(yè)價值的基礎(chǔ)模型。它們已被整合到一系列 IBM的產(chǎn)品當(dāng)中，這些產(chǎn)品將在未來幾個月內(nèi)提供給 IBM 客戶。
認(rèn)識到并沒有放之四海而皆準(zhǔn)的解決方案，因此IBM正在構(gòu)建一系列有著不同大小和體系結(jié)構(gòu)的語言及代碼的基礎(chǔ)模型。每個模型家族都以一個地質(zhì)名稱代號——Granite (花崗巖)、砂巖 (Sandstone)、黑曜石 (Obsidian) 和板巖 (Slate)——它們匯集了來自 IBM 研究院和開放研究社區(qū)的尖端創(chuàng)新，每個模型都可以針對一系列企業(yè)任務(wù)進行定制。
Granite 模型是基于僅解碼器、類似 GPT 的架構(gòu)，用于生成任務(wù)。 Saadstone模型使用編碼器-解碼器架構(gòu)，非常適合對特定任務(wù)進行微調(diào)，可與 Google 流行的 T5 模型互換。 Obsidian 模型利用 IBM 研究院開發(fā)的新模塊化架構(gòu)，為各種任務(wù)提供高推理效率和性能水平。 Slate指的是一系列僅編碼器（基于RoBERTa）的模型，雖然不是生成式的，但對于許多企業(yè)NLP任務(wù)來說既快速又有效。所有 watsonx.ai 模型都是在 IBM 精心策劃的且聚焦企業(yè)的數(shù)據(jù)湖和IBM定制設(shè)計的云原生 AI 超級計算機 Vela 上進行訓(xùn)練。
效率和可持續(xù)性是 watsonx.ai 的核心設(shè)計原則。 IBM 研究院發(fā)明了用于高效模型訓(xùn)練的新技術(shù)，包括"LiGO"算法，該算法可回收小模型并讓使其"長成"較大的模型。這種方法可以節(jié)省訓(xùn)練模型所需的 40% 到 70% 的時間、成本和碳排放量。為了提高推理速度，IBM研究院利用其在量化方面的深厚專業(yè)知識，https://www.ibm.com/blogs/research/2019/05/ultra-low-precision-training/或?qū)⒛Ｐ蛷?32 點浮點算法縮小到更小的整數(shù)位格式。降低 AI 模型精度可以在不犧牲準(zhǔn)確性的情況下帶來巨大的效率優(yōu)勢。IBM希望很快在其AI優(yōu)化芯片IBM AIU上運行這些壓縮模型https://research.ibm.com/blog/ibm-artificial-intelligence-unit-aiu。
適用于基礎(chǔ)模型的混合云工具
基礎(chǔ)模型的最后一道難題是創(chuàng)建一個易用的軟件平臺來調(diào)整和部署模型。IBM 基于紅帽O(jiān)penShift 構(gòu)建的混合及云原生的推理堆棧，已針對訓(xùn)練和服務(wù)基礎(chǔ)模型進行了優(yōu)化。企業(yè)可以利用 OpenShift 的靈活性在任何地點（包括本地）運行模型。
IBM在 watsonx.ai 中創(chuàng)建了一套工具，為客戶提供友好的用戶界面和開發(fā)人員友好的庫，用于構(gòu)建基于基礎(chǔ)模型的解決方案。我們的提示實驗室 (Prompt Lab) 使用戶只需幾個標(biāo)記的示例即可快速執(zhí)行AI任務(wù)。調(diào)優(yōu)開發(fā)平臺基于IBM 研究院開發(fā)的最先進的高效微調(diào)技術(shù)，讓客戶可以用自己的數(shù)據(jù)來實現(xiàn)快速、可靠的模型定制。
除了 IBM 自己的模型之外，watsonx.ai 還提供了對廣泛的開源模型目錄的無縫訪問，供企業(yè)進行試驗和快速迭代。通過與Hugging Face建立的新合作伙伴關(guān)系，IBM將在 watsonx.ai 中提供數(shù)千個開源的Hugging Face基礎(chǔ)模型，數(shù)據(jù)集和庫。反過來，Hugging Face也將在 watsonx.ai 上提供IBM所有的專有和開放訪問的模型與工具http://watsonx.ai/http://ibm.com/products/watsonx-aihttp://watsonx.ai/。
可以 在此處了解有關(guān)該開發(fā)平臺的更多信息。
展望未來
基礎(chǔ)模型正在改變AI 的格局，并將加速推進已經(jīng)取得的各項進展。IBM 很高興能夠立于這一快速發(fā)展的技術(shù)前沿并做出規(guī)劃，把科技創(chuàng)新轉(zhuǎn)化為真正的企業(yè)價值。
