評估生成式人工智慧在組織中有效實施的成本

已發表: 2024-01-23

有關實施生成式人工智慧 (AI) 成本的一些要點。

  • 對於基於微調的開源模型的客製化生成式 AI 解決方案，在企業中實施生成式 AI 的成本從每月幾百美元到 190,000 美元（並且還在增加）不等。
  • 這種生成式 AI 成本差異是由多種因素驅動的，包括您希望增強的任務、最適合這些任務的模型以及所選的實施方法。
  • 為了優化相關費用，您需要仔細考慮您的專案要求，評估本地和雲端基礎設施費用，並在僱用內部人工智慧人才和將專案外包給第三方之間做出選擇。

我們已經告訴您生成式人工智慧 (gen AI) 與傳統人工智慧的比較。 我們也概述了該技術的優點和缺點。 ITRex 生成式 AI 諮詢團隊也深入研究了生成式 AI 在多個行業的用例，包括醫療保健、零售和供應鏈。

此外，我們還評估了建立 AI 系統和基礎設施的成本，並重點關注了機器學習 (ML) 成本，計算了與準備訓練資料、微調模型和部署 ML 支援的解決方案相關的費用。

現在是時候解讀在商業中實施新一代人工智慧的成本了。 這種分析可能具有挑戰性，因為我們還不知道您專案的具體細節。 然而，我們可以利用我們的 gen AI 諮詢專業知識來探索其服務定價並列舉 gen AI 專案成本背後的關鍵因素。 這樣，我們將為您提供做出明智決策的知識，在這個快速發展的技術環境中可能為您的企業節省大量時間和資源。

感興趣的？ 那我們就開始吧！

影響Gen AI成本的因素：模型的選擇與實現方式

在考慮將新一代人工智慧納入公司的技術堆疊時，考慮以下因素至關重要：

  • 您將利用生成式人工智慧來增強哪些業務任務？
  • 什麼模型足以完成這些任務？

生成式人工智慧解決方案的核心在於基礎模型，即基於大量資料訓練的大型模型。 從本質上講，基礎模型是創建客製化的人工智慧解決方案、簡化開發流程和降低人工智慧成本的基礎。 他們的功能通常包括自然語言處理 (NLP)、電腦視覺 (CV) 和內容生成。

基礎模型的認知能力很大程度取決於它們接受訓練的參數數量。 在這種情況下，參數是指從訓練資料中學習的模型元素，例如神經網路中的權重。 這些參數可幫助模型做出決策和預測。 下表說明了參數數量（本質上是這些決策元素的數量）與模型認知能力之間的相關性。

然而，參數的數量並不是影響基礎模型能力的唯一因素。 訓練資料的品質和多樣性同樣重要。 訓練資料是輸入模型並從中學習的資訊。 此類數據包含廣泛的範例，有助於模型理解和解釋新數據。 此外，模型的架構（即參數和資料如何交互的結構設計）以及學習演算法的效率（決定模型從資料中學習的效率）發揮關鍵作用。 因此，在某些任務中，參數較少但訓練資料更好或更有效率架構的模型可以勝過更大的模型。

選擇符合您對 Gen AI 成本期望的基礎模型

所有現有的新一代人工智慧模型都可以大致分為兩類。

  • 閉源模型由大型科技公司開發，例如 Google、Meta、Microsoft 和 OpenAI。 它們的原始碼、架構和應用程式介面（API）可以完全專有，也可以提供給第三方（通常是收費的，這本質上是一代人工智慧解決方案的成本）。 在某些情況下，您可以使用資料微調閉源模型的效能。 出於本文的目的，我們將閉源模型稱為商業可用的人工智慧解決方案。 此類模型的主要優點是它們帶有雲端基礎設施，並且完全由原始開發人員維護。
  • 開源模型有原始碼、訓練技術，有時甚至還有可供公眾使用和修改的訓練資料。 您的公司可以「按原樣」使用此類模型，或根據自己的數據重新訓練它們，以實現更好的準確性和性能。 但是，您必須設定本地或雲端基礎架構才能運行模型。 因此，此類 gen AI 模型的成本將包括計算成本，如果您選擇增強 Gen AI 解決方案，則還包括與模型訓練相關的費用。

我們來總結一下。 如果您的公司正在考慮實施新一代人工智慧，有四種主要方法可以實現。

  1. 使用閉源模型而無需自訂：Gen AI 先驅可以使用 API 將 OpenAI 的 ChatGPT、Google Bard、Claude 和 Synthesia 等現成產品與其應用程式整合。 整合過程相當簡單，生成式人工智慧定價也是如此（稍後會詳細介紹）。 商用產品經常更新，並為人工智慧開發人員提供豐富的文件。 不足之處？ 您的客製化選項將受到限制，並且您將嚴重依賴外部公司來完成重要的業務任務，例如處理客戶支援查詢或產生視覺內容。
  2. 根據您的企業資料重新訓練商用解決方案：在這種情況下，您的內部人工智慧團隊將選擇由特定供應商（例如OpenAI）開發的現有一代人工智慧產品，並使用您自己的資料對其進行微調。 客製化的新一代人工智慧解決方案將更好地理解用戶的問題並給出更準確的答案。 然而，供應商仍然會收取少量的運行查詢費用，因此最終的人工智慧成本將包括營運和客製化費用。
  3. 「原樣」使用開源基礎模型：誇張的是，您的公司可以選擇RoBERTa、GPT-2、GPT-Neo 或任何其他開源模型，並將其應用於業務任務，例如回覆客戶電子郵件，而無需進一步培訓。 然而，一代AI的成本將由模型消耗的計算資源決定。 當面對不熟悉的數據和任務時，您的一代人工智慧解決方案可能表現不佳。
  4. 根據您的數據重新訓練開源模型：在這種情況下，您需要獲取並準備用於生成 AI 模型訓練的特定數據，提供本地或雲端伺服器用於模型訓練和操作，並持續微調和更新隨著任務的發展模型。 雖然這種客製化方法保證了卓越的模型性能，但它也帶來了更高的人工智慧成本。

現在您已經了解了實施選項，讓我們專注於這些選項所帶來的 gen AI 成本。

基於實施場景洞察Gen AI定價

商用 Gen AI 工具的成本

促進文字處理和產生的現成服務通常根據輸入或輸出文字中的字元或標記（即文字的基本單位，其範圍可以從標點符號到單字和其他語法元素）的數量向企業收費。

這在實踐中是如何運作的。

  1. 基於字元的計費：一些解決方案，例如由 Google Vertex AI 驅動的 gen AI 工具，根據輸入和輸出文字中的字元數向使用者計費。 他們將每個字母、數字、空格和標點符號都算作一個字元。 例如，Vertex 支援的 PaLM 2 for Text 模型的生成 AI 定價為輸入和輸出文字每 1,000 個字元 0.0005 美元起（單獨計費）。
  2. 基於令牌的計費：更先進的人工智慧工具傾向於將文字分解為令牌而不是字元。 根據模型的訓練和處理方法，標記可以是標點符號、單字或單字的一部分。 例如，OpenAI 將令牌定義為一組大約四個字元。 一個簡單的句子，例如“湯姆為吉爾帶來了花”。 因此，將由八個標記組成，因為「brought」和「flowers」這兩個詞稍微超過了四個字元的閾值。當談到此類生成式人工智慧解決方案的成本時，它在很大程度上取決於您選擇的語言模型。 OpenAI 的 GPT-4 Turbo 是市場上最複雜的工具之一，輸入文字每 1,000 個代幣收費 0.01 美元，輸出文字每 1,000 個代幣收費 0.03 美元。 對於舊版的 GPT-3.5 Turbo，價格要低得多，從輸入文字的每1,000 個令牌0.001 美元到輸出文字的每1,000 個令牌 0.002 美元。應該注意的是，不同的人工智慧提供者對字符和令牌有不同的概念。 要選擇最具成本效益的選項，您應該研究他們的文件和計劃，並考慮哪種產品最適合您獨特的業務需求。 例如，如果您的任務圍繞著文字生成而不是分析，那麼輸出率較低的生成式 AI 服務將更合適。

同時，用於視覺內容創建的 Gen AI 服務往往會根據生成的圖像向用戶收費，費用與圖像大小和品質相關。 由 DALL·E 3 產生的一張標準品質的 1024 x 1024 像素影像將花費您 0.04 美元。 對於較大的影像（1024×1792 像素）以及高清影像，每張的價格可能高達 0.08-0.12 美元。

並且不要忘記交鑰匙一代人工智慧平台，例如 Synthesia.io，它採用更傳統的定價方法。 如果您的行銷團隊希望加快影片建立過程，您可以嘗試該工具，每年只需 804 美元。

客製化商用 Gen AI 產品的成本

從上一節可以看出，大多數現成的Gen AI產品都採用按需付費的變現策略。

雖然他們的定價模型乍看之下相當簡單，但預測您的員工將執行多少查詢可能具有挑戰性，特別是如果您試圖探索各個部門的多代人工智慧用例。

這給新一代人工智慧工具的定價和整體擁有成本帶來了混亂，就像雲端運算的早期一樣。

使用商業一代人工智慧解決方案的另一個缺點是像 ChatGPT 這樣的通用產品缺乏上下文知識，例如對公司結構、產品和服務的熟悉程度。 這使得即使您掌握了即時工程，也很難透過人工智慧功能來增強客戶支援和報告生成等操作。

麥肯錫高級合夥人 Eric Lamarre 表示，為了解決這個問題，組織「需要創建一個可供模型使用的資料環境」。 換句話說，您必須根據公司資料以及透過 API 從外部來源提取的資訊重新訓練商用的 gen AI 工具。

有兩種方法可以實現這一目標，有幾個因素會影響每種情況下生成式人工智慧的成本。

使用具有 Gen AI 功能的軟體即服務 (SaaS) 平台

許多著名的 SaaS 供應商，包括 SAP、TIBCO Spotfire 和 Salesforce，正在推出可以使用客戶資料進行微調的生成式 AI 服務。 例如，Salesforce 推出了 Einstein Copilot，這是一款對話式人工智慧助手，可從 Salesforce 資料雲中提取專有數據，以針對客戶問題制定個人化回應。 智慧助理使用的資訊包括 Slack 對話、遙測、企業內容以及其他結構化和非結構化資料。

Salesforce 客戶還可以使用 Einstein Copilot Studio 的無程式碼提示產生器和模型產生器來建立自訂 AI 模型、技能和提示。 截至目前，後者支援 OpenAI 的大語言模型 (LLM)，但計劃將該產品與其他第三方解決方案集成，包括 Amazon Bedrock 和 Vertex AI。 由於 Einstein Copilot 仍處於試點階段（無雙關語），因此生成式 AI 定價資訊尚未公佈。 然而，生成式 AI 銷售 GPT 助理的成本（目前每位使用者每月總計 50 美元）可以讓您大致了解預期的結果。

透過 API 將您的企業軟體與 Gen AI 解決方案集成，並根據您的資料重新訓練模型

為了降低 gen AI 實施的成本，您可以消除中間的 SaaS 工具，將您的應用程式直接與 API 層級的商業 gen AI 解決方案合併。 例如，如果您希望透過 gen AI 功能增強您的客戶支援聊天機器人，您可以使用 OpenAI API 將其與 OpenAI 的模型之一（例如 GPT-3.5 或 GPT-4）同步。 接下來，您需要準備用於機器學習的數據，將數據上傳到 OpenAI，並使用 OpenAI CLI 工具和 Open AI Python 庫管理微調過程。 在微調模型時，每 1,000 個代幣將向您收取 0,008 美元的費用 (GPT-3.5)。 一旦您的模型投入生產，輸入和輸出率將分別為每 1,000 個代幣 0,003 美元和每千個代幣 0,006 美元。 如果您選擇將資料託管在 OpenAI 伺服器上，gen AI 的整體成本還包括儲存成本。 資料儲存費用可能會在最終估算的基礎上每天每 1GB 資料增加 0.2 美元。 並且不要忘記資料準備和模型微調工作。 除非您的 IT 部門具備所需的技能，否則您必須與可靠的人工智慧開發服務公司合作。

「原樣」使用開源世代人工智慧模型的成本

免責聲明：我們並不是建議您從頭開始構建一個類似於ChatGPT 的自定義基礎模型- 這種冒險最好留給那些擁有大量支持的人，例如OpenAI 來自微軟的支持，以抵消其5.4 億美元的損失。

即使是更基本的基礎模型，例如 GPT-3，初始培訓和部署成本也可能超過 400 萬美元。 此外，近年來這些基礎模型的複雜性以驚人的速度激增。

ITRex：客製化

訓練大型人工智慧模型所需的運算資源每 3.5 個月就會增加一倍。 基礎模型的複雜度也在改變。 例如，2016 年，Bert-Large 接受了 3.4 億個參數的訓練。 相較之下，OpenAI 的 GPT-3 模型使用了約 1,750 億個參數進行訓練。

好消息是基礎模型已經存在，這使得企業可以相對容易地開始試驗它們，同時優化一代人工智慧實施成本。 從本質上講，我們可以將基礎模型視為人工智慧軟體工程師的工具包，因為它們提供了解決複雜問題的起點，同時仍然留有客製化空間。

ITRex：客製化

我們可以將現有的基礎模型大致分為三類。

  • 語言模型旨在處理文字翻譯、生成和問答任務
  • 電腦視覺模型擅長影像分類、物件偵測和臉部辨識
  • 第三類是生成式人工智慧模型，它創造類似模型消耗的資料的內容。 該內容可能包括新圖像、模擬，或在某些情況下還包括文字資訊。

一旦您選擇了最適合您需求的開源模型，您就可以使用 API 將其與您的軟體集成，並利用您自己的伺服器基礎架構。

這種方法涉及以下人工智慧生成成本。

  1. 硬體成本：運行人工智慧模型，尤其是大型模型，需要大量的運算資源。 如果您的公司缺乏合適的硬件，您可能需要投資強大的 GPU 或 CPU，這可能會很昂貴。 如果您的模型相對較小，則 NVIDIA RTX 3080 或類似產品等高階 GPU 就足夠了。 這種 GPU 的成本從 700 美元到 1,500 美元不等。 對於 GPT-2 或類似的大型模型，您需要多個高階 GPU 甚至專屬的 AI 加速器。 例如，單一 NVIDIA A100 GPU 的成本可能在 10,000 美元到 20,000 美元之間。 因此，具有多個 GPU 的設定成本可能在 30,000 美元到 50,000 美元之間。
  2. 雲端運算成本：作為購買硬體的替代方案，您可以從 Amazon Web Services (AWS)、Google Cloud Platform (GCP) 或 Microsoft Azure 等供應商租用雲端運算資源。 這些服務根據使用情況收費，因此成本將取決於您在計算時間和儲存方面使用其資源的程度。 例如，AWS 上的 GPU 執行個體（如 P3 或 P4）的成本可能為每小時 3 美元到 24 美元不等，具體取決於執行個體類型。
  3. 電力和維護：如果您使用自己的硬件，您將產生運行機器和可能的額外冷卻系統的電力成本。 硬體的維護成本也會增加。
  4. 整合和部署：將人工智慧模型整合到現有系統中並進行部署（尤其是在生產環境中）可能需要額外的軟體開發工作，這可能會產生勞動力成本。 將人工智慧開發外包給軟體開發公司的成本可能從每小時 50 美元到 200 美元不等，總費用從數千美元到數萬美元不等。
  5. 資料儲存和管理：儲存和管理模型使用的資料可能成本高昂，尤其是在處理大型資料集或使用雲端儲存解決方案時。 對於現場安裝，儲存生成式 AI 資料的成本可能從 1,000 美元到 10,000 美元不等，具體取決於訓練資料集的大小和冗餘需求。 基於雲端的資料儲存解決方案（例如 AWS S3）的收費從每月每 GB 0.021 美元到 0.023 美元不等，此外還有額外的營運和資料傳輸成本。

最終，您的公司「按原樣」採用生成式 AI 基礎模型並將其部署在您自己的基礎設施上需要花費多少錢？對於旨在在本地使用 GPT-2 等中等大型模型的中型企業，相關的生成式人工智慧成本可能涵蓋以下幾個方面。

  • 硬體：20,000 美元–50,000 美元（用於幾個高端 GPU 或基本的多 GPU 設定）
  • 電費和維護費：每年約 2,000–5,000 美元
  • 整合與部署：10,000 美元–30,000 美元（假設整合複雜性適中）
  • 資料儲存與管理：5,000 美元–15,000 美元（根據資料大小而變化）

設定和營運生成式人工智慧解決方案的總成本包括以下內容。

  • 初始部署費用：約 37,000 美元到 100,000 美元（硬體 + 初始整合和儲存設定）
  • 經常性費用：7,000 美元至 20,000 美元（包括電力、維護、持續整合和資料管理成本）

這些大致估計可能會根據具體要求、位置和市場條件而有很大差異。 最好諮詢專業人士以獲得更個性化和準確的估計。 此外，最好檢查硬體和雲端服務的當前市場價格，以獲取最新價格。

使用資料重新訓練開源人工智慧解決方案的成本

如果您的公司正在考慮調整開源基礎模型，那麼重要的是要考慮可能影響實施生成式人工智慧成本的因素。

這些因素包括以下內容。

  1. 模型大小：較大的模型（例如 GPT-3）需要更多資源來進行微調和部署。 因此，生成式人工智慧的成本隨著模型的規模和複雜性而增加。 同時，GPT-2、XLNet 和 StyleGAN2 等更簡單的開源基礎模型無法產生具有相同程度的連貫性和相關性的內容。
  2. 運算資源：使用公司的資料重新訓練基礎模型需要大量的運算能力。 因此，一代人工智慧解決方案的成本取決於您是否使用自己的硬體或雲端服務，後者的價格根據雲端供應商和您的營運規模而有所不同。 如果您選擇更簡單的模型並將其部署在本地，則預計需要花費 10,000-30,000 美元的 GPU 成本來微調生成式 AI 解決方案。 對於雲端運算，費用可能在每小時 1 美元到 10 美元之間，具體取決於實例類型。 類似 GPT-3 的開源模型需要更先進的 GPU 設置，價格高達 50,000 美元至 100,000 美元。 對於高階 GPU 實例，相關的雲端運算費用可能為每小時 10 美元到 24 美元不等。
  3. 資料準備：收集、清理和準備資料以微調基礎模型的過程可能會佔用大量資源。 因此，生成式人工智慧的實施成本將包括與資料儲存、處理以及可能購買訓練資料集（如果您的公司缺乏自己的資料或出於安全和隱私原因無法使用這些資料）相關的費用。
  4. 開發時間和專業知識：人工智慧人才並不便宜。 美國內部人工智慧工程師每年將花費您的公司 70,000 至 200,000 美元，再加上招聘、工資、社會安全和其他管理費用。 您可以透過與具有人工智慧開發專業知識的離岸軟體工程公司合作來降低產生人工智慧成本。 根據地點的不同，此類公司對中歐和拉丁美洲等關鍵外包地點的高級開發人才的小時費率從 62 美元到 95 美元不等。
  5. 維護成本：您將全權負責模型的維護、更新和故障排除，這需要持續的努力和機器學習工程和營運 (MLOps) 專業知識。

考慮到上述因素，基於現成的基礎模型創建客製化的生成式人工智慧解決方案的實際成本是多少？ 對於希望微調像 GPT-2 這樣的中型企業來說，相關的生成式 AI 實施成本可能包括以下內容。

  • 硬體：20,000 美元–30,000 美元（中等 GPU 設定）
  • 開發：假設混合了內部和外包人才的開發時間為 6 個月：

內部：$35,000–$100,000（半年薪資）

外包：20,000 美元–40,000 美元（假設 400 小時，平均費率為 75 美元/小時）

  • 資料準備：5,000 美元–20,000 美元（根據資料大小和複雜性而變化）
  • 維護費用：每年 5,000 美元至 15,000 美元（持續開支）

設定和營運生成式人工智慧解決方案的總成本包括以下內容。

  • 初始部署費用：約 80,000 美元到 190,000 美元（包括硬體、開發和資料準備成本）
  • 經常性費用：5,000 美元至 15,000 美元（維護和持續費用）

實際的 Gen AI 開發和實施成本可能會根據具體專案要求、培訓數據和內部 AI 人才的可用性以及外包合作夥伴的位置而有所不同。 為了獲得最準確和最新的定價，建議直接諮詢專業人士或服務提供者。

雖然 19 萬美元的 gen AI 系統似乎昂貴得不合理，但使用開源基礎模型建立 gen AI 解決方案的成本可能低於選擇商用工具。

在 ChatGPT 引起關注之前，負責開發基於 AI 的冒險遊戲 AI Dungeon 的先鋒新創公司 Latitude 一直在利用 OpenAI 的 GPT 模型進行文字生成。

隨著用戶群的成長，OpenAI 的帳單和亞馬遜基礎設施費用也在增加。 在某個時候，該公司每月支付 20 萬美元的相關成本來處理不斷增加的用戶查詢數量。

在改用新的生成式人工智慧供應商後，該公司將營運成本降低至每月 10 萬美元，並調整了其獲利策略，引入了先進人工智慧功能的每月訂閱。

因此，為了在優化生成式人工智慧定價的同時選擇正確的實施方法，事先徹底分析您的專案需求非常重要。 這就是為什麼我們總是鼓勵客戶從發現階段開始他們的人工智慧開發計劃。

在商業中實施 Gen AI 時需要考慮的事項

現在您已經了解了生成式人工智慧在成本方面的期望，現在是時候討論該技術的實施陷阱和注意事項了。

  • 基礎模型，尤其是大型語言模型，可能會產生幻覺，對使用者問題產生看似合法但完全錯誤的答案。 您的公司可以透過改進訓練資料、嘗試不同的模型架構以及引入有效的使用者回饋循環來避免這種情況。
  • Gen AI 解決方案使用大量很快就會過時的資料進行訓練。 因此，您必須定期重新訓練模型，這會增加生成式 AI 實施的成本。
  • 根據特定資料（例如電子健康記錄 (EHR) 條目）訓練的基礎模型可能難以在其直接專業知識之外產生有效內容。 另一方面，通用模型難以應對特定領域的使用者查詢。 解決這個問題的一些方法包括創建混合模型、利用遷移學習技術以及透過使用者回饋微調模型。
  • Gen AI 解決方案本質上是黑盒子，這意味著很少清楚它們為什麼會產生某些結果以及如何評估其準確性。 這種缺乏理解可能會阻止開發人員調整模型。 透過在gen AI模型訓練過程中遵循可解釋的AI原則，例如引入模型可解釋性技術、注意力機制和審計跟踪，您可以深入了解模型的決策過程並優化其性能。

此外，在開始實施生成式人工智慧之前，您的公司需要回答幾個問題。

  • 是否有可靠的購買與建置策略來驗證您的公司僅在功能中採用一代人工智慧，該技術將成為差異化因素，同時防止供應商鎖定？ 這項策略應該透過變革管理和人工智慧擴展的詳細路線圖來增強，並在需要時重新設計整個業務流程。
  • 您的內部 IT 部門是否擁有足夠的 MLOps 技能來測試、微調和維護複雜 ML 模型及其訓練資料的品質？ 如果沒有，您是否已經選擇了一家可靠的人工智慧開發公司來處理這些任務？
  • 您在雲端和邊緣是否擁有大量運算資源？ 此外，評估 IT 基礎架構的可擴展性以及跨不同任務、流程和單元重複使用 Gen AI 模型的可能性也很重要。
  • 您的公司或您的人工智慧開發合作夥伴是否有能力透過概念驗證 (PoC) 測試新一代人工智慧的可行性，並在受控沙箱環境之外擴展您的實驗？
  • 最後但並非最不重要的一點是，您的組織是否擁有有效的隱私和安全機制來保護敏感資訊並確保遵守行業和地區特定的法規？

制定一個深思熟慮的實施計劃不僅可以幫助您無風險地採用該技術並更快地獲得收益，還可以降低人工智慧的成本。

利用 ITRex gen AI 諮詢服務，了解 gen AI 是否可以幫助您改善業務流程、選擇正確的 gen AI 實施方法並優化 gen AI 成本。 寫信給我們，讓一切順利進行！

本文最初發佈於 ITRex 網站。