조직의 효과적인 구현을 위한 생성적 AI 비용 평가

게시 됨: 2024-01-23

생성적 인공 지능(AI) 구현 비용에 대한 몇 가지 핵심 사항입니다.

  • 비즈니스에서 생성적 AI를 구현하는 데 드는 비용은 미세 조정된 오픈 소스 모델을 기반으로 하는 맞춤형 생성적 AI 솔루션의 경우 매월 수백 달러에서 190,000달러(계산 가능)까지 다양합니다.
  • 이러한 생성적 AI 비용 차이는 향상하려는 작업, 해당 작업에 가장 적합한 모델, 선택한 구현 접근 방식을 포함한 여러 요소에 의해 결정됩니다.
  • 관련 비용을 최적화하려면 프로젝트 요구 사항을 신중하게 고려하고, 온프레미스 및 클라우드 인프라 비용을 평가하고, 사내 AI 인재를 고용하거나 프로젝트를 제3자에 아웃소싱하는 것 중에서 선택해야 합니다.

우리는 이미 생성적 AI(gen AI)가 기존 AI와 어떻게 비교되는지 설명했습니다. 우리는 또한 이 기술의 장점과 단점을 간략히 설명했습니다. ITRex 생성 AI 컨설팅 팀은 또한 의료, 소매, 공급망을 포함한 여러 산업 전반에 걸쳐 Gen AI의 사용 사례를 조사했습니다.

또한 AI 시스템 및 인프라 구축 비용을 평가하고 기계 학습(ML) 비용을 확대하여 훈련 데이터 준비, 모델 미세 조정 및 ML 기반 솔루션 배포와 관련된 비용을 계산했습니다.

이제 비즈니스에서 Gen AI 구현 비용을 해독할 차례입니다. 귀하의 프로젝트에 대한 구체적인 내용이 아직 알려지지 않았기 때문에 이 분석은 어려울 수 있습니다. 그러나 우리는 Gen AI 컨설팅 전문 지식을 활용하여 서비스 가격을 탐색하고 Gen AI 프로젝트 비용의 주요 요소를 열거할 수 있습니다. 이러한 방식으로 우리는 귀하가 정보에 입각한 결정을 내릴 수 있는 지식을 제공하여 빠르게 발전하는 기술 환경에서 잠재적으로 귀하의 비즈니스에 상당한 시간과 자원을 절약할 수 있도록 해드립니다.

관심 있는? 그럼 바로 뛰어들어 볼까요!

Gen AI 비용에 영향을 미치는 요소: 모델 선택 및 구현 접근 방식

Gen AI를 회사의 기술 스택에 통합할 때 다음 사항을 고려하는 것이 중요합니다.

  • 생성 AI를 통해 어떤 비즈니스 업무를 향상할 예정인가요?
  • 이러한 작업에는 어떤 모델이 적합합니까?

생성적 AI 솔루션의 중심에는 기초 모델, 즉 엄청난 양의 데이터에 대해 훈련된 대규모 모델이 있습니다. 기본적으로 기초 모델은 맞춤형 Gen AI 솔루션을 생성하고, 개발 프로세스를 단순화하며, Gen AI 비용을 낮추기 위한 기반 역할을 합니다. 이들 기능에는 일반적으로 자연어 처리(NLP), 컴퓨터 비전(CV) 및 콘텐츠 생성이 포함됩니다.

기초 모델의 인지 능력은 훈련된 매개변수의 수에 따라 크게 달라집니다. 이 맥락에서 매개변수는 신경망의 가중치와 같이 훈련 데이터에서 학습된 모델 요소를 나타냅니다. 이러한 매개변수는 모델이 결정을 내리고 예측하는 데 도움이 됩니다. 다음 표는 매개변수 수(기본적으로 이러한 의사결정 요소의 양)와 모델의 인지 능력 간의 상관관계를 보여줍니다.

그러나 매개변수의 수가 기초 모델의 기능에 영향을 미치는 유일한 요소는 아닙니다. 훈련 데이터의 품질과 다양성도 마찬가지로 중요합니다. 훈련 데이터는 모델에 입력되어 학습되는 정보입니다. 이러한 데이터에는 모델이 새로운 데이터를 이해하고 해석하는 데 도움이 되는 광범위한 예가 포함됩니다. 또한 모델의 아키텍처(즉, 매개변수와 데이터가 상호 작용하는 방식에 대한 구조적 설계)와 모델이 데이터로부터 얼마나 효과적으로 학습하는지 결정하는 학습 알고리즘의 효율성이 중요한 역할을 합니다. 결과적으로 일부 작업에서는 매개변수가 적지만 더 나은 훈련 데이터 또는 더 효율적인 아키텍처를 갖춘 모델이 더 큰 모델보다 성능이 뛰어날 수 있습니다.

Gen AI 비용에 대한 기대에 맞는 기반 모델 선택

기존의 모든 Gen AI 모델은 느슨하게 두 가지 유형으로 분류될 수 있습니다.

  • 비공개 소스 모델은 Google, Meta, Microsoft 및 OpenAI와 같은 대규모 기술 회사에서 개발되었습니다. 소스 코드, 아키텍처 및 API(애플리케이션 프로그래밍 인터페이스)는 완전히 독점적이거나 제3자에게 제공될 수 있습니다(일반적으로 유료(기본적으로 Gen AI 솔루션 비용)). 어떤 경우에는 데이터를 사용하여 비공개 소스 모델의 성능을 미세 조정할 수 있습니다. 이 기사의 목적에 따라 우리는 비공개 소스 모델을 상업적으로 이용 가능한 Gen AI 솔루션으로 언급할 것입니다. 이러한 모델의 가장 큰 장점은 클라우드 인프라가 함께 제공되고 원래 개발자가 완벽하게 유지 관리한다는 것입니다.
  • 오픈 소스 모델에는 소스 코드, 교육 기술, 때로는 공개 사용 및 수정이 가능한 교육 데이터도 포함되어 있습니다. 회사에서는 이러한 모델을 "있는 그대로" 사용하거나 자체 데이터로 재교육하여 더 나은 정확성과 성능을 얻을 수 있습니다. 그러나 모델을 실행하려면 온프레미스 또는 클라우드 인프라를 설정해야 합니다. 따라서 이러한 Gen AI 모델의 비용에는 컴퓨팅 비용이 포함되며, Gen AI 솔루션을 향상하기로 선택한 경우 모델 교육과 관련된 비용도 포함됩니다.

요약해보자. 귀하의 회사가 Gen AI 구현을 고려하고 있다면 이를 수행하는 네 가지 주요 방법이 있습니다.

  1. 사용자 정의 없이 비공개 소스 모델 사용: Gen AI 개척자는 API를 사용하여 OpenAI의 ChatGPT, Google Bard, Claude 및 Synthesia와 같은 기성 제품을 애플리케이션과 통합할 수 있습니다. 통합 프로세스는 매우 간단하며 생성적 AI 가격 책정도 마찬가지입니다(나중에 자세히 설명). 상용 제품은 자주 업데이트되며 AI 개발자를 위한 광범위한 문서를 제공합니다. 단점은? 사용자 정의 옵션은 제한적이며 고객 지원 문의 처리 또는 시각적 콘텐츠 제작과 같은 중요한 비즈니스 작업을 외부 회사에 크게 의존하게 됩니다.
  2. 기업 데이터에 대해 상용 솔루션 재교육: 이 시나리오에서 사내 AI 팀은 OpenAI와 같은 특정 공급업체가 개발한 기존 Gen AI 제품을 선택하고 자체 데이터를 사용하여 미세 조정합니다. 맞춤형 Gen AI 솔루션은 사용자의 질문을 더 잘 이해하고 더 정확한 답변을 제공합니다. 그러나 공급업체는 여전히 쿼리 실행에 대해 소액의 수수료를 청구하므로 최종 AI 비용은 운영 및 사용자 정의 비용으로 구성됩니다.
  3. 오픈 소스 기반 모델을 "있는 그대로" 사용: 과장하면 회사에서는 RoBERTa, GPT-2, GPT-Neo 또는 기타 오픈 소스 모델을 선택하여 추가 교육 없이 고객 이메일 응답과 같은 비즈니스 작업에 적용할 수 있습니다. 그러나 Gen AI의 비용은 모델이 소비하는 컴퓨팅 리소스에 따라 결정됩니다. 귀하의 Gen AI 솔루션은 익숙하지 않은 데이터와 작업에 직면할 때 성능이 저하될 수 있습니다.
  4. 데이터에 대한 오픈 소스 모델 재교육: 이 경우 Gen AI 모델 교육을 위한 특정 데이터를 획득 및 준비하고, 모델 교육 및 운영을 위해 온프레미스 또는 클라우드 서버를 제공하고, 계속해서 세부 조정 및 업데이트해야 합니다. 작업이 발전함에 따라 모델이 변경됩니다. 이러한 맞춤형 접근 방식은 우수한 모델 성능을 보장하지만 더 높은 세대의 AI 비용을 수반합니다.

이제 구현 옵션을 알았으므로 이러한 옵션에 수반되는 AI 생성 비용을 확대해 보겠습니다.

구현 시나리오를 기반으로 한 Gen AI 가격에 대한 통찰력

상업적으로 이용 가능한 Gen AI 도구의 비용

텍스트 처리 및 생성을 용이하게 하는 기성 서비스는 일반적으로 입력 또는 출력 텍스트의 문자 또는 토큰(구두점에서 단어 및 기타 구문 요소에 이르기까지 텍스트의 기본 단위) 수를 기준으로 기업에 비용을 청구합니다. .

이것이 실제로 작동하는 방식은 다음과 같습니다.

  1. 문자 기반 청구: Google의 Vertex AI로 구동되는 Gen AI 도구와 같은 일부 솔루션은 입력 및 출력 텍스트의 문자 수를 기준으로 사용자에게 요금을 청구합니다. 각 문자, 숫자, 공백 및 구두점을 문자로 계산합니다. 예를 들어 Vertex에서 지원하는 PaLM 2 for Text 모델의 생성 AI 가격은 입력 및 출력 텍스트에 대해 1,000자당 $0.0005부터 시작됩니다(별도 청구).
  2. 토큰 기반 청구: 고급 AI 도구는 텍스트를 문자 대신 토큰으로 분해하는 경향이 있습니다. 모델의 학습 및 처리 방법에 따라 토큰은 구두점, 단어 또는 단어의 일부가 될 수 있습니다. 예를 들어 OpenAI는 토큰을 약 4개의 문자 그룹으로 정의합니다. “Tom이 Jill 꽃을 가져왔습니다.”와 같은 간단한 문장입니다. 따라서 "가져온" 및 "꽃"이라는 단어가 4자 임계값을 약간 초과하므로 8개의 토큰으로 구성됩니다. 이러한 생성 AI 솔루션의 비용은 선택한 언어 모델에 따라 크게 달라집니다. 시장에서 가장 정교한 도구 중 하나인 OpenAI의 GPT-4 Turbo는 입력 텍스트에 대해 1,000개 토큰당 0.01달러, 출력 텍스트에 대해 1,000개 토큰당 0.03달러를 청구합니다. 이전 버전인 GPT-3.5 Turbo의 경우 가격은 입력 텍스트의 경우 토큰 1,000개당 $0.001부터 출력 텍스트의 경우 토큰 1,000개당 $0.002까지 상당히 낮습니다. 세대에 따라 AI 제공업체마다 문자 및 토큰에 대한 개념이 다르다는 점에 유의해야 합니다. . 가장 비용 효율적인 옵션을 선택하려면 문서와 계획을 연구하고 고유한 비즈니스 요구 사항에 가장 적합한 제품을 고려해야 합니다. 예를 들어 작업이 분석보다는 텍스트 생성 중심이라면 출력 속도가 낮은 생성 AI 서비스가 더 적합할 것입니다.

한편, 시각적 콘텐츠 제작을 위한 Gen AI 서비스는 생성된 이미지당 사용자에게 요금을 부과하는 경향이 있으며 요금은 이미지 크기와 품질에 따라 결정됩니다. DALL·E 3에서 표준 품질로 생성한 단일 1024 x 1024 픽셀 이미지 비용은 $0.04입니다. 더 큰 이미지(1024×1792 픽셀)와 고화질 이미지의 경우 가격은 개당 0.08~0.12달러까지 올라갈 수 있습니다.

그리고 가격 책정에 대해 보다 전통적인 접근 방식을 취하는 Synthesia.io와 같은 턴키 세대 AI 플랫폼을 잊지 마십시오. 마케팅 팀이 비디오 제작 프로세스의 속도를 높이려는 경우 연간 $804의 저렴한 비용으로 이 도구를 사용해 볼 수 있습니다.

상업적으로 이용 가능한 Gen AI 제품을 맞춤화하는 데 드는 비용

이전 섹션에서 볼 수 있듯이 기성 Gen AI 제품의 대부분은 종량제 수익 창출 전략을 활용합니다.

가격 책정 모델은 언뜻 보면 매우 간단해 보이지만 직원이 실행할 쿼리 수를 예측하는 것은 어려울 수 있습니다. 특히 다양한 부서에서 여러 세대의 AI 사용 사례를 탐색하려는 경우 더욱 그렇습니다.

이는 클라우드 컴퓨팅 초기와 마찬가지로 Gen AI 도구의 가격과 총 소유 비용에 대한 혼란을 가져옵니다.

상용 AI 솔루션을 사용할 때의 또 다른 단점은 ChatGPT와 같은 범용 제품에는 회사의 구조, 제품 및 서비스에 대한 친숙도와 같은 상황별 지식이 부족하다는 것입니다. 이로 인해 프롬프트 엔지니어링을 마스터하더라도 AI 기능으로 고객 지원 및 보고서 생성과 같은 작업을 강화하기가 어렵습니다.

McKinsey의 수석 파트너인 Eric Lamarre에 따르면, 이 문제를 해결하려면 조직은 "모델에서 사용할 수 있는 데이터 환경을 만들어야 합니다." 즉, 회사 데이터와 API를 통해 외부 소스에서 가져온 정보에 대해 상용 AI 도구를 재교육해야 합니다.

목표를 달성하는 방법에는 두 가지가 있으며, 각 시나리오에서 생성 AI 비용에 영향을 미치는 여러 요소가 있습니다.

Gen AI 기능을 갖춘 SaaS(Software-as-a-Service) 플랫폼 사용

SAP, TIBCO Spotfire 및 Salesforce를 포함한 많은 유명 SaaS 공급업체는 고객 데이터를 사용하여 미세 조정할 수 있는 생성적 AI 서비스를 출시하고 있습니다. 예를 들어 Salesforce는 Salesforce Data Cloud에서 독점 데이터를 가져와 고객 질문에 대한 맞춤형 응답을 작성하는 대화형 AI 도우미인 Einstein Copilot을 출시했습니다. 지능형 비서가 활용하는 정보에는 Slack 대화, 원격 측정, 기업 콘텐츠, 기타 정형 및 비정형 데이터가 포함됩니다.

Salesforce 클라이언트는 Einstein Copilot Studio의 코드 없는 프롬프트 빌더 및 모델 빌더를 사용하여 사용자 정의 AI 모델, 기술 및 프롬프트를 생성할 수도 있습니다. 현재 후자의 도구는 OpenAI의 LLM(대형 언어 모델)을 지원하지만 Amazon Bedrock 및 Vertex AI를 포함한 다른 타사 솔루션과 제품을 통합할 계획이 있습니다. Einstein Copilot은 아직 파일럿 단계에 있으므로(말장난 의도 없음) 생성 AI 가격 정보는 아직 공개되지 않았습니다. 그러나 현재 사용자당 월 총액이 50달러인 생성적 AI Sales GPT 도우미의 비용을 보면 무엇을 기대할 수 있는지에 대한 일반적인 아이디어를 얻을 수 있습니다.

API를 통해 기업 소프트웨어를 Gen AI 솔루션과 통합하고 데이터에 대한 모델 재교육

Gen AI 구현 비용을 줄이려면 중간 SaaS 도구를 제거하고 API 수준에서 앱을 상용 AI 솔루션과 직접 병합할 수 있습니다. 예를 들어, Gen AI 기능으로 고객 지원 챗봇을 강화하려는 경우 OpenAI API를 사용하여 OpenAI 모델 중 하나(예: GPT-3.5 또는 GPT-4)와 동기화할 수 있습니다. 다음으로, 머신러닝을 위한 데이터를 준비하고, OpenAI에 데이터를 업로드하고, OpenAI CLI 도구와 Open AI Python 라이브러리를 사용하여 미세 조정 프로세스를 관리해야 합니다. 모델을 미세 조정하는 동안 토큰 1,000개당 $0,008가 청구됩니다(GPT-3.5). 모델이 프로덕션에 들어가면 입력 및 출력 비율은 각각 토큰 1,000개당 $0,003, 토큰 1,000개당 $0,006입니다. OpenAI 서버에서 데이터를 호스팅하도록 선택한 경우 Gen AI의 전체 비용에는 스토리지 비용도 포함됩니다. 데이터 저장 비용은 최종 추정치에 일일 데이터 1GB당 0.2달러를 추가할 수 있습니다. 그리고 데이터 준비와 모델 미세 조정 노력도 잊지 마세요. IT 부서가 필요한 기술을 보유하지 않는 한 신뢰할 수 있는 AI 개발 서비스 회사와 협력해야 합니다.

오픈 소스 Gen AI 모델을 "있는 그대로" 사용하는 데 드는 비용

면책조항: 처음부터 ChatGPT와 유사한 사용자 정의 기반 모델을 구축하라고 제안하는 것이 아닙니다. 이는 5억 4천만 달러의 손실을 상쇄하기 위한 Microsoft의 OpenAI 지원과 같이 상당한 지원을 받는 사람들에게 가장 적합한 벤처입니다.

GPT-3와 같은 보다 기본적인 기초 모델의 경우 초기 교육 및 배포 비용이 400만 달러를 초과할 수 있습니다. 더욱이 이러한 기초 모델의 복잡성은 최근 몇 년간 놀라운 속도로 급증했습니다.

ITRex: 맞춤형

대규모 AI 모델을 훈련하는 데 필요한 컴퓨팅 리소스의 양은 3.5개월마다 두 배로 늘어납니다. 기초 모델의 복잡성도 변화하고 있습니다. 예를 들어, 2016년에 Bert-Large는 3억 4천만 개의 매개변수로 교육을 받았습니다. 이에 비해 OpenAI의 GPT-3 모델은 약 1,750억 개의 매개변수로 훈련되었습니다.

좋은 소식은 기초 모델이 이미 존재하므로 기업이 Gen AI 구현 비용을 최적화하면서 상대적으로 쉽게 실험을 시작할 수 있다는 것입니다. 기본적으로 기초 모델은 AI 소프트웨어 엔지니어를 위한 툴킷으로 취급할 수 있습니다. 왜냐하면 기초 모델은 맞춤화할 여지를 남겨두는 동시에 복잡한 문제를 해결하기 위한 출발점을 제공하기 때문입니다.

ITRex: 맞춤형

기존 기초 모델을 세 가지 범주로 느슨하게 나눌 수 있습니다.

  • 언어 모델은 텍스트 번역, 생성 및 질문 답변 작업을 처리하도록 설계되었습니다.
  • 컴퓨터 비전 모델은 이미지 분류, 물체 감지 및 얼굴 인식에 탁월합니다.
  • 세 번째 범주인 생성적 AI 모델은 모델이 소비한 데이터와 유사한 콘텐츠를 생성합니다. 이 콘텐츠에는 새로운 이미지, 시뮬레이션 또는 경우에 따라 텍스트 정보가 포함될 수 있습니다.

귀하의 요구 사항에 가장 적합한 오픈 소스 모델을 선택한 후에는 API를 사용하여 이를 소프트웨어와 통합하고 자체 서버 인프라를 활용할 수 있습니다.

이 접근 방식에는 다음과 같은 생성 AI 비용이 포함됩니다.

  1. 하드웨어 비용: AI 모델, 특히 대규모 모델을 실행하려면 상당한 컴퓨팅 리소스가 필요합니다. 회사에 적절한 하드웨어가 부족한 경우 강력한 GPU 또는 CPU에 투자해야 할 수 있으며 이는 비용이 많이 들 수 있습니다. 모델이 상대적으로 작다면 NVIDIA RTX 3080 또는 이와 유사한 고급 GPU로 충분할 수 있습니다. 이러한 GPU의 가격은 700달러에서 1,500달러까지 다양합니다. GPT-2 또는 이와 유사한 대형 모델의 경우 여러 개의 고급 GPU 또는 특수 AI 가속기가 필요합니다. 예를 들어 단일 NVIDIA A100 GPU의 가격은 10,000~20,000달러 사이입니다. 따라서 여러 GPU를 사용하는 설정에는 $30,000에서 $50,000 사이의 비용이 들 수 있습니다.
  2. 클라우드 컴퓨팅 비용: 하드웨어를 구입하는 대신 Amazon Web Services(AWS), Google Cloud Platform(GCP) 또는 Microsoft Azure와 같은 공급자로부터 클라우드 컴퓨팅 리소스를 임대할 수 있습니다. 이러한 서비스는 사용량에 따라 요금이 부과되므로 컴퓨팅 시간과 저장 공간 측면에서 리소스를 얼마나 사용하는지에 따라 비용이 달라집니다. 예를 들어, AWS의 GPU 인스턴스(예: P3 또는 P4)는 인스턴스 유형에 따라 시간당 3~24달러의 비용이 발생할 수 있습니다.
  3. 전기 및 유지 관리: 자체 하드웨어를 사용하는 경우 기계 작동 및 추가 냉각 시스템에 대한 전기 비용이 발생할 수 있습니다. 하드웨어 유지 관리 비용도 추가될 수 있습니다.
  4. 통합 및 배포: AI 모델을 기존 시스템에 통합하고 배포하려면(특히 프로덕션 환경에서) 추가 소프트웨어 개발 노력이 필요할 수 있으며 이로 인해 인건비가 발생할 수 있습니다. AI 개발을 소프트웨어 개발 회사에 아웃소싱하는 데 드는 비용은 시간당 50달러에서 200달러까지 다양하며 총 비용은 수천 달러에서 수만 달러에 이릅니다.
  5. 데이터 저장 및 관리: 특히 대규모 데이터 세트를 처리하거나 클라우드 스토리지 솔루션을 사용할 때 모델에서 사용되는 데이터를 저장하고 관리하는 데 비용이 많이 들 수 있습니다. 현장 설치의 경우 생성 AI 데이터를 저장하는 비용은 훈련 데이터 세트의 크기와 중복성 요구 사항에 따라 $1,000에서 $10,000까지 다양할 수 있습니다. AWS S3와 같은 클라우드 기반 데이터 스토리지 솔루션의 요금은 GB당 월 $0.021에서 $0.023까지 다양할 수 있으며 운영 및 데이터 전송에 대한 추가 비용이 발생합니다.

궁극적으로 회사에서 생성적 AI 기반 모델을 "있는 그대로" 채택하여 자체 인프라에 배포하는 데 드는 비용은 얼마입니까? 온프레미스 GPT-2와 같은 중간 규모의 모델을 사용하려는 중견 기업의 경우 관련 생성 AI 비용은 다음과 같습니다.

  • 하드웨어: $20,000~$50,000(고급 GPU 두 개 또는 기본 다중 GPU 설정의 경우)
  • 전기 및 유지 관리: 연간 약 $2,000~$5,000
  • 통합 및 배포: $10,000~$30,000(중간 수준의 통합 복잡성 가정)
  • 데이터 저장 및 관리: $5,000~$15,000(데이터 크기에 따라 다름)

생성적 AI 솔루션을 설정하고 운영하는 데 드는 총 비용에는 다음이 포함됩니다.

  • 초기 배포 비용: 약 $37,000~$100,000(하드웨어 + 초기 통합 및 스토리지 설정)
  • 반복 비용: $7,000 - $20,000(전기, 유지 관리, 지속적인 통합 및 데이터 관리 비용 포함)

이러한 야구장의 추정치는 특정 요구 사항, 위치 및 시장 상황에 따라 크게 달라질 수 있습니다. 보다 개인화되고 정확한 견적을 얻으려면 항상 전문가와 상담하는 것이 가장 좋습니다. 또한 하드웨어 및 클라우드 서비스의 현재 시장 가격을 확인하여 최신 가격을 확인하는 것이 좋습니다.

데이터를 사용하여 오픈 소스 Gen AI 솔루션을 재교육하는 데 드는 비용

회사에서 오픈 소스 기반 모델 조정을 고려하고 있다면 생성 AI 구현 비용에 영향을 미칠 수 있는 요소를 고려하는 것이 중요합니다.

이러한 요인에는 다음이 포함됩니다.

  1. 모델 크기: GPT-3과 같은 대규모 모델의 경우 세부 조정 및 배포를 위해 더 많은 리소스가 필요합니다. 결과적으로 생성 AI의 비용은 모델의 크기와 복잡성에 따라 증가합니다. 한편, GPT-2, XLNet, StyleGAN2와 같은 보다 단순한 오픈 소스 기반 모델은 동일한 수준의 일관성과 관련성을 지닌 콘텐츠를 생성할 수 없습니다.
  2. 컴퓨팅 리소스: 회사의 데이터를 사용하여 기초 모델을 재교육하려면 상당한 컴퓨팅 성능이 필요합니다. 따라서 Gen AI 솔루션의 비용은 자체 하드웨어 또는 클라우드 서비스를 활용하는지 여부에 따라 달라지며 후자의 가격은 클라우드 제공업체 및 운영 규모에 따라 다릅니다. 더 간단한 모델을 선택하고 이를 온프레미스에 배포하는 경우 생성 AI 솔루션을 미세 조정하는 데 GPU 비용으로 10,000~30,000달러를 지출할 것으로 예상됩니다. 클라우드 컴퓨팅을 사용하면 인스턴스 유형에 따라 비용이 시간당 1달러에서 10달러 사이가 될 수 있습니다. GPT-3과 유사한 오픈 소스 모델에는 $50,000~$100,000 이상의 고급 GPU 설정이 필요합니다. 관련 클라우드 컴퓨팅 비용은 고급 GPU 인스턴스의 경우 시간당 10달러에서 24달러까지 다양합니다.
  3. 데이터 준비: 기초 모델을 미세 조정하기 위해 데이터를 수집, 정리 및 준비하는 프로세스는 리소스 집약적일 수 있습니다. 따라서 생성적 AI 구현 비용에는 회사에 자체 데이터가 부족하거나 보안 및 개인 정보 보호상의 이유로 사용할 수 없는 경우 데이터 저장, 처리 및 교육 데이터 세트 구매와 관련된 비용이 포함됩니다.
  4. 개발 시간 및 전문성: AI 인재는 저렴하게 제공되지 않습니다. 미국에 본사를 둔 사내 AI 엔지니어는 회사에 연간 $70,000~$200,000의 비용과 채용, 급여, 사회보장 및 기타 관리 비용을 추가로 지출하게 됩니다. AI 개발 전문 지식을 갖춘 해외 소프트웨어 엔지니어링 회사와 제휴하면 생성적 AI 비용을 줄일 수 있습니다. 위치에 따라 이러한 회사의 시간당 요율은 중부 유럽 및 라틴 아메리카와 같은 주요 아웃소싱 위치의 고위 개발 인재에 대해 62달러에서 95달러까지 다양합니다.
  5. 유지 관리 비용: 모델 유지 관리, 업데이트, 문제 해결은 전적으로 사용자의 책임이며, 이를 위해서는 지속적인 노력과 MLOps(기계 학습 엔지니어링 및 운영) 전문 지식이 필요합니다.

위에서 언급한 요소를 고려할 때 쉽게 사용할 수 있는 기반 모델을 기반으로 맞춤형 생성 AI 솔루션을 만드는 데 드는 현실적인 비용은 얼마입니까? GPT-2와 같은 중간 규모의 모델을 미세 조정하려는 중견 기업의 경우 관련 생성 AI 구현 비용은 다음과 같을 수 있습니다.

  • 하드웨어: $20,000~$30,000(보통 GPU 설정의 경우)
  • 개발: 내부 인재와 아웃소싱 인재를 혼합하여 6개월의 개발 시간을 가정합니다.

사내: $35,000–$100,000(반기 급여)

아웃소싱: $20,000~$40,000(시간당 평균 $75로 400시간 가정)

  • 데이터 준비: $5,000~$20,000(데이터 크기 및 복잡성에 따라 다름)
  • 유지 관리: 연간 $5,000~$15,000(지속적인 비용)

생성적 AI 솔루션을 설정하고 운영하는 데 드는 총 비용에는 다음이 포함됩니다.

  • 초기 배포 비용: 약 $80,000~$190,000(하드웨어, 개발, 데이터 준비 비용 포함)
  • 반복 비용: $5,000 ~ $15,000(유지 관리 및 지속적인 비용)

실제 Gen AI 개발 및 구현 비용은 특정 프로젝트 요구 사항, 교육 데이터 및 내부 AI 인재의 가용성, 아웃소싱 파트너의 위치에 따라 달라질 수 있습니다. 가장 정확하고 최신 가격을 알아보려면 전문가나 서비스 제공업체에 직접 문의하는 것이 좋습니다.

Gen AI 시스템에 대한 190,000달러는 비합리적으로 비싸 보일 수 있지만, 오픈 소스 기반 모델을 사용하여 Gen AI 솔루션을 구축하는 비용은 상용 도구를 선택하는 것보다 낮을 수 있습니다.

ChatGPT가 주목받기 전에 AI 기반 어드벤처 게임인 AI Dungeon을 담당하는 선구적인 스타트업인 Latitude는 OpenAI의 GPT 모델을 텍스트 생성에 활용해 왔습니다.

사용자 기반이 성장함에 따라 OpenAI의 청구서와 Amazon 인프라 비용도 증가했습니다. 어느 시점에서 회사는 점점 늘어나는 사용자 쿼리를 처리하기 위해 관련 비용으로 매월 200,000달러를 지불하고 있었습니다.

새로운 생성 AI 제공업체로 전환한 후 회사는 운영 비용을 월 100,000달러로 줄이고 수익화 전략을 조정하여 고급 AI 기반 기능에 대한 월간 구독을 도입했습니다.

생성적 AI 가격을 최적화하는 동시에 올바른 구현 접근 방식을 선택하려면 프로젝트 요구 사항을 사전에 철저하게 분석하는 것이 중요합니다. 이것이 바로 우리가 항상 고객이 발견 단계를 통해 AI 개발 이니셔티브를 시작하도록 권장하는 이유입니다.

Gen AI를 비즈니스에 구현할 때 고려해야 할 사항

이제 생성 AI에서 비용 측면에서 무엇을 기대할 수 있는지 알았으므로 기술 구현의 함정과 고려 사항에 대해 이야기할 차례입니다.

  • 기초 모델, 특히 대규모 언어 모델은 환각을 일으켜 사용자 질문에 대해 합법적인 것처럼 보이지만 완전히 잘못된 답변을 생성할 수 있습니다. 회사에서는 훈련 데이터를 개선하고, 다양한 모델 아키텍처를 실험하고, 효과적인 사용자 피드백 루프를 도입함으로써 이러한 시나리오를 피할 수 있습니다.
  • Gen AI 솔루션은 빠르게 구식이 되는 방대한 양의 데이터를 사용하여 교육됩니다. 결과적으로 모델을 정기적으로 재교육해야 하며, 이로 인해 생성적 AI 구현 비용이 증가합니다.
  • 전자 건강 기록(EHR) 항목과 같은 특정 데이터에 대해 훈련된 기초 모델은 즉각적인 전문 지식을 벗어나 유효한 콘텐츠를 생성하는 데 어려움을 겪을 수 있습니다. 반면에 범용 모델은 도메인별 사용자 쿼리로 인해 어려움을 겪습니다. 이 문제를 해결하는 몇 가지 방법에는 하이브리드 모델 생성, 전이 학습 기술 활용, 사용자 피드백을 통한 모델 미세 조정 등이 있습니다.
  • Gen AI 솔루션은 본질적으로 블랙박스입니다. 즉, 특정 결과를 생성하는 이유와 정확성을 평가하는 방법이 거의 명확하지 않습니다. 이러한 이해 부족으로 인해 개발자가 모델을 조정하지 못할 수도 있습니다. 모델 해석 기술, 주의 메커니즘 및 감사 추적 도입과 같은 Gen AI 모델 교육 중에 설명 가능한 AI 원칙을 따르면 모델의 의사 결정 프로세스에 대한 통찰력을 얻고 성능을 최적화할 수 있습니다.

또한 생성 AI 구현을 시작하기 전에 회사에서 답변해야 할 몇 가지 질문이 있습니다.

  • 귀하의 회사가 벤더 종속을 방지하면서 기술이 차별화 요소가 되는 기능에서만 Gen AI를 채택하는지 검증할 수 있는 확실한 구매 및 구축 전략이 있습니까? 이 전략은 변경 관리 및 Gen AI 확장을 위한 상세한 로드맵과 필요에 따라 전체 비즈니스 프로세스를 재설계하기 위한 조항을 통해 강화되어야 합니다.
  • 사내 IT 부서가 복잡한 ML 모델과 해당 교육 데이터의 품질을 테스트, 미세 조정 및 유지 관리할 수 있는 적절한 MLOps 기술을 보유하고 있습니까? 그렇지 않다면 이러한 업무를 담당할 신뢰할 수 있는 AI 개발 회사를 이미 선택하셨나요?
  • 클라우드와 엣지 모두에 상당한 양의 컴퓨팅 리소스가 있습니까? 또한 IT 인프라의 확장성과 다양한 작업, 프로세스 및 단위에서 Gen AI 모델을 재사용할 수 있는 가능성을 평가하는 것이 중요합니다.
  • 귀하의 회사 또는 AI 개발 파트너는 개념 증명(PoC)을 통해 Gen AI의 타당성을 테스트하고 통제된 샌드박스 환경 외부에서 실험을 확장할 수 있는 기술을 보유하고 있습니까?
  • 마지막으로, 귀하의 조직은 민감한 정보를 보호하고 산업 및 지역별 규정을 준수할 수 있는 효과적인 개인 정보 보호 및 보안 메커니즘을 갖추고 있습니까?

잘 계획된 구현 계획을 세우면 위험 없는 방식으로 기술을 채택하고 이점을 더 빨리 얻을 수 있을 뿐만 아니라 Gen AI 비용도 절감할 수 있습니다.

ITRex Gen AI 컨설팅 서비스를 활용하여 Gen AI가 비즈니스 프로세스를 개선하고, 올바른 Gen AI 구현 접근 방식을 선택하고, Gen AI 비용을 최적화하는 데 도움이 되는지 알아보세요. 공을 굴리려면 우리에게 편지를 보내십시오!

이 기사는 원래 ITRex 웹사이트에 게시되었습니다.