Evaluarea costului IA generativă pentru o implementare eficientă în organizația dvs

Publicat: 2024-01-23

Câteva puncte cheie despre costurile implementării inteligenței artificiale generative (AI).

  • Costul implementării AI generative în afaceri poate varia de la câteva sute de dolari pe lună până la 190.000 de dolari (și urmând) pentru o soluție AI generativă personalizată, bazată pe un model open-source reglat fin.
  • Această diferență generativă de costuri AI este determinată de mai mulți factori, inclusiv sarcinile pe care doriți să le îmbunătățiți, modelul care se potrivește cel mai bine acelor sarcini și abordarea de implementare selectată.
  • Pentru a optimiza cheltuielile asociate, trebuie să luați în considerare cu atenție cerințele proiectului dvs., să evaluați cheltuielile de infrastructură la sediu și cloud și să alegeți între angajarea de talent AI intern și externalizarea proiectului către o terță parte.

V-am spus deja cât de generativă AI (gen AI) se compară cu AI tradițională. De asemenea, am subliniat avantajele și dezavantajele tehnologiei. Echipa de consultanță ITRex generative AI a analizat, de asemenea, cazurile de utilizare ale genului AI în mai multe industrii, inclusiv asistența medicală, retailul și lanțurile de aprovizionare.

În plus, am evaluat costul construirii sistemelor AI și al infrastructurii și am mărit costurile învățării automate (ML), calculând cheltuielile asociate cu pregătirea datelor de instruire, ajustarea modelelor și implementarea soluțiilor bazate pe ML.

Acum este timpul să descifrem costul implementării gen AI în afaceri. Această analiză poate fi o provocare, deoarece specificul proiectului dumneavoastră ne este încă necunoscut. Cu toate acestea, putem folosi expertiza noastră de consultanță gen AI pentru a explora prețurile serviciilor sale și pentru a enumera factorii cheie din spatele costurilor proiectelor gen AI. În acest fel, vă vom dota cu cunoștințele necesare pentru a lua decizii în cunoștință de cauză, economisind potențial afacerea dvs. timp și resurse considerabile în acest peisaj tehnologic în evoluție rapidă.

Interesat? Să ne scufundăm chiar atunci!

Factori care afectează costul Gen AI: alegerea unui model și a abordării de implementare

Când vă gândiți să încorporați gen AI în tehnologia companiei dvs., este esențial să luați în considerare următoarele:

  • Ce sarcini de afaceri vei îmbunătăți cu AI generativă?
  • Ce model ar fi suficient pentru aceste sarcini?

În centrul soluțiilor AI generative se află modelele de bază, adică modele mari antrenate pe cantități uriașe de date. În esență, modelele de bază servesc drept bază pentru crearea de soluții personalizate de gen AI, simplificând procesul de dezvoltare și reducând costurile gen AI. Capacitățile lor includ de obicei procesarea limbajului natural (NLP), viziunea computerizată (CV) și generarea de conținut.

Capacitățile cognitive ale modelelor de bază depind în mare măsură de numărul de parametri pe care au fost antrenați. În acest context, parametrii se referă la elemente de model care sunt învățate din datele de antrenament, cum ar fi greutățile într-o rețea neuronală. Acești parametri ajută modelul să ia decizii și predicții. Următorul tabel ilustrează corelația dintre numărul de parametri - în esență, volumul acestor elemente de luare a deciziilor - și capacitățile cognitive ale modelului.

Numărul de parametri, însă, nu este singurul factor care influențează capacitățile modelelor de fundație. Calitatea și diversitatea datelor de formare sunt la fel de importante. Datele de antrenament sunt informațiile introduse în model, din care învață. Astfel de date cuprind o gamă largă de exemple care ajută modelul să înțeleagă și să interpreteze date noi. În plus, arhitectura modelului – adică designul structural al modului în care parametrii și datele interacționează – și eficiența algoritmilor de învățare, care determină cât de eficient modelul învață din date, joacă roluri critice. Ca rezultat, în unele sarcini, un model cu mai puțini parametri, dar date de antrenament mai bune sau o arhitectură mai eficientă poate depăși un model mai mare.

Selectarea unui model de fundație care să răspundă așteptărilor dvs. cu privire la costul generației AI

Toate modelele AI de generație existente pot fi clasificate vag în două tipuri.

  • Modelele cu sursă închisă sunt dezvoltate de mari companii de tehnologie, cum ar fi Google, Meta, Microsoft și OpenAI. Codul lor sursă, arhitectura și interfețele de programare a aplicațiilor (API) pot fi complet proprietare sau puse la dispoziție terților (de obicei contra cost, care este în esență costul soluției gen AI). În unele cazuri, puteți ajusta performanța modelelor cu sursă închisă folosind datele dvs. În scopul acestui articol, ne vom referi la modele cu sursă închisă ca soluții gen AI disponibile comercial. Avantajul major al unor astfel de modele este că vin cu o infrastructură cloud și sunt întreținute integral de către dezvoltatorul original.
  • Modelele open-source au codul lor sursă, tehnicile de antrenament și, uneori, chiar și datele de instruire disponibile pentru utilizare publică și modificare. Compania dvs. poate folosi astfel de modele „ca atare” sau le poate reeduca pe propriile date pentru a obține o precizie și performanță mai bune. Cu toate acestea, va trebui să configurați o infrastructură locală sau cloud pentru ca modelul să ruleze. Costul unor astfel de modele gen AI va include astfel costurile de calcul și, dacă alegeți să îmbunătățiți soluția Gen AI, cheltuielile asociate cu formarea modelului.

Să rezumam. Dacă compania dvs. are în vedere implementarea gen AI, există patru modalități principale de a face acest lucru.

  1. Folosind modele cu sursă închisă fără personalizare: pionierii Gen AI pot integra produse standard precum ChatGPT de la OpenAI, Google Bard, Claude și Synthesia cu aplicațiile lor folosind API-uri. Procesul de integrare este destul de simplu, la fel și prețul generativ AI (mai multe despre asta mai târziu). Produsele disponibile comercial sunt actualizate frecvent și oferă o documentație extinsă pentru dezvoltatorii AI. Dezavantajul? Opțiunile dvs. de personalizare vor fi limitate și veți depinde în mare măsură de o companie externă pentru sarcini vitale de afaceri, cum ar fi gestionarea întrebărilor de asistență pentru clienți sau producerea de conținut vizual.
  2. Reantrenarea soluțiilor disponibile comercial pe datele companiei dvs.: în acest scenariu, echipa dumneavoastră de AI internă va selecta un produs AI de generație existent dezvoltat de un anumit furnizor, cum ar fi OpenAI, și îl va ajusta cu ajutorul propriilor date. Soluțiile personalizate de gen AI vor înțelege mai bine întrebările utilizatorilor și vor veni cu răspunsuri mai precise. Cu toate acestea, furnizorul va percepe în continuare o mică taxă pentru rularea interogărilor dvs., astfel încât costul final al AI al generației va cuprinde atât cheltuieli operaționale, cât și cheltuieli de personalizare.
  3. Folosind modele de fundație open-source „ca atare”: în mod exagerat, compania dumneavoastră ar putea alege RoBERTa, GPT-2, GPT-Neo sau orice alt model open-source și să-l aplice sarcinilor de afaceri precum răspunsul la e-mailurile clienților fără pregătire suplimentară. Cu toate acestea, costul genului AI va fi determinat de resursele de calcul consumate de model. Soluția dvs. gen AI poate avea performanțe slabe atunci când vă confruntați cu date și sarcini nefamiliare.
  4. Reantrenarea modelelor cu sursă deschisă pe datele dvs.: în acest caz, va trebui să obțineți și să pregătiți date specifice pentru instruirea modelului gen AI, să furnizați servere on-premise sau cloud pentru formarea și operațiunile modelului și să continuați să ajustați și să actualizați modelul pe măsură ce sarcinile dumneavoastră evoluează. În timp ce această abordare personalizată garantează performanță superioară a modelului, implică și costuri mai mari ale AI de generație.

Acum că vă cunoașteți opțiunile de implementare, să mărim costul generației AI pe care îl implică aceste opțiuni.

Informații despre prețurile Gen AI pe baza scenariului de implementare

Costul instrumentelor AI Gen disponibile comercial

Serviciile standard care facilitează procesarea și generarea textului taxează în mod obișnuit întreprinderile pe baza numărului de caractere sau jetoane - adică unități de bază de text, care pot varia de la semne de punctuație la cuvinte și alte elemente de sintaxă - în textul de intrare sau de ieșire. .

Iată cum funcționează acest lucru în practică.

  1. Facturare bazată pe caractere: unele soluții, cum ar fi instrumentele gen AI conduse de Vertex AI de la Google, facturează utilizatorii în funcție de numărul de caractere din textul de intrare și de ieșire. Ei numără fiecare literă, număr, spațiu și semn de punctuație ca caracter. Prețul AI generativ pentru modelul PaLM 2 pentru Text, suportat de Vertex, de exemplu, începe de la 0,0005 USD per 1.000 de caractere pentru textul de intrare și de ieșire (facturat separat).
  2. Facturare pe bază de jetoane: instrumentele AI de generație mai avansate tind să descompună textul în jetoane în loc de caractere. În funcție de metodele de antrenament și procesare ale unui model, un simbol poate fi un semn de punctuație, un cuvânt sau o parte a unui cuvânt. De exemplu, OpenAI definește un token ca un grup de aproximativ patru caractere. O propoziție simplă precum „Tom i-a adus flori lui Jill”. ar consta astfel din opt jetoane, deoarece cuvintele „a adus” și „flori” depășesc ușor pragul de patru caractere. Când vine vorba de costul unor astfel de soluții AI generative, depinde în mare măsură de modelul de limbă ales. GPT-4 Turbo de la OpenAI, unul dintre cele mai sofisticate instrumente de pe piață, percepe 0,01 USD per 1.000 de jetoane pentru textul de intrare și 0,03 USD per 1.000 de jetoane pentru textul de ieșire. Pentru GPT-3.5 Turbo, versiunea sa mai veche, prețurile sunt semnificativ mai mici, variind de la 0,001 USD per 1.000 de jetoane pentru textul de intrare la 0,002 USD per 1.000 de jetoane pentru textul de ieșire. Trebuie remarcat faptul că diferiți furnizori de IA din generație au noțiuni diferite de caractere și jetoane. . Pentru a selecta cea mai rentabilă opțiune, ar trebui să studiați documentația și planurile acestora și să luați în considerare ce produs se potrivește cel mai bine nevoilor dvs. unice de afaceri. De exemplu, dacă sarcinile dvs. gravitează mai degrabă în jurul generării de text decât a analizei, un serviciu AI generativ cu rate de ieșire mai mici va fi mai potrivit.

Serviciile Gen AI pentru crearea de conținut vizual, între timp, tind să taxeze utilizatorii pe imagine generată, cu taxe legate de dimensiunea și calitatea imaginii. O singură imagine de 1024 x 1024 pixeli produsă de DALL·E 3 la calitate standard v-ar costa 0,04 USD. Pentru imagini mai mari (1024×1792 pixeli), precum și imagini de înaltă definiție, prețul ar putea ajunge până la 0,08–0,12 USD bucata.

Și nu uitați de platformele AI gen la cheie, cum ar fi Synthesia.io, care adoptă o abordare mai tradițională a prețurilor. Dacă echipa dvs. de marketing dorește să accelereze procesul de creare a videoclipurilor, puteți încerca instrumentul pentru doar 804 USD pe an.

Costul personalizării produselor AI de generație disponibile comercial

După cum puteți vedea din secțiunea anterioară, majoritatea produselor gata făcute Gen AI folosesc strategia de monetizare cu plata pe măsură.

Deși modelele lor de prețuri par destul de simple la prima vedere, ar putea fi dificil să preziceți câte interogări vor rula angajații dvs., mai ales dacă doriți să explorați mai multe cazuri de utilizare a AI din generații diferite în diferite departamente.

Acest lucru generează confuzie în ceea ce privește prețul instrumentelor gen AI și costul total de proprietate, așa cum a fost în primele zile ale cloud computing.

Un alt dezavantaj al utilizării soluțiilor comerciale de gen AI este că produsele de uz general, cum ar fi ChatGPT, nu au cunoștințe contextuale, cum ar fi familiaritatea cu structura, produsele și serviciile companiei dvs. Acest lucru face dificilă creșterea operațiunilor precum asistența pentru clienți și generarea de rapoarte cu capabilități AI, chiar dacă stăpânești inginerie promptă.

Potrivit lui Eric Lamarre, Senior Partner la McKinsey, pentru a rezolva această problemă, organizațiile „trebuie să creeze un mediu de date care să poată fi consumat de model”. Cu alte cuvinte, va trebui să reeducați instrumentele gen AI disponibile comercial pe datele dvs. corporative, precum și pe informațiile extrase din surse externe prin intermediul API-urilor.

Există două moduri de a atinge obiectivul și mai mulți factori care vor avea un impact asupra costului AI generativă în fiecare scenariu.

Utilizarea platformelor Software-as-a-Service (SaaS) cu capabilități Gen AI

Mulți furnizori importanți de SaaS, inclusiv SAP, TIBCO Spotfire și Salesforce, lansează servicii AI generative care pot fi ajustate cu ajutorul datelor clienților. Salesforce, de exemplu, a lansat Einstein Copilot, un asistent AI conversațional care extrage date proprietare din Salesforce Data Cloud pentru a crea răspunsuri personalizate la întrebările clienților. Informațiile utilizate de asistentul inteligent includ conversații Slack, telemetrie, conținut de companie și alte date structurate și nestructurate.

Clienții Salesforce pot crea, de asemenea, modele personalizate de AI, abilități și solicitări folosind Generatorul de prompturi și Generatorul de modele fără cod de la Einstein Copilot Studio. De acum, ultimul instrument acceptă modelele de limbaj mari (LLM) ale OpenAI, dar există planuri de integrare a produsului cu alte soluții terțe, inclusiv Amazon Bedrock și Vertex AI. Întrucât Einstein Copilot este încă în faza sa pilot (fără joc de cuvinte), informațiile generative de preț AI nu au fost încă dezvăluite. Cu toate acestea, costul asistentului GPT generativ de vânzări AI, care în prezent totalizează 50 USD pe utilizator pe lună, vă poate oferi o idee generală la ce să vă așteptați.

Integrarea software-ului dvs. corporativ cu soluții Gen AI prin intermediul API-urilor și modelelor de reinstruire pe datele dvs

Pentru a reduce costul implementării gen AI, puteți elimina instrumentele intermediare SaaS, îmbinând aplicațiile dvs. direct cu soluții comerciale gen AI la nivel de API. De exemplu, dacă doriți să vă supraalimentați chatbot-ul de asistență pentru clienți cu capabilități gen AI, îl puteți sincroniza cu unul dintre modelele OpenAI - de exemplu GPT-3.5 sau GPT-4 - folosind API-ul OpenAI. Apoi, trebuie să vă pregătiți datele pentru învățarea automată, să încărcați datele în OpenAI și să gestionați procesul de reglare fină folosind instrumentul OpenAI CLI și Open AI Python Library. În timpul reglajului fin al modelului, veți fi taxat cu 0.008 USD per 1.000 de jetoane (GPT-3.5). Odată ce modelul dvs. intră în producție, ratele de intrare și de ieșire se vor ridica la 0,003 USD per 1.000 de jetoane și, respectiv, 0,006 USD per mia de jetoane. Costul total al genului AI va include și costurile de stocare, cu condiția să alegeți să vă găzduiți datele pe serverele OpenAI. Cheltuielile de stocare a datelor ar putea adăuga 0,2 USD pe 1 GB de date pe zi la estimarea finală. Și nu uitați de eforturile de pregătire a datelor și de reglare fină a modelului. Dacă departamentul dvs. IT nu posedă abilitățile necesare, va trebui să vă asociați cu o companie de încredere de servicii de dezvoltare AI.

Costul utilizării modelelor Open-Source Gen AI „Așa cum este”

Declinare a răspunderii: nu sugerăm să construiți un model de fundație personalizat asemănător ChatGPT de la zero - aceasta este o afacere cel mai bine lăsată celor cu sprijin substanțial, cum ar fi sprijinul OpenAI de la Microsoft pentru a compensa pierderile lor de 540 de milioane de dolari.

Chiar și mai multe modele de bază, cum ar fi GPT-3, pot acumula costuri inițiale de instruire și implementare depășind 4 milioane USD. În plus, complexitatea acestor modele de fundație a crescut vertiginos în ultimii ani.

ITRex: Personalizat

Cantitatea de resurse de calcul necesare pentru antrenarea modelelor mari de IA se dublează la fiecare 3,5 luni. Complexitatea modelelor de fundație se schimbă și ea. De exemplu, în 2016, Bert-Large a fost antrenat cu 340 de milioane de parametri. În comparație, modelul GPT-3 al OpenAI a fost antrenat cu aproximativ 175 de miliarde de parametri.

Vestea bună este că modelele de bază există deja, ceea ce face relativ ușor pentru companii să înceapă să experimenteze cu ele în timp ce optimizează costurile de implementare a genului AI. În esență, am putea trata modelele de fundație ca pe un set de instrumente pentru inginerii de software AI, deoarece acestea oferă un punct de plecare pentru rezolvarea problemelor complexe, lăsând totuși spațiu pentru personalizare.

ITRex: Personalizat

Am putea împărți în mod liber modelele de fundații existente în trei categorii.

  • Modelele de limbă sunt concepute pentru a gestiona traducerea textului, generarea și sarcinile de răspuns la întrebări
  • Modelele de viziune computerizată excelează la clasificarea imaginilor, detectarea obiectelor și recunoașterea facială
  • A treia categorie, modelele AI generative, creează conținut care seamănă cu datele pe care le-a consumat un model. Acest conținut poate include imagini noi, simulări sau, în unele cazuri, informații textuale.

După ce ați selectat un model open-source care se potrivește cel mai bine nevoilor dvs., îl puteți integra cu software-ul dvs. folosind API-uri și utilizați propria infrastructură de server.

Această abordare implică următoarele costuri AI generative.

  1. Costuri hardware: Rularea modelelor AI, în special a celor mari, necesită resurse de calcul semnificative. Dacă compania dumneavoastră nu are hardware-ul adecvat, poate fi necesar să investiți în GPU-uri sau procesoare puternice, care pot fi costisitoare. Dacă modelul dvs. este relativ mic, ar putea fi suficient un GPU high-end precum un NVIDIA RTX 3080 sau similar. Costul unui astfel de GPU poate varia între 700 USD și 1.500 USD. Pentru modele mari, cum ar fi GPT-2 sau similar, aveți nevoie de mai multe GPU-uri de vârf sau chiar de acceleratoare AI specializate. Un singur GPU NVIDIA A100, de exemplu, poate costa între 10.000 USD și 20.000 USD. O configurare cu mai multe GPU-uri poate costa astfel între 30.000 USD și 50.000 USD.
  2. Costuri de cloud computing: ca alternativă la achiziționarea de hardware, puteți închiria resurse de cloud computing de la furnizori precum Amazon Web Services (AWS), Google Cloud Platform (GCP) sau Microsoft Azure. Aceste servicii taxează în funcție de utilizare, astfel încât costurile vor depinde de cât de mult le folosiți resursele în ceea ce privește timpul de calcul și stocarea. De exemplu, instanțele GPU pe AWS (cum ar fi P3 sau P4) pot costa oriunde de la 3 USD la 24 USD pe oră, în funcție de tipul de instanță.
  3. Electricitate și întreținere: dacă utilizați propriul hardware, veți suporta costuri de energie electrică pentru funcționarea mașinilor și, eventual, sisteme de răcire suplimentare. Costurile de întreținere pentru hardware se pot adăuga și ele.
  4. Integrare și implementare: integrarea modelului AI în sistemele dvs. existente și implementarea acestuia (în special într-un mediu de producție) ar putea necesita eforturi suplimentare de dezvoltare a software-ului, care pot genera costuri de muncă. Costul externalizării dezvoltării AI către o companie de dezvoltare de software ar putea varia de la 50 la 200 USD pe oră, cheltuielile totale variind de la câteva mii la zeci de mii de dolari.
  5. Stocarea și gestionarea datelor: stocarea și gestionarea datelor utilizate de model poate fi costisitoare, mai ales atunci când aveți de-a face cu seturi de date mari sau când utilizați soluții de stocare în cloud. Pentru instalațiile la fața locului, costul stocării datelor AI generative poate varia de la 1.000 USD la 10.000 USD, în funcție de dimensiunea setului de date de antrenament și de nevoile de redundanță. Taxele pentru soluțiile de stocare a datelor bazate pe cloud, cum ar fi AWS S3, pot varia de la 0,021 USD la 0,023 USD pe GB pe lună, cu costuri suplimentare pentru operațiuni și transfer de date.

În cele din urmă, cât ar putea costa compania dvs. să adopte un model de bază generativ AI „ca atare”, implementându-l pe propria infrastructură. costurile AI generative ar putea acoperi următoarele.

  • Hardware: 20.000 USD – 50.000 USD (pentru câteva GPU-uri high-end sau o configurație de bază multi-GPU)
  • Electricitate și întreținere: în jur de 2.000 – 5.000 USD pe an
  • Integrare și implementare: 10.000 USD – 30.000 USD (presupunând o complexitate moderată a integrării)
  • Stocarea și gestionarea datelor: 5.000 USD–15.000 USD (variand în funcție de dimensiunea datelor)

Costul total al instalării și exploatării unei soluții AI generative ar include următoarele.

  • Cheltuieli de implementare inițială: Aproximativ 37.000 USD până la 100.000 USD (hardware + integrare inițială și configurare de stocare)
  • Cheltuieli recurente: 7.000 USD până la 20.000 USD (inclusiv costurile de energie electrică, întreținere, integrare continuă și gestionarea datelor)

Aceste estimări pot varia semnificativ în funcție de cerințele specifice, locația și condițiile pieței. Cel mai bine este întotdeauna să consultați un profesionist pentru o estimare mai personalizată și mai precisă. În plus, este o idee bună să verificați tarifele actuale ale pieței pentru hardware și servicii cloud pentru cele mai actualizate prețuri.

Costul reinstruirii soluțiilor AI de generație deschisă folosind datele dvs

Dacă compania dvs. se gândește să ajusteze un model de fundație open-source, este important să luați în considerare factorii care pot afecta costul implementării AI generative.

Astfel de factori cuprind următoarele.

  1. Dimensiunea modelului: modelele mai mari, cum ar fi GPT-3, necesită mai multe resurse pentru reglare fină și implementare. Ca rezultat, costul AI generativ crește odată cu dimensiunea și complexitatea modelului. Între timp, modelele de fundație open-source mai simple, cum ar fi GPT-2, XLNet și StyleGAN2, nu pot genera conținut cu același nivel de coerență și relevanță.
  2. Resurse de calcul: Reantrenarea unui model de bază folosind datele companiei dvs. necesită o putere de calcul substanțială. Costul unei soluții gen AI depinde, așadar, dacă vă utilizați propriul hardware sau servicii cloud, prețul acestora din urmă variind în funcție de furnizorul de cloud și de amploarea operațiunilor dumneavoastră. Dacă optați pentru un model mai simplu și îl implementați la nivel local, se așteaptă să cheltuiți 10.000-30.000 USD în costuri GPU pentru a regla soluția AI generativă. Cu cloud computing, cheltuielile pot varia între 1 USD și 10 USD pe oră, în funcție de tipul instanței. Modelele open-source asemănătoare GPT-3 necesită o configurare GPU mai avansată, de peste 50.000 USD – 100.000 USD. Cheltuielile asociate cu cloud computing pot varia de la 10 USD la 24 USD pe oră pentru instanțele GPU de ultimă generație.
  3. Pregătirea datelor: Procesul de colectare, curățare și pregătire a datelor pentru reglarea fină a modelelor de fundație poate necesita resurse. Costul implementării AI generative va include, prin urmare, cheltuielile asociate cu stocarea datelor, procesarea și, eventual, achiziționarea de seturi de date de instruire, dacă compania dumneavoastră nu are propriile date sau nu le poate folosi din motive de securitate și confidențialitate.
  4. Timp de dezvoltare și expertiză: talentul AI nu este ieftin. Un inginer AI intern din SUA va costa compania dumneavoastră între 70.000 USD și 200.000 USD anual, plus angajarea, salariile, securitatea socială și alte cheltuieli administrative. Puteți reduce costurile generative de AI prin parteneriatul cu o companie offshore de inginerie software cu experiență în dezvoltarea AI. În funcție de locație, tarifele orare ale unor astfel de companii pot varia de la 62 USD la 95 USD pentru talentul de dezvoltare senior în locații cheie de externalizare, cum ar fi Europa Centrală și America Latină.
  5. Costuri de întreținere: veți fi singurul responsabil pentru întreținerea, actualizarea și depanarea modelului, care necesită efort continuu și expertiză în inginerie și operațiuni de învățare automată (MLOps).

Luând în considerare factorii menționați mai sus, care este costul realist al creării unei soluții personalizate de IA generativă bazată pe un model de bază ușor disponibil? Pentru o întreprindere mijlocie care dorește să ajusteze un model moderat de mare cum ar fi GPT-2, costurile asociate de implementare a IA generativă ar putea acoperi următoarele.

  • Hardware: 20.000 USD–30.000 USD (pentru o configurare GPU moderată)
  • Dezvoltare: presupunând 6 luni de timp de dezvoltare cu un amestec de talent intern și externalizat:

Intern: 35.000 USD – 100.000 USD (salariu pe jumătate de an)

Externalizare: 20.000 USD – 40.000 USD (presupunând 400 de ore la o rată medie de 75 USD/h)

  • Pregătirea datelor: 5.000 USD–20.000 USD (variand în funcție de dimensiunea și complexitatea datelor)
  • Întreținere: 5.000 USD–15.000 USD pe an (cheltuieli curente)

Costul total al instalării și exploatării unei soluții AI generative ar include următoarele.

  • Cheltuieli de implementare inițială: Aproximativ 80.000 USD până la 190.000 USD (inclusiv costurile de hardware, dezvoltare și pregătire a datelor)
  • Cheltuieli recurente: 5.000 USD până la 15.000 USD (costuri de întreținere și costuri continue)

Costurile reale de dezvoltare și implementare AI Gen pot varia în funcție de cerințele specifice ale proiectului, de disponibilitatea datelor de formare și de talentul intern de AI și de locația partenerului dvs. de externalizare. Pentru prețurile cele mai precise și actuale, este recomandabil să vă consultați direct cu profesioniști sau cu furnizorii de servicii.

În timp ce 190.000 USD pentru un sistem AI gen poate părea nerezonabil de costisitor, costul construirii unei soluții gen AI folosind modele de fundație open-source ar putea fi mai mic decât optarea pentru un instrument disponibil comercial.

Înainte ca ChatGPT să atragă atenția, Latitude, un startup de pionierat responsabil pentru jocul de aventură bazat pe inteligență artificială numit AI Dungeon, a folosit modelul GPT al OpenAI pentru generarea de text.

Pe măsură ce baza lor de utilizatori a crescut, au crescut și facturile OpenAI și cheltuielile cu infrastructura Amazon. La un moment dat, compania plătea 200.000 USD pe lună în costuri asociate pentru a gestiona numărul tot mai mare de interogări ale utilizatorilor.

După ce a trecut la un nou furnizor generativ de inteligență artificială, compania a redus costurile de operare la 100.000 USD pe lună și și-a ajustat strategia de monetizare, introducând un abonament lunar pentru funcții avansate bazate pe inteligență artificială.

Pentru a selecta abordarea corectă de implementare, optimizând în același timp prețurile generative de AI, este, prin urmare, important să analizați în prealabil cerințele proiectului dumneavoastră. Și de aceea, încurajăm întotdeauna clienții noștri să demareze inițiativele lor de dezvoltare a AI cu o fază de descoperire.

Lucruri de luat în considerare atunci când implementați Gen AI în afaceri

Acum că știți la ce să vă așteptați de la IA generativă din punct de vedere al costurilor, este timpul să vorbiți despre capcanele și considerentele implementării tehnologiei.

  • Modelele de bază, în special modelele de limbaj mari, ar putea halucina, producând răspunsuri aparent legitime, dar complet greșite la întrebările utilizatorilor. Compania dvs. ar putea evita acest scenariu prin îmbunătățirea datelor de instruire, experimentând diferite arhitecturi de model și introducând bucle eficiente de feedback ale utilizatorilor.
  • Soluțiile Gen AI sunt antrenate folosind cantități mari de date care devin rapid depășite. În consecință, va trebui să vă reanalizați modelul în mod regulat, ceea ce crește costul implementării AI generative.
  • Modelele fundației instruite pe date specifice, cum ar fi înregistrările din dosarul medical electronic (EHR), ar putea avea dificultăți să producă conținut valid în afara expertizei lor imediate. Modelele de uz general, pe de altă parte, se luptă cu interogările utilizatorilor specifice domeniului. Unele modalități de a rezolva această problemă includ crearea de modele hibride, folosirea tehnicilor de învățare prin transfer și ajustarea fină a modelelor prin feedbackul utilizatorilor.
  • Soluțiile Gen AI sunt de tip cutie neagră, ceea ce înseamnă că rareori este clar de ce produc anumite rezultate și cum să le evalueze acuratețea. Această lipsă de înțelegere ar putea împiedica dezvoltatorii să modifice modelele. Urmând principii explicabile AI în timpul antrenamentului cu modelul gen AI, cum ar fi introducerea tehnicilor de interpretare a modelului, a mecanismelor de atenție și a pistelor de audit, puteți obține o perspectivă asupra procesului decizional al modelului și puteți optimiza performanța acestuia.

De asemenea, există câteva întrebări la care compania dvs. trebuie să răspundă înainte de a începe implementarea AI generativă.

  • Există o strategie solidă de cumpărare vs. de construire pentru a valida faptul că compania dumneavoastră adoptă gen AI doar în funcțiile în care tehnologia ar deveni un factor de diferențiere, prevenind în același timp blocarea furnizorilor? Această strategie ar trebui să fie completată cu o foaie de parcurs detaliată pentru managementul schimbărilor și scalarea gen AI - și prevederi pentru reproiectarea întregului proces de afaceri, dacă este necesar.
  • Departamentul dumneavoastră IT intern posedă abilități MLOps adecvate pentru a testa, regla fin și menține calitatea modelelor complexe de ML și a datelor de instruire ale acestora? Dacă nu, ați selectat deja o companie de încredere de dezvoltare AI care să se ocupe de aceste sarcini?
  • Aveți o cantitate substanțială de resurse de calcul, atât în ​​cloud, cât și pe edge? De asemenea, este important să evaluați scalabilitatea infrastructurii dvs. IT, precum și posibilitatea de a reutiliza modelele Gen AI în diferite sarcini, procese și unități.
  • Compania dvs. sau partenerul dvs. de dezvoltare AI are abilitățile de a testa fezabilitatea genului AI prin demonstrarea conceptului (PoC) și de a vă scala experimentele în afara mediului sandbox controlat?
  • Nu în ultimul rând, organizația dumneavoastră are mecanisme eficiente de confidențialitate și securitate pentru a proteja informațiile sensibile și pentru a asigura conformitatea cu reglementările specifice industriei și regiunii?

Având un plan de implementare bine gândit, nu numai că vă va ajuta să adoptați tehnologia într-un mod fără riscuri și să culegeți beneficiile mai rapid, ci și să reduceți costul genului AI.

Accesați serviciile de consultanță ITRex gen AI pentru a afla dacă gen AI vă va ajuta să reînnoiți procesele de afaceri, să selectați abordarea potrivită de implementare a genului AI și să optimizați costurile gen AI. Scrie-ne pentru a pune mingea în joc!

Acest articol a fost publicat inițial pe site-ul ITRex.