Ocena kosztów generatywnej sztucznej inteligencji dla skutecznego wdrożenia w Twojej organizacji

Opublikowany: 2024-01-23

Kilka kluczowych punktów na temat kosztów wdrożenia generatywnej sztucznej inteligencji (AI).

Koszt wdrożenia generatywnej sztucznej inteligencji w biznesie może wahać się od kilkuset dolarów miesięcznie do 190 000 dolarów (i wciąż rośnie) w przypadku dostosowanego do potrzeb rozwiązania generatywnej sztucznej inteligencji opartego na dopracowanym modelu open source.
Na tę generatywną różnicę w kosztach sztucznej inteligencji wpływa kilka czynników, w tym zadania, które chcesz ulepszyć, model, który najlepiej pasuje do tych zadań, oraz wybrane podejście do wdrożenia.
Aby zoptymalizować powiązane wydatki, należy dokładnie rozważyć wymagania projektu, ocenić wydatki na infrastrukturę lokalną i chmurową oraz wybrać pomiędzy zatrudnieniem wewnętrznego talentu AI a outsourcingiem projektu stronie trzeciej.

Powiedzieliśmy już, jak generatywna sztuczna inteligencja (AI generacji) wypada w porównaniu z tradycyjną sztuczną inteligencją. Przedstawiliśmy także zalety i wady tej technologii. Zespół konsultacyjny ITRex zajmujący się generatywną sztuczną inteligencją zagłębił się także w przypadki użycia gen AI w kilku branżach, w tym w służbie zdrowia, handlu detalicznym i łańcuchach dostaw.

Ponadto oszacowaliśmy koszt tworzenia systemów i infrastruktury sztucznej inteligencji oraz przybliżyliśmy koszty uczenia maszynowego (ML), obliczając wydatki związane z przygotowywaniem danych szkoleniowych, dostrajaniem modeli i wdrażaniem rozwiązań opartych na uczeniu maszynowym.

Teraz przyszedł czas na rozszyfrowanie kosztów wdrożenia gen AI w biznesie. Analiza ta może być trudna, gdyż specyfika Twojego projektu nie jest nam jeszcze znana. Możemy jednak wykorzystać naszą wiedzę z zakresu doradztwa w zakresie gen AI, aby zbadać ceny usług i wyliczyć kluczowe czynniki stojące za kosztami projektu gen AI. W ten sposób wyposażymy Cię w wiedzę niezbędną do podejmowania świadomych decyzji, co potencjalnie pozwoli Twojej firmie zaoszczędzić sporo czasu i zasobów w tym szybko rozwijającym się środowisku technologicznym.

Zainteresowany? W takim razie zanurkujmy!

Czynniki wpływające na koszt Gen AI: wybór modelu i podejście do wdrożenia

Zastanawiając się nad włączeniem sztucznej inteligencji genu do stosu technologicznego swojej firmy, należy koniecznie wziąć pod uwagę następujące kwestie:

Jakie zadania biznesowe zamierzasz usprawnić dzięki generatywnej sztucznej inteligencji?
Jaki model byłby wystarczający do tych zadań?

W sercu generatywnych rozwiązań AI leżą modele podstawowe — tj. duże modele trenowane na ogromnych ilościach danych. Zasadniczo modele podstawowe służą jako podstawa do tworzenia niestandardowych rozwiązań AI gen., upraszczając proces rozwoju i obniżając koszty AI gen. Ich możliwości zazwyczaj obejmują przetwarzanie języka naturalnego (NLP), widzenie komputerowe (CV) i generowanie treści.

Możliwości poznawcze modeli podstawowych w dużej mierze zależą od liczby parametrów, na podstawie których zostały przeszkolone. W tym kontekście parametry odnoszą się do elementów modelu wyuczonych na podstawie danych szkoleniowych, takich jak wagi w sieci neuronowej. Parametry te pomagają modelowi w podejmowaniu decyzji i prognozowaniu. Poniższa tabela ilustruje korelację między liczbą parametrów – zasadniczo ilością elementów decyzyjnych – a możliwościami poznawczymi modelu.

Liczba parametrów nie jest jednak jedynym czynnikiem wpływającym na możliwości modeli fundamentów. Równie ważna jest jakość i różnorodność danych szkoleniowych. Dane uczące to informacje wprowadzane do modelu, z których się uczy. Takie dane obejmują szeroką gamę przykładów, które pomagają modelowi zrozumieć i zinterpretować nowe dane. Ponadto architektura modelu — tj. projekt strukturalny interakcji parametrów i danych — oraz skuteczność algorytmów uczenia się, które określają, jak skutecznie model uczy się na podstawie danych, odgrywają kluczową rolę. W rezultacie w niektórych zadaniach model z mniejszą liczbą parametrów, ale lepszymi danymi szkoleniowymi lub bardziej wydajną architekturą może działać lepiej niż większy model.

Wybór modelu podstawowego, który spełnia Twoje oczekiwania dotyczące kosztu Gen AI

Wszystkie istniejące modele AI gen. można luźno podzielić na dwa typy.

Modele o zamkniętych źródłach są opracowywane przez duże firmy technologiczne, takie jak Google, Meta, Microsoft i OpenAI. Ich kod źródłowy, architektura i interfejsy programowania aplikacji (API) mogą być całkowicie zastrzeżone lub udostępniane stronom trzecim (zwykle za opłatą, która zasadniczo stanowi koszt rozwiązania gen AI). W niektórych przypadkach można dostroić wydajność modeli o zamkniętym kodzie źródłowym, korzystając z danych. Na potrzeby tego artykułu będziemy nazywać modele o zamkniętym kodzie źródłowym dostępnymi na rynku rozwiązaniami AI gen. Główną zaletą takich modeli jest to, że są wyposażone w infrastrukturę chmurową i są w pełni utrzymywane przez pierwotnego programistę.
Modele open source mają swój kod źródłowy, techniki szkoleniowe, a czasem nawet dane szkoleniowe dostępne do publicznego użytku i modyfikacji. Twoja firma może używać takich modeli „tak jak są” lub przeszkolić je na podstawie własnych danych, aby osiągnąć większą dokładność i wydajność. Aby model mógł działać, należy jednak skonfigurować infrastrukturę lokalną lub chmurową. Koszt takich modeli AI generacji będzie zatem obejmować koszty obliczeniowe oraz, jeśli zdecydujesz się ulepszyć rozwiązanie Gen AI, wydatki związane ze szkoleniem modeli.

Podsumujmy. Jeśli Twoja firma rozważa wdrożenie sztucznej inteligencji gen., możesz to zrobić na cztery podstawowe sposoby.

Korzystanie z modeli o zamkniętym kodzie źródłowym bez dostosowywania: pionierzy AI pokolenia mogą integrować gotowe produkty, takie jak ChatGPT, Google Bard, Claude i Synthesia OpenAI, ze swoimi aplikacjami za pomocą interfejsów API. Proces integracji jest dość prosty, podobnie jak wycena generatywnej sztucznej inteligencji (więcej o tym później). Produkty dostępne na rynku są często aktualizowane i zapewniają obszerną dokumentację dla twórców sztucznej inteligencji. Wadą? Twoje możliwości dostosowywania będą ograniczone, a Ty będziesz w dużym stopniu zależny od firmy zewnętrznej w zakresie kluczowych zadań biznesowych, takich jak obsługa zapytań do obsługi klienta lub tworzenie treści wizualnych.
Ponowne szkolenie dostępnych na rynku rozwiązań na danych firmowych: W tym scenariuszu Twój wewnętrzny zespół ds. sztucznej inteligencji wybierze istniejący produkt AI generacji opracowany przez konkretnego dostawcę, np. OpenAI, i dostosuje go przy użyciu własnych danych. Dostosowane rozwiązania AI gen. lepiej zrozumieją pytania użytkowników i zapewnią dokładniejsze odpowiedzi. Jednak dostawca nadal będzie pobierał niewielką opłatę za uruchamianie zapytań, więc ostateczny koszt sztucznej inteligencji generacji będzie obejmował zarówno wydatki operacyjne, jak i dostosowywanie.
Korzystanie z podstawowych modeli open source „takich, jakie są”: Przesadą jest, że Twoja firma może wybrać RoBERTa, GPT-2, GPT-Neo lub dowolny inny model open source i zastosować go do zadań biznesowych, takich jak odpowiadanie na e-maile klientów, bez dalszego szkolenia. Jednak koszt gen AI będzie zależał od zasobów obliczeniowych zużywanych przez model. Twoje rozwiązanie AI gen. może działać gorzej w obliczu nieznanych danych i zadań.
Ponowne szkolenie modeli open source na swoich danych: w takim przypadku musisz uzyskać i przygotować określone dane do szkolenia modeli gen AI, zapewnić serwery lokalne lub w chmurze do szkolenia modeli i operacji, a także kontynuować dostrajanie i aktualizację modelu w miarę ewolucji zadań. Chociaż to indywidualne podejście gwarantuje doskonałą wydajność modelu, wiąże się również z wyższymi kosztami sztucznej inteligencji generacji.

Teraz, gdy znasz już opcje implementacji, przyjrzyjmy się kosztom generowania sztucznej inteligencji, jakie wiążą się z tymi opcjami.

Wgląd w ceny Gen AI na podstawie scenariusza wdrożenia

Koszt dostępnych na rynku narzędzi AI Gen

Gotowe usługi ułatwiające przetwarzanie i generowanie tekstu zazwyczaj pobierają od przedsiębiorstw opłaty na podstawie liczby znaków lub tokenów – tj. podstawowych jednostek tekstu, które mogą obejmować znaki interpunkcyjne po słowa i inne elementy składni – w tekście wejściowym lub wyjściowym .

Oto jak to działa w praktyce.

Rozliczenia oparte na znakach: niektóre rozwiązania, takie jak narzędzia gen AI obsługiwane przez Google Vertex AI, wystawiają rachunki użytkownikom na podstawie liczby znaków w tekście wejściowym i wyjściowym. Liczą każdą literę, cyfrę, spację i znak interpunkcyjny jako znak. Na przykład ceny generatywnej sztucznej inteligencji dla modelu PaLM 2 for Text obsługiwanego przez firmę Vertex zaczynają się od 0,0005 USD za 1000 znaków tekstu wejściowego i wyjściowego (rozliczane osobno).
Rozliczenia oparte na tokenach: bardziej zaawansowane narzędzia AI generacji mają tendencję do dzielenia tekstu na tokeny zamiast na znaki. W zależności od metod uczenia i przetwarzania modelu token może być znakiem interpunkcyjnym, słowem lub częścią słowa. Na przykład OpenAI definiuje token jako grupę około czterech znaków. Proste zdanie, takie jak „Tom przyniósł Jill kwiaty”. składałby się zatem z ośmiu tokenów, gdyż słowa „przyniósł” i „kwiaty” nieznacznie przekraczają próg czterech znaków. Jeśli chodzi o koszt takich generatywnych rozwiązań AI, w dużej mierze zależy to od wybranego modelu językowego. OpenAI GPT-4 Turbo, jedno z najbardziej zaawansowanych narzędzi na rynku, pobiera opłatę w wysokości 0,01 dolara za 1000 tokenów za tekst wejściowy i 0,03 dolara za 1000 tokenów za tekst wyjściowy. W przypadku starszej wersji GPT-3.5 Turbo ceny są znacznie niższe i wahają się od 0,001 USD za 1000 tokenów za tekst wejściowy do 0,002 USD za 1000 tokenów za tekst wyjściowy. Należy zauważyć, że różni dostawcy AI generacji mają różne pojęcie znaków i tokenów . Aby wybrać najbardziej opłacalną opcję, należy zapoznać się z ich dokumentacją i planami oraz rozważyć, który produkt najlepiej odpowiada Twoim unikalnym potrzebom biznesowym. Na przykład, jeśli Twoje zadania koncentrują się na generowaniu tekstu, a nie na analizie, bardziej odpowiednia będzie generatywna usługa AI o niższych wskaźnikach wyjściowych.

Tymczasem usługi Gen AI służące do tworzenia treści wizualnych zwykle pobierają od użytkowników opłaty za wygenerowany obraz, a opłaty są powiązane z rozmiarem i jakością obrazu. Pojedynczy obraz o wymiarach 1024 na 1024 pikseli wyprodukowany przez DALL·E 3 w standardowej jakości będzie kosztować 0,04 dolara. W przypadku większych obrazów (1024 × 1792 pikseli), a także obrazów o wysokiej rozdzielczości cena może wzrosnąć do 0,08–0,12 dolara za sztukę.

I nie zapomnij o platformach sztucznej inteligencji „pod klucz”, takich jak Synthesia.io, które przyjmują bardziej tradycyjne podejście do cen. Jeśli Twój zespół marketingowy chce przyspieszyć proces tworzenia wideo, możesz wypróbować to narzędzie już za 804 USD rocznie.

Koszt dostosowywania dostępnych na rynku produktów AI generacji

Jak widać z poprzedniej sekcji, większość gotowych produktów AI Gen AI wykorzystuje strategię monetyzacji typu pay-as-you-go.

Chociaż ich modele cenowe na pierwszy rzut oka wydają się dość proste, przewidzenie, ile zapytań wykonają Twoi pracownicy, może być trudne, szczególnie jeśli chcesz zbadać przypadki użycia sztucznej inteligencji wielu generacji w różnych działach.

Powoduje to zamieszanie dotyczące cen narzędzi gen AI i całkowitego kosztu posiadania, tak jak to miało miejsce na początku przetwarzania w chmurze.

Kolejną wadą korzystania z komercyjnych rozwiązań AI generacji jest to, że produktom ogólnego przeznaczenia, takim jak ChatGPT, brakuje wiedzy kontekstowej, takiej jak znajomość struktury, produktów i usług Twojej firmy. Utrudnia to rozszerzenie operacji, takich jak obsługa klienta i generowanie raportów, za pomocą funkcji sztucznej inteligencji, nawet jeśli opanujesz szybką inżynierię.

Według Erica Lamarre, starszego partnera w McKinsey, aby rozwiązać ten problem, organizacje „muszą stworzyć środowisko danych, które będzie mogło wykorzystać model”. Innymi słowy, będziesz musiał przeszkolić dostępne na rynku narzędzia AI generacji w oparciu o dane firmowe, a także informacje pobierane ze źródeł zewnętrznych za pośrednictwem interfejsów API.

Istnieją dwa sposoby osiągnięcia tego celu i kilka czynników, które w każdym scenariuszu będą miały wpływ na koszt generatywnej sztucznej inteligencji.

Korzystanie z platform oprogramowania jako usługi (SaaS) z funkcjami Gen AI

Wielu czołowych dostawców SaaS, w tym SAP, TIBCO Spotfire i Salesforce, wdraża generatywne usługi AI, które można dostroić przy użyciu danych klientów. Salesforce uruchomiło na przykład Einstein Copilot, konwersacyjnego asystenta AI, który pobiera zastrzeżone dane z Salesforce Data Cloud w celu tworzenia spersonalizowanych odpowiedzi na pytania klientów. Informacje wykorzystywane przez inteligentnego asystenta obejmują rozmowy Slack, dane telemetryczne, treści korporacyjne oraz inne ustrukturyzowane i nieustrukturyzowane dane.

Klienci Salesforce mogą także tworzyć niestandardowe modele, umiejętności i podpowiedzi AI za pomocą niewymagającego kodu narzędzia Prompt Builder i Model Builder firmy Einstein Copilot Studio. Na razie ten ostatni instrument obsługuje duże modele językowe (LLM) OpenAI, ale w planach jest integracja produktu z rozwiązaniami innych firm, w tym Amazon Bedrock i Vertex AI. Ponieważ Einstein Copilot jest wciąż w fazie pilotażowej (nie jest to zamierzona gra słów), informacje o cenach generatywnej sztucznej inteligencji nie zostały jeszcze ujawnione. Jednak koszt generatywnego asystenta AI Sales GPT, który obecnie wynosi 50 USD na użytkownika miesięcznie, może dać ogólne pojęcie o tym, czego się spodziewać.

Integracja oprogramowania korporacyjnego z rozwiązaniami Gen AI za pośrednictwem interfejsów API i modeli przekwalifikowania na Twoich danych

Aby obniżyć koszty wdrożenia gen AI, możesz wyeliminować pośrednie narzędzia SaaS, łącząc swoje aplikacje bezpośrednio z komercyjnymi rozwiązaniami AI gen. na poziomie API. Na przykład, jeśli chcesz doładować swojego chatbota obsługi klienta funkcjami gen AI, możesz zsynchronizować go z jednym z modeli OpenAI — np. GPT-3.5 lub GPT-4 — za pomocą interfejsu API OpenAI. Następnie musisz przygotować dane do uczenia maszynowego, przesłać je do OpenAI i zarządzać procesem dostrajania za pomocą narzędzia OpenAI CLI i biblioteki Open AI Python Library. Podczas dostrajania modelu zostanie naliczona opłata w wysokości 0,008 USD za 1000 tokenów (GPT-3.5). Gdy Twój model wejdzie do produkcji, stawki wejściowe i wyjściowe wyniosą odpowiednio 0,003 USD za 1000 tokenów i 0,006 USD za tysiąc tokenów. Całkowity koszt gen AI obejmie również koszty przechowywania, pod warunkiem, że zdecydujesz się hostować swoje dane na serwerach OpenAI. Wydatki na przechowywanie danych mogą do ostatecznych szacunków dodać 0,2 dolara za 1 GB danych dziennie. Nie zapomnij także o wysiłkach związanych z przygotowaniem danych i dostrojeniem modelu. Jeśli Twój dział IT nie posiada wymaganych umiejętności, będziesz musiał nawiązać współpracę z wiarygodną firmą świadczącą usługi w zakresie rozwoju sztucznej inteligencji.

Koszt korzystania z modeli sztucznej inteligencji typu open source „takich, jakie są”

Zastrzeżenie: nie sugerujemy zbudowania od podstaw niestandardowego modelu podstawowego, podobnego do ChatGPT — jest to przedsięwzięcie, które najlepiej pozostawić osobom posiadającym znaczne wsparcie, takie jak wsparcie OpenAI ze strony Microsoftu, aby zrównoważyć ich straty w wysokości 540 milionów dolarów.

Nawet bardziej podstawowe modele, takie jak GPT-3, mogą wiązać się z kosztami wstępnego szkolenia i wdrożenia przekraczającymi 4 miliony dolarów. Co więcej, w ostatnich latach złożoność tych modeli fundamentów wzrosła w zdumiewającym tempie.

ITRex: niestandardowe

Ilość zasobów obliczeniowych wymaganych do szkolenia dużych modeli AI podwaja się co 3,5 miesiąca. Zmienia się także złożoność modeli podstawowych. Na przykład w 2016 r. Bert-Large został przeszkolony przy użyciu 340 milionów parametrów. Dla porównania, model GPT-3 OpenAI został przeszkolony przy użyciu około 175 miliardów parametrów.

Dobra wiadomość jest taka, że podstawowe modele już istnieją, co sprawia, że firmom stosunkowo łatwo jest rozpocząć z nimi eksperymenty, optymalizując jednocześnie koszty wdrożenia gen AI. Zasadniczo moglibyśmy traktować modele podstawowe jako zestaw narzędzi dla inżynierów oprogramowania AI, ponieważ stanowią one punkt wyjścia do rozwiązywania złożonych problemów, pozostawiając jednocześnie miejsce na dostosowywanie.

ITRex: niestandardowe

Możemy luźno podzielić istniejące modele fundamentów na trzy kategorie.

Modele językowe zaprojektowano do obsługi zadań związanych z tłumaczeniem, generowaniem i odpowiadaniem na pytania tekstu
Komputerowe modele widzenia przodują w klasyfikacji obrazów, wykrywaniu obiektów i rozpoznawaniu twarzy
Trzecia kategoria, generatywne modele AI, tworzy treści przypominające dane wykorzystane przez model. Ta treść może zawierać nowe obrazy, symulacje lub, w niektórych przypadkach, informacje tekstowe.

Po wybraniu modelu open source, który najlepiej odpowiada Twoim potrzebom, możesz zintegrować go ze swoim oprogramowaniem za pomocą interfejsów API i wykorzystać własną infrastrukturę serwerową.

Podejście to wiąże się z następującymi kosztami generacyjnymi sztucznej inteligencji.

Koszty sprzętu: uruchamianie modeli AI, zwłaszcza dużych, wymaga znacznych zasobów obliczeniowych. Jeśli w Twojej firmie brakuje odpowiedniego sprzętu, być może będziesz musiał zainwestować w wydajne procesory graficzne lub procesory, co może być kosztowne. Jeśli Twój model jest stosunkowo mały, wystarczy wysokiej klasy procesor graficzny, taki jak NVIDIA RTX 3080 lub podobny. Koszt takiego procesora graficznego może wahać się od 700 do 1500 dolarów. W przypadku dużych modeli, takich jak GPT-2 lub podobnych, potrzebujesz wielu wysokiej klasy procesorów graficznych lub nawet wyspecjalizowanych akceleratorów AI. Na przykład pojedynczy procesor graficzny NVIDIA A100 może kosztować od 10 000 do 20 000 dolarów. Konfiguracja z wieloma procesorami graficznymi może zatem kosztować od 30 000 do 50 000 dolarów.
Koszty przetwarzania w chmurze: Alternatywą dla zakupu sprzętu jest wynajmowanie zasobów przetwarzania w chmurze od dostawców takich jak Amazon Web Services (AWS), Google Cloud Platform (GCP) lub Microsoft Azure. Usługi te są naliczane na podstawie wykorzystania, więc koszty będą zależeć od tego, jak często wykorzystujesz ich zasoby pod względem czasu obliczeniowego i miejsca na dane. Na przykład instancje GPU w AWS (takie jak P3 lub P4) mogą kosztować od 3 do 24 dolarów za godzinę, w zależności od typu instancji.
Energia elektryczna i konserwacja: Jeśli korzystasz z własnego sprzętu, poniesiesz koszty energii elektrycznej do obsługi maszyn i ewentualnie dodatkowych systemów chłodzenia. Koszty konserwacji sprzętu również mogą się sumować.
Integracja i wdrożenie: Integracja modelu sztucznej inteligencji z istniejącymi systemami i wdrożenie go (szczególnie w środowisku produkcyjnym) może wymagać dodatkowych wysiłków w zakresie rozwoju oprogramowania, co może wiązać się z kosztami pracy. Koszt outsourcingu rozwoju sztucznej inteligencji firmie tworzącej oprogramowanie może wynosić od 50 do 200 dolarów za godzinę, a całkowite wydatki wahają się od kilku tysięcy do dziesiątków tysięcy dolarów.
Przechowywanie danych i zarządzanie nimi: Przechowywanie danych używanych przez model i zarządzanie nimi może być kosztowne, szczególnie w przypadku dużych zbiorów danych lub korzystania z rozwiązań do przechowywania w chmurze. W przypadku instalacji na miejscu koszt przechowywania generatywnych danych AI może wynosić od 1000 do 10 000 dolarów, w zależności od wielkości zbioru danych szkoleniowych i potrzeb w zakresie nadmiarowości. Opłaty za rozwiązania do przechowywania danych w chmurze, takie jak AWS S3, mogą wahać się od 0,021 do 0,023 USD za GB miesięcznie i obejmują dodatkowe koszty operacji i przesyłania danych.

Ostatecznie, ile może kosztować Twoją firmę przyjęcie podstawowego modelu generatywnej sztucznej inteligencji „tak jak jest” i wdrożenie go we własnej infrastrukturze. W przypadku średniego przedsiębiorstwa, które chce używać lokalnie umiarkowanie dużego modelu, takiego jak GPT-2, powiązane Koszty generatywnej sztucznej inteligencji mogą obejmować następujące elementy.

Sprzęt: 20 000–50 000 USD (za kilka wysokiej klasy procesorów graficznych lub podstawową konfigurację z wieloma procesorami graficznymi)
Energia elektryczna i konserwacja: około 2000–5000 dolarów rocznie
Integracja i wdrożenie: 10 000–30 000 USD (przy założeniu umiarkowanej złożoności integracji)
Przechowywanie i zarządzanie danymi: 5 000–15 000 USD (w zależności od rozmiaru danych)

Całkowity koszt konfiguracji i obsługi generatywnego rozwiązania AI obejmuje następujące elementy.

Początkowe koszty wdrożenia: około 37 000–100 000 USD (sprzęt + wstępna integracja i konfiguracja pamięci masowej)
Stałe wydatki: od 7 000 do 20 000 USD (w tym koszty energii elektrycznej, konserwacji, bieżącej integracji i zarządzania danymi)

Te szacunki mogą się znacznie różnić w zależności od konkretnych wymagań, lokalizacji i warunków rynkowych. Zawsze najlepiej jest skonsultować się ze specjalistą, aby uzyskać bardziej spersonalizowaną i dokładną wycenę. Dodatkowo warto sprawdzić aktualne stawki rynkowe za sprzęt i usługi w chmurze pod kątem najbardziej aktualnych cen.

Koszt przeszkolenia rozwiązań AI typu open source z wykorzystaniem Twoich danych

Jeśli Twoja firma zastanawia się nad dostosowaniem modelu opartego na otwartym kodzie źródłowym, ważne jest, aby wziąć pod uwagę czynniki, które mogą mieć wpływ na koszt wdrożenia generatywnej sztucznej inteligencji.

Do takich czynników zaliczają się następujące czynniki.

Rozmiar modelu: większe modele, takie jak GPT-3, wymagają więcej zasobów do dostrojenia i wdrożenia. W rezultacie koszt generatywnej sztucznej inteligencji rośnie wraz z rozmiarem i złożonością modelu. Tymczasem prostsze modele oparte na otwartym kodzie źródłowym, takie jak GPT-2, XLNet i StyleGAN2, nie są w stanie generować treści o tym samym poziomie spójności i trafności.
Zasoby obliczeniowe: ponowne uczenie podstawowego modelu przy użyciu danych firmy wymaga znacznej mocy obliczeniowej. Koszt rozwiązania AI generacji zależy zatem od tego, czy korzystasz z własnego sprzętu, czy z usług w chmurze, a cena tego ostatniego różni się w zależności od dostawcy chmury i skali Twojej działalności. Jeśli wybierzesz prostszy model i wdrożysz go lokalnie, oczekuje się, że wydasz 10 000–30 000 USD na koszty procesora graficznego w celu dostrojenia generatywnego rozwiązania AI. W przypadku przetwarzania w chmurze wydatki mogą wahać się od 1 do 10 dolarów za godzinę, w zależności od typu instancji. Modele open source podobne do GPT-3 wymagają bardziej zaawansowanej konfiguracji procesora graficznego, kosztującej od 50 000 do 100 000 dolarów. Powiązane wydatki na przetwarzanie w chmurze mogą wahać się od 10 do 24 dolarów za godzinę w przypadku wysokiej klasy instancji GPU.
Przygotowanie danych: Proces gromadzenia, czyszczenia i przygotowywania danych w celu dostrajania modeli podstawowych może wymagać dużych zasobów. Koszt wdrożenia generatywnej sztucznej inteligencji będzie więc uwzględniał wydatki związane z przechowywaniem, przetwarzaniem i ewentualnie zakupem zbiorów szkoleniowych, jeśli Twoja firma nie posiada własnych danych lub nie może ich wykorzystać ze względów bezpieczeństwa i prywatności.
Czas rozwoju i wiedza specjalistyczna: talent AI nie jest tani. Wewnętrzny inżynier AI z siedzibą w USA będzie kosztować Twoją firmę 70 000–200 000 USD rocznie, plus koszty zatrudnienia, płace, ubezpieczenie społeczne i inne wydatki administracyjne. Możesz obniżyć koszty generatywnej sztucznej inteligencji, współpracując z zagraniczną firmą zajmującą się inżynierią oprogramowania, posiadającą wiedzę specjalistyczną w zakresie rozwoju sztucznej inteligencji. W zależności od lokalizacji stawki godzinowe takich firm mogą wahać się od 62 do 95 dolarów za talenty wyższego szczebla w kluczowych lokalizacjach outsourcingu, takich jak Europa Środkowa i Ameryka Łacińska.
Koszty konserwacji: będziesz ponosił wyłączną odpowiedzialność za konserwację, aktualizację i rozwiązywanie problemów z modelem, co wymaga ciągłego wysiłku i wiedzy z zakresu inżynierii i operacji uczenia maszynowego (MLops).

Biorąc pod uwagę powyższe czynniki, jaki jest realistyczny koszt stworzenia dostosowanego do potrzeb generatywnego rozwiązania AI w oparciu o łatwo dostępny model podstawowy? W przypadku średniego przedsiębiorstwa, które chce dostroić umiarkowanie duży model, taki jak GPT-2, powiązane koszty wdrożenia generatywnej sztucznej inteligencji mogą obejmować następujące koszty.

Sprzęt: 20 000–30 000 USD (w przypadku umiarkowanej konfiguracji procesora graficznego)
Rozwój: Zakładając 6 miesięcy rozwoju z połączeniem talentów wewnętrznych i zewnętrznych:

Wewnętrznie: 35 000–100 000 USD (wynagrodzenie półroczne)

Outsourcing: 20 000–40 000 USD (przy założeniu 400 godzin przy średniej stawce 75 USD/godz.)

Przygotowanie danych: 5 000–20 000 USD (w zależności od rozmiaru i złożoności danych)
Konserwacja: 5 000–15 000 USD rocznie (wydatki bieżące)

Całkowity koszt konfiguracji i obsługi generatywnego rozwiązania AI obejmuje następujące elementy.

Początkowe koszty wdrożenia: około 80 000–190 000 USD (w tym koszty sprzętu, rozwoju i przygotowania danych)
Wydatki powtarzające się: od 5 000 do 15 000 USD (koszty utrzymania i bieżące)

Rzeczywiste koszty rozwoju i wdrożenia Gen AI mogą się różnić w zależności od konkretnych wymagań projektu, dostępności danych szkoleniowych i wewnętrznego talentu AI oraz lokalizacji Twojego partnera outsourcingowego. Aby uzyskać jak najbardziej dokładne i aktualne ceny, zaleca się bezpośrednią konsultację ze specjalistami lub usługodawcami.

Chociaż 190 000 dolarów za system AI gen. może wydawać się nieracjonalnie drogie, koszt zbudowania rozwiązania AI gen. przy użyciu podstawowych modeli typu open source może być niższy niż w przypadku wyboru narzędzia dostępnego na rynku.

Zanim ChatGPT zwróciło na siebie uwagę, Latitude, pionierski startup odpowiedzialny za opartą na sztucznej inteligencji grę przygodową o nazwie AI Dungeon, wykorzystywał model GPT OpenAI do generowania tekstu.

Wraz ze wzrostem bazy użytkowników rosły rachunki OpenAI i wydatki na infrastrukturę Amazon. W pewnym momencie firma płaciła 200 000 dolarów miesięcznie z tytułu powiązanych kosztów obsługi rosnącej liczby zapytań użytkowników.

Po przejściu na nowego dostawcę generatywnej sztucznej inteligencji firma obniżyła koszty operacyjne do 100 000 dolarów miesięcznie i dostosowała swoją strategię monetyzacji, wprowadzając miesięczną subskrypcję zaawansowanych funkcji opartych na sztucznej inteligencji.

Aby wybrać właściwe podejście do wdrożenia przy jednoczesnej optymalizacji cen generatywnej sztucznej inteligencji, ważne jest, aby wcześniej dokładnie przeanalizować wymagania projektu. Dlatego zawsze zachęcamy naszych klientów, aby inicjatywy związane z rozwojem sztucznej inteligencji rozpoczynali od fazy odkrywania.

Rzeczy do rozważenia podczas wdrażania Gen AI w biznesie

Teraz, gdy wiesz, czego się spodziewać po generatywnej sztucznej inteligencji pod względem kosztów, czas porozmawiać o pułapkach i rozważaniach związanych z wdrażaniem tej technologii.

Podstawowe modele, zwłaszcza modele dużych języków, mogą mieć halucynacje, dając pozornie uzasadnione, ale całkowicie błędne odpowiedzi na pytania użytkowników. Twoja firma może uniknąć tego scenariusza, ulepszając dane szkoleniowe, eksperymentując z różnymi architekturami modeli i wprowadzając skuteczne pętle opinii użytkowników.
Rozwiązania Gen AI są szkolone przy użyciu ogromnych ilości danych, które szybko stają się nieaktualne. W rezultacie będziesz musiał regularnie przeszkolić swój model, co zwiększa koszt wdrożenia generatywnej sztucznej inteligencji.
Modele Fundacji przeszkolone w oparciu o określone dane, takie jak wpisy w elektronicznej karcie zdrowia (EHR), mogą mieć trudności z tworzeniem wiarygodnych treści poza ich bezpośrednią wiedzą specjalistyczną. Z drugiej strony modele ogólnego przeznaczenia borykają się z zapytaniami użytkowników specyficznymi dla domeny. Niektóre sposoby rozwiązania tego problemu obejmują tworzenie modeli hybrydowych, wykorzystanie technik transferu uczenia się i dostrajanie modeli na podstawie opinii użytkowników.
Rozwiązania AI generacji mają charakter czarnoskrzynkowy, co oznacza, że rzadko jest jasne, dlaczego dają określone wyniki i jak ocenić ich dokładność. Ten brak zrozumienia może uniemożliwić programistom modyfikowanie modeli. Postępując zgodnie z możliwymi do wyjaśnienia zasadami sztucznej inteligencji podczas szkolenia modelu gen AI, takimi jak wprowadzanie technik interpretacji modelu, mechanizmów uwagi i ścieżek audytu, można uzyskać wgląd w proces podejmowania decyzji w modelu i zoptymalizować jego działanie.

Istnieje również kilka pytań, na które Twoja firma musi odpowiedzieć, zanim rozpocznie wdrażanie generatywnej sztucznej inteligencji.

Czy istnieje solidna strategia „kupuj vs. buduj” potwierdzająca, że Twoja firma wdraża sztuczną inteligencję generacji tylko w funkcjach, w których technologia stałaby się wyróżnikiem, jednocześnie zapobiegając uzależnieniu od dostawców? Strategię tę należy uzupełnić o szczegółowy plan działania w zakresie zarządzania zmianami i skalowania gen AI – oraz zapisy dotyczące przeprojektowania całych procesów biznesowych, jeśli zajdzie taka potrzeba.
Czy Twój wewnętrzny dział IT posiada odpowiednie umiejętności MLOps do testowania, dostrajania i utrzymywania jakości złożonych modeli ML i ich danych szkoleniowych? Jeśli nie, czy wybrałeś już wiarygodną firmę zajmującą się rozwojem AI, która zajmie się tymi zadaniami?
Posiadasz znaczną ilość zasobów obliczeniowych, zarówno w chmurze, jak i na brzegu? Ważne jest również, aby ocenić skalowalność infrastruktury IT, a także możliwość ponownego wykorzystania modeli Gen AI w różnych zadaniach, procesach i jednostkach.
Czy Twoja firma lub partner zajmujący się rozwojem sztucznej inteligencji ma umiejętności umożliwiające przetestowanie wykonalności gen AI poprzez weryfikację koncepcji (PoC) i skalowanie eksperymentów poza kontrolowanym środowiskiem piaskownicy?
I wreszcie, czy Twoja organizacja posiada skuteczne mechanizmy ochrony prywatności i bezpieczeństwa, które chronią wrażliwe informacje i zapewniają zgodność z przepisami branżowymi i regionalnymi?

Posiadanie przemyślanego planu wdrożenia nie tylko pomoże Ci wdrożyć technologię w sposób pozbawiony ryzyka i szybciej czerpać korzyści, ale także obniży koszty gen AI.

Skorzystaj z usług doradczych ITRex gen AI, aby dowiedzieć się, czy gen AI pomoże Ci zmodernizować procesy biznesowe, wybrać odpowiednie podejście do wdrożenia gen AI i zoptymalizować koszty gen AI. Napisz do nas, abyśmy mogli ruszyć w świat!

Artykuł ten został pierwotnie opublikowany na stronie internetowej ITRex.