Mengevaluasi Biaya AI Generatif untuk Penerapan yang Efektif di Organisasi Anda

Beberapa poin penting tentang biaya penerapan kecerdasan buatan generatif (AI).

• Biaya penerapan AI generatif dalam bisnis dapat berkisar dari beberapa ratus dolar per bulan hingga $190.000 (dan terus bertambah) untuk solusi AI generatif berdasarkan model sumber terbuka yang telah disesuaikan.
• Perbedaan biaya AI generatif ini didorong oleh beberapa faktor, termasuk tugas yang ingin Anda tingkatkan, model yang paling sesuai dengan tugas tersebut, dan pendekatan implementasi yang dipilih.
• Untuk mengoptimalkan biaya terkait, Anda perlu mempertimbangkan dengan cermat kebutuhan proyek Anda, menilai biaya infrastruktur lokal dan cloud, dan memilih antara mempekerjakan talenta AI internal atau mengalihdayakan proyek ke pihak ketiga.

Kami telah memberi tahu Anda perbandingan AI generatif (gen AI) dengan AI tradisional. Kami juga telah menguraikan pro dan kontra dari teknologi ini. Tim konsultan AI generatif ITRex juga telah menyelidiki kasus penggunaan gen AI di beberapa industri, termasuk layanan kesehatan, ritel, dan rantai pasokan.

Selain itu, kami telah mengevaluasi biaya pembangunan sistem dan infrastruktur AI, serta memperbesar biaya pembelajaran mesin (ML), menghitung biaya yang terkait dengan penyiapan data pelatihan, penyempurnaan model, dan penerapan solusi yang didukung ML.

Kini saatnya menguraikan biaya penerapan gen AI dalam bisnis. Analisis ini mungkin menantang, karena kami belum mengetahui secara spesifik proyek Anda. Namun, kami dapat memanfaatkan keahlian konsultasi gen AI kami untuk mengeksplorasi harga layanannya dan menyebutkan faktor-faktor utama di balik biaya proyek gen AI. Dengan cara ini, kami akan membekali Anda dengan pengetahuan untuk membuat keputusan yang tepat, sehingga berpotensi menghemat banyak waktu dan sumber daya bisnis Anda dalam lanskap teknologi yang berkembang pesat ini.

Tertarik? Kalau begitu, mari kita selami!

Faktor-Faktor yang Mempengaruhi Biaya Gen AI: Pilihan Model dan Pendekatan Implementasi

Saat mempertimbangkan untuk memasukkan gen AI ke dalam rangkaian teknologi perusahaan Anda, penting untuk mempertimbangkan hal-hal berikut:

• Tugas bisnis apa yang ingin Anda tingkatkan dengan AI generatif?
• Model apa yang memadai untuk tugas-tugas ini?

Inti dari solusi AI generatif terletak pada model dasar — ​​yaitu model besar yang dilatih berdasarkan data dalam jumlah besar. Pada dasarnya, model dasar berfungsi sebagai dasar untuk menciptakan solusi gen AI yang dibuat khusus, menyederhanakan proses pengembangan, dan menurunkan biaya gen AI. Kemampuan mereka biasanya mencakup pemrosesan bahasa alami (NLP), visi komputer (CV), dan pembuatan konten.

Kemampuan kognitif model dasar sangat bergantung pada jumlah parameter yang telah dilatih. Dalam konteks ini, parameter mengacu pada elemen model yang dipelajari dari data pelatihan, seperti bobot dalam jaringan saraf. Parameter ini membantu model membuat keputusan dan prediksi. Tabel berikut mengilustrasikan korelasi antara jumlah parameter — pada dasarnya, volume elemen pengambilan keputusan — dan kemampuan kognitif model.

Namun, jumlah parameter bukanlah satu-satunya faktor yang mempengaruhi kemampuan model pondasi. Kualitas dan keragaman data pelatihan juga sama pentingnya. Data pelatihan adalah informasi yang dimasukkan ke dalam model, yang menjadi bahan pembelajarannya. Data tersebut mencakup berbagai contoh yang membantu model memahami dan menafsirkan data baru. Selain itu, arsitektur model — yaitu desain struktural bagaimana parameter dan data berinteraksi — dan efisiensi algoritma pembelajaran, yang menentukan seberapa efektif model belajar dari data, memainkan peran penting. Akibatnya, dalam beberapa tugas, model dengan parameter lebih sedikit tetapi data pelatihan lebih baik atau arsitektur lebih efisien dapat mengungguli model yang lebih besar.

Memilih Model Fondasi yang Memenuhi Harapan Anda Terkait Biaya Gen AI

Semua model gen AI yang ada dapat diklasifikasikan menjadi dua jenis.

• Model sumber tertutup dikembangkan oleh perusahaan teknologi besar, seperti Google, Meta, Microsoft, dan OpenAI. Kode sumber, arsitektur, dan antarmuka pemrograman aplikasi (API) dapat sepenuhnya menjadi hak milik atau tersedia bagi pihak ketiga (biasanya dengan biaya tertentu, yang pada dasarnya merupakan biaya solusi gen AI). Dalam beberapa kasus, Anda dapat menyempurnakan performa model sumber tertutup menggunakan data Anda. Untuk tujuan artikel ini, kami akan mengacu pada model sumber tertutup sebagai solusi gen AI yang tersedia secara komersial. Keuntungan utama dari model tersebut adalah model tersebut hadir dengan infrastruktur cloud dan dikelola sepenuhnya oleh pengembang aslinya.
• Model sumber terbuka memiliki kode sumber, teknik pelatihan, dan terkadang bahkan data pelatihan tersedia untuk penggunaan dan modifikasi publik. Perusahaan Anda dapat menggunakan model tersebut “sebagaimana adanya” atau melatihnya kembali menggunakan datanya sendiri untuk mencapai akurasi dan kinerja yang lebih baik. Namun, Anda harus menyiapkan infrastruktur lokal atau cloud agar model dapat berjalan. Oleh karena itu, biaya model gen AI tersebut akan mencakup biaya komputasi dan, jika Anda memilih untuk menyempurnakan solusi Gen AI, biaya yang terkait dengan pelatihan model.

Mari kita rangkum. Jika perusahaan Anda mempertimbangkan penerapan gen AI, ada empat cara utama untuk melakukannya.

1. Menggunakan model sumber tertutup tanpa penyesuaian: Pelopor Gen AI dapat mengintegrasikan produk siap pakai seperti ChatGPT OpenAI, Google Bard, Claude, dan Synthesia dengan aplikasi mereka menggunakan API. Proses integrasinya cukup mudah, begitu pula dengan penetapan harga AI generatif (akan dijelaskan lebih lanjut nanti). Produk yang tersedia secara komersial sering diperbarui dan menyediakan dokumentasi ekstensif untuk pengembang AI. Sisi negatifnya? Opsi penyesuaian Anda akan terbatas, dan Anda akan sangat bergantung pada perusahaan eksternal untuk tugas bisnis penting, seperti menangani pertanyaan dukungan pelanggan atau memproduksi konten visual.
2. Melatih kembali solusi yang tersedia secara komersial pada data perusahaan Anda: Dalam skenario ini, tim AI internal Anda akan memilih produk gen AI yang sudah ada yang dikembangkan oleh vendor tertentu, seperti OpenAI, dan menyempurnakannya menggunakan data Anda sendiri. Solusi gen AI yang disesuaikan akan lebih memahami pertanyaan pengguna dan menghasilkan respons yang lebih akurat. Namun, vendor masih akan mengenakan sedikit biaya untuk menjalankan kueri Anda, sehingga biaya akhir AI generasi akan terdiri dari biaya operasional dan penyesuaian.
3. Menggunakan model dasar sumber terbuka “apa adanya”: Secara berlebihan, perusahaan Anda dapat memilih RoBERTa, GPT-2, GPT-Neo, atau model sumber terbuka lainnya dan menerapkannya pada tugas bisnis seperti menjawab email pelanggan tanpa pelatihan lebih lanjut. Namun, biaya gen AI akan ditentukan oleh sumber daya komputasi yang digunakan oleh model tersebut. Solusi gen AI Anda mungkin berkinerja buruk ketika dihadapkan dengan data dan tugas yang tidak biasa.
4. Melatih ulang model sumber terbuka pada data Anda: Dalam hal ini, Anda harus mendapatkan dan menyiapkan data spesifik untuk pelatihan model gen AI, menyediakan server lokal atau cloud untuk pelatihan dan pengoperasian model, dan terus menyempurnakan dan memperbarui model seiring berkembangnya tugas Anda. Meskipun pendekatan khusus ini menjamin performa model yang unggul, hal ini juga memerlukan biaya AI generasi yang lebih tinggi.

Sekarang setelah Anda mengetahui opsi penerapannya, mari kita perbesar biaya gen AI yang diperlukan oleh opsi ini.

Wawasan Mengenai Penetapan Harga Gen AI Berdasarkan Skenario Implementasi

Biaya Alat Gen AI yang Tersedia Secara Komersial

Layanan siap pakai yang memfasilitasi pemrosesan dan pembuatan teks biasanya membebankan biaya kepada perusahaan berdasarkan jumlah karakter atau token — yaitu, unit dasar teks, yang dapat berkisar dari tanda baca hingga kata-kata dan elemen sintaksis lainnya — dalam teks masukan atau keluaran .

Begini cara kerjanya dalam praktik.

1. Penagihan berbasis karakter: Beberapa solusi, seperti alat gen AI yang digerakkan oleh Vertex AI Google, menagih pengguna berdasarkan jumlah karakter dalam teks masukan dan keluaran. Mereka menghitung setiap huruf, angka, spasi, dan tanda baca sebagai karakter. Harga AI generatif untuk model PaLM 2 untuk Teks yang didukung oleh Vertex, misalnya, mulai dari $0,0005 per 1.000 karakter untuk teks input dan output (ditagih secara terpisah).
2. Penagihan berbasis token: Alat AI generasi yang lebih canggih cenderung memecah teks menjadi token, bukan karakter. Bergantung pada metode pelatihan dan pemrosesan model, token dapat berupa tanda baca, kata, atau bagian dari kata. Misalnya, OpenAI mendefinisikan token sebagai grup yang terdiri dari sekitar empat karakter. Kalimat sederhana seperti “Tom membawakan Jill bunga.” dengan demikian akan terdiri dari delapan token, karena kata “membawa” dan “bunga” sedikit melebihi ambang batas empat karakter. Jika menyangkut biaya solusi AI generatif, hal ini sangat bergantung pada model bahasa yang Anda pilih. GPT-4 Turbo OpenAI, salah satu alat tercanggih di pasaran, mengenakan biaya $0,01 per 1.000 token untuk teks masukan dan $0,03 per 1.000 token untuk teks keluaran. Untuk GPT-3.5 Turbo, versi lamanya, harganya jauh lebih rendah, mulai dari $0,001 per 1.000 token untuk teks masukan hingga $0,002 per 1.000 token untuk teks keluaran. Perlu dicatat bahwa penyedia AI gen yang berbeda memiliki pemahaman yang berbeda tentang karakter dan token. . Untuk memilih opsi yang paling hemat biaya, Anda harus mempelajari dokumentasi dan rencananya serta mempertimbangkan produk mana yang paling sesuai dengan kebutuhan unik bisnis Anda. Misalnya, jika tugas Anda berkisar pada pembuatan teks daripada analisis, layanan AI generatif dengan tingkat keluaran yang lebih rendah akan lebih cocok.

Sementara itu, layanan Gen AI untuk pembuatan konten visual cenderung membebankan biaya kepada pengguna per gambar yang dihasilkan, dengan biaya yang terkait dengan ukuran dan kualitas gambar. Satu gambar berukuran 1024 x 1024 piksel yang dihasilkan oleh DALL·E 3 dalam kualitas standar akan dikenakan biaya $0,04. Untuk gambar yang lebih besar (1024×1792 piksel), serta gambar definisi tinggi, harganya bisa naik hingga $0,08–0,12 per gambar.

Dan jangan lupa tentang platform AI generasi siap pakai, seperti Synthesia.io, yang menggunakan pendekatan harga yang lebih tradisional. Jika tim pemasaran Anda ingin mempercepat proses pembuatan video, Anda dapat mencoba alat ini hanya dengan $804 per tahun.

Biaya Penyesuaian Produk Gen AI yang Tersedia Secara Komersial

Seperti yang Anda lihat di bagian sebelumnya, sebagian besar produk Gen AI siap pakai memanfaatkan strategi monetisasi bayar sesuai penggunaan.

Meskipun model penetapan harga mereka terlihat cukup mudah pada pandangan pertama, memprediksi berapa banyak kueri yang akan dijalankan oleh karyawan Anda mungkin sulit, terutama jika Anda ingin menjelajahi beberapa kasus penggunaan AI generasi di berbagai departemen.

Hal ini menimbulkan kebingungan mengenai harga alat gen AI dan total biaya kepemilikan, seperti yang terjadi pada masa-masa awal komputasi awan.

Kerugian lain menggunakan solusi AI generasi komersial adalah produk tujuan umum seperti ChatGPT kurang memiliki pengetahuan kontekstual, seperti pemahaman tentang struktur, produk, dan layanan perusahaan Anda. Hal ini mempersulit peningkatan operasi seperti dukungan pelanggan dan pembuatan laporan dengan kemampuan AI, bahkan jika Anda menguasai teknik cepat.

Menurut Eric Lamarre, Senior Partner di McKinsey, untuk mengatasi masalah ini, organisasi “perlu menciptakan lingkungan data yang dapat digunakan oleh model.” Dengan kata lain, Anda harus melatih kembali alat gen AI yang tersedia secara komersial pada data perusahaan Anda, serta informasi yang diambil dari sumber eksternal melalui API.

Ada dua cara untuk mencapai tujuan tersebut — dan beberapa faktor yang akan memengaruhi biaya AI generatif di setiap skenario.

Menggunakan Platform Software-as-a-Service (SaaS) dengan Kemampuan Gen AI

Banyak vendor SaaS terkemuka, termasuk SAP, TIBCO Spotfire, dan Salesforce, meluncurkan layanan AI generatif yang dapat disesuaikan menggunakan data pelanggan. Salesforce, misalnya, telah meluncurkan Einstein Copilot, asisten AI percakapan yang mengambil data kepemilikan dari Salesforce Data Cloud untuk menciptakan respons yang dipersonalisasi terhadap pertanyaan pelanggan. Informasi yang digunakan oleh asisten cerdas mencakup percakapan Slack, telemetri, konten perusahaan, dan data terstruktur dan tidak terstruktur lainnya.

Klien Salesforce juga dapat membuat model, keterampilan, dan perintah AI khusus menggunakan Prompt Builder dan Model Builder tanpa kode dari Einstein Copilot Studio. Saat ini, instrumen terakhir mendukung model bahasa besar (LLM) OpenAI, tetapi ada rencana untuk mengintegrasikan produk tersebut dengan solusi pihak ketiga lainnya, termasuk Amazon Bedrock dan Vertex AI. Karena Einstein Copilot masih dalam tahap uji coba (tidak ada kata-kata yang dimaksudkan), informasi harga AI generatif belum diumumkan. Namun, biaya asisten GPT Penjualan AI generatif, yang saat ini berjumlah $50 per pengguna per bulan, dapat memberi Anda gambaran umum tentang apa yang diharapkan.

Mengintegrasikan Perangkat Lunak Perusahaan Anda dengan Solusi Gen AI melalui API dan Model Pelatihan Ulang pada Data Anda

Untuk mengurangi biaya implementasi gen AI, Anda dapat menghilangkan alat SaaS perantara, dengan menggabungkan aplikasi Anda secara langsung dengan solusi gen AI komersial pada tingkat API. Misalnya, jika Anda ingin meningkatkan chatbot dukungan pelanggan Anda dengan kemampuan gen AI, Anda dapat menyinkronkannya dengan salah satu model OpenAI — misalnya GPT-3.5 atau GPT-4 — menggunakan OpenAI API. Selanjutnya, Anda perlu menyiapkan data untuk pembelajaran mesin, mengunggah data ke OpenAI, dan mengelola proses penyesuaian menggunakan alat OpenAI CLI dan Open AI Python Library. Saat menyempurnakan model, Anda akan dikenakan biaya $0.008 per 1.000 token (GPT-3.5). Setelah model Anda mulai diproduksi, tingkat input dan output masing-masing akan berjumlah $0,003 per 1,000 token dan $0,006 per seribu token. Biaya keseluruhan gen AI juga akan mencakup biaya penyimpanan, asalkan Anda memilih untuk menghosting data Anda di server OpenAI. Biaya penyimpanan data dapat menambah $0,2 per 1GB data per hari ke perkiraan akhir. Dan jangan lupa persiapan data dan upaya penyempurnaan model. Kecuali departemen TI Anda memiliki keterampilan yang diperlukan, Anda harus bermitra dengan perusahaan layanan pengembangan AI yang andal.

Biaya Penggunaan Model AI Generasi Sumber Terbuka “Apa Adanya”

Penafian: Kami tidak menyarankan Anda membangun model fondasi khusus yang mirip dengan ChatGPT dari awal — ini adalah usaha yang sebaiknya diserahkan kepada mereka yang memiliki dukungan besar, seperti dukungan OpenAI dari Microsoft untuk mengimbangi kerugian mereka sebesar $540 juta.

Model fondasi yang lebih mendasar, seperti GPT-3, dapat menghabiskan biaya pelatihan awal dan penerapan melebihi $4 juta. Selain itu, kompleksitas model pondasi ini telah meroket dengan kecepatan yang mencengangkan dalam beberapa tahun terakhir.

ITRex: Kustom

Jumlah sumber daya komputasi yang dibutuhkan untuk melatih model AI berukuran besar meningkat dua kali lipat setiap 3,5 bulan. Kompleksitas model dasar juga berubah. Misalnya, pada tahun 2016, Bert-Large dilatih dengan 340 juta parameter. Sebagai perbandingan, model GPT-3 OpenAI dilatih dengan sekitar 175 miliar parameter.

Kabar baiknya adalah model dasar sudah tersedia, sehingga relatif mudah bagi bisnis untuk mulai bereksperimen dengan model tersebut sambil mengoptimalkan biaya penerapan gen AI. Pada dasarnya, kita dapat memperlakukan model dasar sebagai perangkat bagi insinyur perangkat lunak AI karena model tersebut memberikan titik awal untuk memecahkan masalah yang kompleks sambil tetap memberikan ruang untuk penyesuaian.

ITRex: Kustom

Kita dapat membagi model pondasi yang ada ke dalam tiga kategori.

• Model bahasa dirancang untuk menangani tugas penerjemahan teks, pembuatan, dan menjawab pertanyaan
• Model visi komputer unggul dalam klasifikasi gambar, deteksi objek, dan pengenalan wajah
• Kategori ketiga, model AI generatif, membuat konten yang menyerupai data yang dikonsumsi model. Konten ini mungkin mencakup gambar baru, simulasi, atau, dalam beberapa kasus, informasi tekstual.

Setelah Anda memilih model sumber terbuka yang paling sesuai dengan kebutuhan Anda, Anda dapat mengintegrasikannya dengan perangkat lunak Anda menggunakan API dan memanfaatkan infrastruktur server Anda sendiri.

Pendekatan ini melibatkan biaya AI generatif berikut.

1. Biaya perangkat keras: Menjalankan model AI, terutama yang berukuran besar, memerlukan sumber daya komputasi yang besar. Jika perusahaan Anda tidak memiliki perangkat keras yang sesuai, Anda mungkin perlu berinvestasi pada GPU atau CPU yang kuat, yang bisa jadi mahal. Jika model Anda relatif kecil, GPU kelas atas seperti NVIDIA RTX 3080 atau sejenisnya sudah cukup. Biaya GPU semacam itu dapat berkisar dari $700 hingga $1,500. Untuk model besar seperti GPT-2 atau sejenisnya, Anda memerlukan beberapa GPU kelas atas atau bahkan akselerator AI khusus. Satu GPU NVIDIA A100, misalnya, dapat berharga antara $10.000 dan $20.000. Oleh karena itu, pengaturan dengan beberapa GPU dapat menghabiskan biaya antara $30.000 dan $50.000.
2. Biaya komputasi awan: Sebagai alternatif untuk membeli perangkat keras, Anda dapat menyewa sumber daya komputasi awan dari penyedia seperti Amazon Web Services (AWS), Google Cloud Platform (GCP), atau Microsoft Azure. Layanan ini mengenakan biaya berdasarkan penggunaan, jadi biayanya akan bergantung pada seberapa banyak Anda menggunakan sumber dayanya dalam hal waktu komputasi dan penyimpanan. Misalnya, instans GPU di AWS (seperti P3 atau P4) dapat berharga mulai dari $3 hingga $24 per jam, bergantung pada jenis instans.
3. Listrik dan pemeliharaan: Jika Anda menggunakan perangkat keras sendiri, Anda akan dikenakan biaya listrik untuk menjalankan mesin dan mungkin sistem pendingin tambahan. Biaya pemeliharaan perangkat keras juga dapat bertambah.
4. Integrasi dan penerapan: Mengintegrasikan model AI ke dalam sistem yang ada dan menerapkannya (terutama di lingkungan produksi) mungkin memerlukan upaya pengembangan perangkat lunak tambahan, yang dapat menimbulkan biaya tenaga kerja. Biaya outsourcing pengembangan AI ke perusahaan pengembangan perangkat lunak dapat berkisar antara $50 hingga $200 per jam, dengan total biaya berkisar antara beberapa ribu hingga puluhan ribu dolar.
5. Penyimpanan dan pengelolaan data: Menyimpan dan mengelola data yang digunakan oleh model bisa memakan biaya, terutama saat menangani kumpulan data besar atau menggunakan solusi penyimpanan cloud. Untuk instalasi di lokasi, biaya penyimpanan data AI generatif dapat berkisar antara $1.000 hingga $10.000, bergantung pada ukuran set data pelatihan dan kebutuhan redundansi. Biaya untuk solusi penyimpanan data berbasis cloud, seperti AWS S3, dapat bervariasi dari $0,021 hingga $0,023 per GB per bulan, dengan biaya tambahan untuk pengoperasian dan transfer data.

Pada akhirnya, seberapa besar biaya yang harus dikeluarkan perusahaan Anda untuk mengadopsi model dasar AI generatif “sebagaimana adanya”, menerapkannya pada infrastruktur Anda sendiri. Untuk perusahaan skala menengah yang ingin menggunakan model yang cukup besar seperti GPT-2 di lokasi, hal-hal terkait biaya generatif AI dapat mencakup hal-hal berikut ini.

• Perangkat keras: $20.000–$50.000 (untuk beberapa GPU kelas atas atau pengaturan multi-GPU dasar)
• Listrik dan pemeliharaan: Sekitar $2.000–$5.000 per tahun
• Integrasi dan penerapan: $10.000–$30.000 (dengan asumsi kompleksitas integrasi sedang)
• Penyimpanan dan pengelolaan data: $5.000–$15.000 (bervariasi berdasarkan ukuran data)

Total biaya penyiapan dan pengoperasian solusi AI generatif akan mencakup hal-hal berikut.

• Biaya penerapan awal: Sekitar $37.000 hingga $100.000 (perangkat keras + integrasi awal dan penyiapan penyimpanan)
• Pengeluaran rutin: $7.000 hingga $20.000 (termasuk biaya listrik, pemeliharaan, integrasi berkelanjutan, dan pengelolaan data)

Perkiraan rata-rata ini dapat bervariasi secara signifikan berdasarkan kebutuhan spesifik, lokasi, dan kondisi pasar. Sebaiknya konsultasikan dengan profesional untuk mendapatkan perkiraan yang lebih personal dan akurat. Selain itu, ada baiknya Anda memeriksa harga pasar saat ini untuk perangkat keras dan layanan cloud untuk mengetahui harga terkini.

Biaya Pelatihan Ulang Solusi AI Generasi Sumber Terbuka Menggunakan Data Anda

Jika perusahaan Anda mempertimbangkan untuk menyesuaikan model fondasi sumber terbuka, penting untuk mempertimbangkan faktor-faktor yang dapat memengaruhi biaya penerapan AI generatif.

Faktor-faktor tersebut meliputi hal-hal berikut ini.

1. Ukuran model: Model yang lebih besar, seperti GPT-3, memerlukan lebih banyak sumber daya untuk menyempurnakan dan menerapkannya. Akibatnya, biaya AI generatif meningkat seiring dengan ukuran dan kompleksitas model. Sementara itu, model dasar sumber terbuka yang lebih sederhana seperti GPT-2, XLNet, dan StyleGAN2 tidak dapat menghasilkan konten dengan tingkat koherensi dan relevansi yang sama.
2. Sumber daya komputasi: Melatih ulang model dasar menggunakan data perusahaan Anda memerlukan daya komputasi yang besar. Oleh karena itu, biaya solusi gen AI bergantung pada apakah Anda menggunakan perangkat keras atau layanan cloud Anda sendiri, dengan harga yang bervariasi berdasarkan penyedia cloud dan skala operasi Anda. Jika Anda memilih model yang lebih sederhana dan menerapkannya secara lokal, Anda diperkirakan menghabiskan biaya GPU sebesar $10.000–30.000 untuk menyempurnakan solusi AI generatif. Dengan komputasi awan, biayanya bisa berkisar antara $1 dan $10 per jam, bergantung pada jenis instans. Model sumber terbuka seperti GPT-3 memerlukan pengaturan GPU yang lebih canggih, dengan biaya lebih dari $50.000–$100.000. Biaya komputasi awan yang terkait dapat berkisar dari $10 hingga $24 per jam untuk instans GPU kelas atas.
3. Persiapan data: Proses pengumpulan, pembersihan, dan penyiapan data Anda untuk menyempurnakan model fondasi dapat memakan banyak sumber daya. Oleh karena itu, biaya penerapan AI generatif akan mencakup biaya yang terkait dengan penyimpanan data, pemrosesan, dan kemungkinan pembelian kumpulan data pelatihan jika perusahaan Anda kekurangan data Anda sendiri atau tidak dapat menggunakannya karena alasan keamanan dan privasi.
4. Waktu pengembangan dan keahlian: Bakat AI tidak bisa diperoleh dengan murah. Seorang insinyur AI internal yang berbasis di AS akan membebani perusahaan Anda $70.000–$200.000 per tahun, ditambah biaya perekrutan, penggajian, jaminan sosial, dan biaya administrasi lainnya. Anda dapat mengurangi biaya AI generatif dengan bermitra dengan perusahaan rekayasa perangkat lunak lepas pantai yang memiliki keahlian pengembangan AI. Tergantung pada lokasinya, tarif per jam perusahaan tersebut dapat berkisar antara $62 hingga $95 untuk talenta pengembangan senior di lokasi outsourcing utama, seperti Eropa Tengah dan Amerika Latin.
5. Biaya pemeliharaan: Anda sepenuhnya bertanggung jawab untuk memelihara, memperbarui, dan memecahkan masalah model, yang memerlukan upaya berkelanjutan serta keahlian teknik dan operasi pembelajaran mesin (MLOps).

Mengingat faktor-faktor yang disebutkan di atas, berapa biaya yang realistis untuk menciptakan solusi AI generatif yang disesuaikan berdasarkan model dasar yang tersedia? Untuk perusahaan skala menengah yang ingin menyempurnakan model yang cukup besar seperti GPT-2, biaya penerapan AI generatif yang terkait dapat berkisar pada hal berikut.

• Perangkat keras: $20.000–$30.000 (untuk pengaturan GPU sedang)
• Pengembangan: Dengan asumsi waktu pengembangan 6 bulan dengan gabungan talenta internal dan outsourcing:

In-house: $35.000–$100.000 (gaji setengah tahun)

Pengalihdayaan: $20.000–$40.000 (dengan asumsi 400 jam dengan tarif rata-rata $75/jam)

• Persiapan data: $5.000–$20.000 (bervariasi tergantung ukuran dan kompleksitas data)
• Pemeliharaan: $5.000–$15.000 per tahun (biaya berkelanjutan)

Total biaya penyiapan dan pengoperasian solusi AI generatif akan mencakup hal-hal berikut.

• Biaya penerapan awal: Sekitar $80.000 hingga $190.000 (termasuk biaya perangkat keras, pengembangan, dan persiapan data)
• Pengeluaran berulang: $5.000 hingga $15.000 (biaya pemeliharaan dan berkelanjutan)

Biaya pengembangan dan penerapan AI Generasi sebenarnya dapat bervariasi berdasarkan persyaratan proyek tertentu, ketersediaan data pelatihan dan talenta AI internal, serta lokasi mitra outsourcing Anda. Untuk mendapatkan harga yang paling akurat dan terkini, disarankan untuk berkonsultasi langsung dengan profesional atau penyedia layanan.

Meskipun biaya sebesar $190.000 untuk sistem gen AI mungkin tampak terlalu mahal, biaya untuk membangun solusi gen AI menggunakan model fondasi sumber terbuka mungkin lebih rendah dibandingkan memilih alat yang tersedia secara komersial.

Sebelum ChatGPT mendapat perhatian, Latitude, startup perintis yang bertanggung jawab atas game petualangan berbasis AI bernama AI Dungeon, telah menggunakan model GPT OpenAI untuk pembuatan teks.

Seiring bertambahnya basis pengguna mereka, tagihan OpenAI dan biaya infrastruktur Amazon juga meningkat. Pada titik tertentu, perusahaan membayar $200.000 per bulan untuk biaya terkait untuk menangani peningkatan jumlah permintaan pengguna.

Setelah beralih ke penyedia AI generatif baru, perusahaan mengurangi biaya operasional menjadi $100.000 per bulan dan menyesuaikan strategi monetisasinya, dengan memperkenalkan langganan bulanan untuk fitur-fitur canggih yang didukung AI.

Untuk memilih pendekatan implementasi yang tepat sekaligus mengoptimalkan harga AI generatif, penting untuk menganalisis kebutuhan proyek Anda secara menyeluruh terlebih dahulu. Itulah sebabnya kami selalu mendorong klien kami untuk memulai inisiatif pengembangan AI mereka dengan fase penemuan.

Hal-hal yang Perlu Dipertimbangkan Saat Menerapkan Gen AI dalam Bisnis

Sekarang setelah Anda mengetahui apa yang diharapkan dari AI generatif dari segi biaya, sekarang saatnya membahas kendala dan pertimbangan penerapan teknologi tersebut.

• Model dasar, khususnya model bahasa besar, mungkin berhalusinasi, menghasilkan jawaban yang tampaknya sah namun sepenuhnya salah terhadap pertanyaan pengguna. Perusahaan Anda dapat menghindari skenario ini dengan meningkatkan data pelatihan, bereksperimen dengan arsitektur model yang berbeda, dan memperkenalkan putaran umpan balik pengguna yang efektif.
• Solusi Gen AI dilatih menggunakan data dalam jumlah besar yang cepat menjadi usang. Akibatnya, Anda harus melatih ulang model Anda secara rutin, sehingga meningkatkan biaya penerapan AI generatif.
• Model yayasan yang dilatih berdasarkan data tertentu, seperti entri catatan kesehatan elektronik (EHR), mungkin kesulitan menghasilkan konten yang valid di luar keahlian langsung mereka. Sebaliknya, model tujuan umum kesulitan menangani kueri pengguna khusus domain. Beberapa cara untuk mengatasi masalah ini termasuk membuat model hibrid, memanfaatkan teknik pembelajaran transfer, dan menyempurnakan model melalui masukan pengguna.
• Solusi Gen AI pada dasarnya bersifat black-box, yang berarti tidak jelas mengapa solusi tersebut memberikan hasil tertentu dan bagaimana cara mengevaluasi keakuratannya. Kurangnya pemahaman ini mungkin menghalangi pengembang untuk mengubah modelnya. Dengan mengikuti prinsip-prinsip AI yang dapat dijelaskan selama pelatihan model gen AI, seperti memperkenalkan teknik interpretasi model, mekanisme perhatian, dan jalur audit, Anda dapat memperoleh wawasan tentang proses pengambilan keputusan model dan mengoptimalkan kinerjanya.

Selain itu, ada beberapa pertanyaan yang perlu dijawab oleh perusahaan Anda sebelum memulai penerapan AI generatif.

• Apakah ada strategi beli vs. bangun yang solid untuk memvalidasi bahwa perusahaan Anda hanya mengadopsi gen AI dalam fungsi yang teknologinya akan menjadi pembeda sekaligus mencegah vendor lock-in? Strategi ini harus dilengkapi dengan peta jalan terperinci untuk manajemen perubahan dan penskalaan gen AI – serta ketentuan untuk mendesain ulang seluruh proses bisnis, jika diperlukan.
• Apakah departemen TI internal Anda memiliki keterampilan MLOps yang memadai untuk menguji, menyempurnakan, dan menjaga kualitas model ML yang kompleks dan data pelatihannya? Jika belum, apakah Anda sudah memilih perusahaan pengembang AI yang andal untuk menangani tugas-tugas ini?
• Apakah Anda memiliki sumber daya komputasi dalam jumlah besar, baik di cloud maupun edge? Selain itu, penting untuk menilai skalabilitas infrastruktur TI Anda serta kemungkinan penggunaan kembali model Gen AI di berbagai tugas, proses, dan unit.
• Apakah perusahaan Anda atau mitra pengembangan AI Anda memiliki keterampilan untuk menguji kelayakan gen AI melalui bukti konsep (PoC) dan menskalakan eksperimen Anda di luar lingkungan sandbox yang terkontrol?
• Yang terakhir, apakah organisasi Anda memiliki mekanisme privasi dan keamanan yang efektif untuk melindungi informasi sensitif dan memastikan kepatuhan terhadap peraturan khusus industri dan wilayah?

Memiliki rencana implementasi yang matang tidak hanya akan membantu Anda mengadopsi teknologi dengan cara yang bebas risiko dan memperoleh manfaat lebih cepat, tetapi juga mengurangi biaya gen AI.

Manfaatkan layanan konsultasi gen AI ITRex untuk mengetahui apakah gen AI akan membantu Anda mengubah proses bisnis, memilih pendekatan implementasi gen AI yang tepat, dan mengoptimalkan biaya gen AI. Kirimkan surat kepada kami untuk memulainya!

Artikel ini pertama kali diterbitkan di situs ITRex.