Teknologi NLG MarketMuse vs. GPT-3

Dengan semua minat pada GPT-3 akhir-akhir ini, kami memutuskan untuk melihat perbandingannya dengan Teknologi NLG MarketMuse, mirip dengan proses yang diambil saat mengevaluasi GPT-2.

Sebelum masuk ke contoh, berikut adalah ikhtisar singkat tentang faktor pembeda Teknologi MarketMuse NLG.

• Tidak seperti GPT-3, dengan topik tertentu, kami membuat artikel sepotong demi sepotong, menggunakan ringkasan konten sebagai 'tulang punggung'.
• Mengingat suatu topik, kami menghasilkan konten singkat, terstruktur ke dalam subjudul dan topik terkait, kami menggunakannya sebagai panduan.
• Untuk setiap bagian singkat, kami menggunakan topik terkait dan subjudul sebagai petunjuk, dan kami terus menghasilkan hingga kami menghasilkan keluaran yang melewati filter kualitas kami.
• Filter kami tentu saja menyertakan skor konten dan keberadaan topik relevan yang kami harapkan akan terlihat dalam keluaran, tetapi kami juga memeriksa kesalahan tata bahasa, keragaman leksikal, plagiarisme, dan ukuran keterbacaan lainnya.

Tiga Contoh Konten

GPT-3 lebih besar dan seharusnya lebih baik dari pendahulunya, tetapi tidak mungkin untuk mengambil alih Internet. OpenAI menerbitkan makalah terperinci (PDF) tentang model bahasa mereka. Untuk tujuan kami, kami tidak tertarik mempelajari ilmu di balik generasi bahasa alami. Sebaliknya, kami mengambil pendekatan empiris.

Di bawah ini, Anda akan menemukan tiga kutipan tentang pentingnya berada di Twitter, yang ditulis oleh MarketMuse NLG Technology, GPT-3, dan seorang manusia dengan bantuan MarketMuse NLG Technology. Bisakah Anda memberi tahu yang mana?

Versi 1

Versi 2

Versi 3

Bagian Konten Manakah yang Dibuat oleh Manusia?

Pertama, mari kita lihat apakah itu lulus tes "mengendus". Apakah artikel-artikel ini seolah-olah ditulis oleh manusia?

Hanya satu. Bisakah Anda menebak yang mana?

Yang pertama ditulis oleh GPT-3, yang kedua oleh manusia, dan yang ketiga oleh MarketMuse NLG Technology.

Seberapa Baik Mereka Menyampaikan Informasi

Mari kita periksa output dari ketiga pendekatan tersebut terhadap Skor Konten, Skor Penulis, dan Tingkat Nilai.

Skor Konten MarketMuse mengevaluasi seberapa baik artikel tersebut telah membahas topik dibandingkan dengan model topik. Lebih tinggi lebih baik, dan untuk artikel ini Skor Konten yang Disarankan adalah 42, meskipun tidak ada skor yang sempurna.

Writer Score adalah skor yang diberikan oleh Writer.com dan didasarkan pada ejaan dan tata bahasa, istilah, gaya, kejelasan, inklusivitas, dan penyampaian – semakin tinggi semakin baik. Tingkat kelas menunjukkan tingkat pendidikan yang diharapkan yang diperlukan untuk memahami konten. Tingkat kelas tulisan Anda umumnya harus sesuai dengan audiens Anda.

Teknologi NLG MarketMuse

Seperti yang diharapkan, Teknologi NLG MarketMuse melakukan yang terbaik dalam menangani topik dalam model. Ini dirancang untuk memastikan memenuhi dua KPI penting, jumlah kata dan Skor Konten.

Teknologi NLG MarketMuse melakukannya dengan sangat baik dalam hal Writer Score. Ada beberapa masalah dengan ejaan dan tata bahasa, penggunaan istilah, gaya, dan kejelasan. Tingkat Kelas berada dalam kisaran audiens yang dituju dari artikel ini.

GPT-3

GPT-3 seperti orang yang banyak bicara tapi sedikit bicara.

Ada penjelasan yang sangat sederhana untuk Skor Konten 4. Artikel tersebut gagal untuk mengatasi masalah penting yang dilakukan seorang ahli ketika membahas pentingnya berada di Twitter. Memang, postingan itu mungkin lucu dan menghibur, tetapi tidak mengandung substansi apa pun.

Tidak sekali dalam hampir 2.400 kata tentang Twitter artikel tersebut berbicara tentang atau menjelaskan apa pun yang berkaitan dengan:

• media sosial
• tweet
• pengikut Twitter
• pemasaran Twitter
• hashtag yang sedang tren

Belum lagi 45 topik lain yang akan Anda temukan dalam model topik MarketMuse. Masalahnya adalah artikel tersebut tidak memiliki struktur dan makna yang melekat.

Jika seorang manusia mengirimkan artikel itu, apa yang akan Anda lakukan?

Postingan itu tidak mengatakan apa pun tentang pentingnya berada di Twitter. Akibatnya, jauh lebih sulit untuk mengedit dan memoles draf tersebut menjadi konten berharga yang dapat dipublikasikan. Ini adalah masalah yang sama yang kami temukan saat mengevaluasi GPT-2.

Ada istilah untuk jenis artikel ini. Ini disebut "bulu."

Itu juga menderita Skor Penulis terendah. Itu adalah hasil dari sejumlah besar masalah ejaan dan tata bahasa bersama dengan masalah lain yang melibatkan kejelasan, inklusivitas, dan gaya.

Menulis di Kelas Level 4 menjadi perhatian di sini. Itu selalu yang terbaik untuk menulis pada tingkat audiens Anda. Anda berisiko kehilangannya jika tulisan Anda terlalu rumit atau terlalu sederhana. Dalam hal ini, GPT-3 menulis pada tingkat yang terlalu mendasar untuk audiens bisnis.

Manusia

Manusia, Anda benar-benar, melakukan pekerjaan yang cukup baik, jika saya dapat mengatakannya sendiri. Artikel tersebut berada di atas target dengan nyaman, dengan Skor Konten 45. Skor Penulis, pada 99, hampir sempurna, yang seharusnya. Saya menggunakan plugin Writer for Chrome jadi saya menangkap kesalahan apa pun di muka. Grade Level 8 masih dalam jangkauan audiens bisnis.

Keunggulan Teknologi MarketMuse NLG

GPT-3 adalah solusi dalam mencari aplikasi. Satu-satunya cara untuk mengakses API adalah dengan bergabung ke daftar tunggu di mana inspirasi kasus penggunaan Anda dijelaskan. Bahkan dengan akses, Anda masih akan dibatasi dalam menggunakan apa yang disediakan melalui Antarmuka Pemrograman Aplikasi.

Teknologi NLG MarketMuse diciptakan untuk memecahkan kasus penggunaan tertentu, khususnya, menghasilkan artikel berkualitas SEO bentuk panjang untuk pemasar konten. Berikut kelebihan yang ditawarkan.

1. Koherensi dan Struktur – Output Teknologi MarketMuse NL ditentukan oleh Ringkasan Konten MarketMuse sehingga draf koheren dan terstruktur di luar kotak. GPT-3 dimulai dengan teks prompt tetapi tidak memiliki pagar pembatas, yang mengarah ke keluaran tidak terstruktur yang tidak cocok untuk konten berkualitas SEO.
2. Kontrol – Pengguna dapat membuat Ringkasan Konten MarketMuse mereka sendiri sebelum memesan draf. Tentukan topik yang harus disebutkan artikel, pertanyaan yang harus dijawab, dan bagian artikel. GPT-3 menawarkan sedikit kendali atas topik mana yang disebutkan oleh generasi dan pertanyaan mana yang dijawab oleh konten.
3. Siap-Publikasi – Keluaran Teknologi MarketMuse NLG dapat diedit menjadi konten siap-publikasi dalam 1-2 jam. Keluaran GPT-3 membutuhkan waktu beberapa jam untuk diedit menjadi konten siap publikasi.
4. Degradasi, Plagiarisme, Pengulangan – MarketMuse Teknologi NLG menghasilkan teks yang bebas dari degradasi panjang, plagiarisme, dan pengulangan. Output GPT-3 tidak memeriksa degradasi, plagiarisme, atau pengulangan.
5. Pelatihan – Teknologi NLG MarketMuse dilatih pada artikel dari kumpulan data yang dikurasi (tidak termasuk konten seksis, rasis, dan dewasa) untuk meningkatkan hasil generasi. GPT-3 dilatih di seluruh web, termasuk konten berkualitas rendah, eksplisit, dan penuh kebencian, yang mengarah ke generasi berkualitas rendah.
6. Konfigurasi – Teknologi NLG MarketMuse dapat dikonfigurasi untuk menulis dengan gaya Anda atau gaya yang ingin Anda tiru, serta mempelajari kosakata baru seiring waktu. GPT-3 hanya dapat menghasilkan teks berdasarkan parameter model, dengan sedikit atau tanpa konfigurasi.
7. Panjang Artikel – Teknologi MarketMuse NLG dapat menghasilkan artikel hingga 5.000 kata berdasarkan panjang Ringkasan Konten MarketMuse. GPT-3 hanya dapat menghasilkan hingga ~ 1.200 kata.

Bawa Pulang

Skala pembuatan konten Anda tanpa menskalakan biaya dan sakit kepala. Teknologi NLG MarketMuse mempercepat pembuatan konten dengan menggunakan AI untuk membuat draf artikel lengkap berdasarkan Ringkasan Konten MarketMuse. Jaga agar biaya konten Anda dapat diprediksi dan kualitas Anda konsisten dengan membiarkan AI melakukan pekerjaan untuk membuat Anda mendapatkan draf awal yang kuat.