Votre écrivain robot attend… GPT-3 est-il la mort du créateur de contenu ?

En tant qu'écrivain / éditeur qui compte sur la création de contenu pour gagner sa vie, je suis profondément ambivalent à propos de l'IA…

D'une part, je ne peux pas imaginer une vie sans elle.

Au cours des quatre dernières années, j'ai vécu dans un pays - le Vietnam - où je ne parle ou ne comprends qu'une poignée de mots et de phrases (je sais, je sais, c'est pathétique).

J'ai aussi un mauvais sens de l'orientation...

Errer dans les dédales interminables des rues et ruelles de Saigon (hẻms) est une immense source de joie…

À moins que vous n'ayez une destination réelle en tête ou que vous soyez en retard pour une réunion…

Ou c'est la saison des pluies.

Sans Google Maps et Google Traduction, vivre ici ne serait pas une option pour moi…

Donc, je suis incroyablement reconnaissant pour ce que l'IA a déjà à offrir.

Mais de plus en plus, la même technologie qui rend ma vie actuelle possible semble émerger comme une menace existentielle pour ma capacité à mettre le phở sur la table.

Je suis loin d'être le seul forgeron à être légèrement terrifié par l'IA…

Comme l'a récemment déclaré le chroniqueur technologique du New York Times, Farhad Manjoo, "Dans peu de temps, votre humble correspondant pourrait être mis au pâturage par une machine."

Pour chaque créateur de contenu recroquevillé dans le placard à la perspective d'être rendu obsolète par une technologie basée sur l'IA comme GPT-3 , il y a au moins un propriétaire d'entreprise ou un spécialiste du marketing affilié qui tremble d'attente face à cette possibilité…

Après tout, qui veut traiter avec (et payer) des écrivains et des éditeurs trop humains ?

Alors, à quel point le rêve/cauchemar des ordinateurs écrivant et éditant votre contenu est-il proche de devenir une réalité ?

Découvrons-le…

TABLE DES MATIÈRES
Qu'est-ce qu'OpenAI et GPT-3 ?
Comment fonctionne GPT-3 ?
GPT-3 et NLG sont-ils dangereux ?
GPT-3 et changement climatique
GPT-3 et référencement
Entretien avec Przemek Chojecki — Fondateur de Contentyze
Entretien avec Steve Toth — Fondateur de SEO Notebook
Entretien avec Aleks Smechov — Fondateur de Skriber.io
Puis-je déjà licencier mes rédacteurs et mes éditeurs ?
L'Intelligence Générale Artificielle (IAG) — Plus humaine qu'humaine ?
Augmenter les écrivains - ne pas les remplacer

Qu'est-ce qu'OpenAI et GPT-3 ?

OpenAI a été fondée en 2015 par des superstars de la technologie comme Elon Musk et Sam Altman, ancien président de Y Combinator et actuel PDG d'OpenAI.

En 2018, OpenAI a publié son premier article sur un modèle de langage qu'ils ont appelé le transformateur pré-formé génératif - GPT en abrégé.

En termes simples, GPT traite des quantités massives de texte écrit par des humains, puis tente de générer un texte indiscernable du texte écrit par des humains - le tout avec le strict minimum d'intervention ou de supervision humaine.

Lorsque j'ai interviewé le développeur et écrivain NLP SaaS Aleks Smechov de The Edge Group, il a quelque peu dérisoirement qualifié GPT de « saisie semi-automatique sous stéroïdes ».

C'est évidemment réducteur, mais vrai de manière fondamentale…

GPT (et d'autres modèles NLG basés sur l'IA) tente de prédire quel mot suit le mot précédent d'une manière qui ne se distingue pas de la façon dont les gens écrivent ou parlent naturellement.

Le rythme de l'innovation avec GPT a été tout simplement époustouflant…

En février 2019, OpenAI a rendu publique une version limitée de GPT-2…

En novembre 2019, le modèle complet GPT-2 NLG a été rendu open source.

GPT-2 a fait sensation…

OpenAI a d'abord retardé la publication du modèle complet au public car il était potentiellement trop dangereux - ne le rendant open source qu'après avoir déclaré qu'ils n'avaient "vu aucune preuve solide d'utilisation abusive".

C'est encore un autre exemple de sociétés détenues par des actionnaires - comme Google et Facebook - qui font des appels de jugement sur une technologie qui peut bouleverser radicalement notre façon de vivre, sans pratiquement aucun contrôle public.

Les modèles NLG deviennent "plus intelligents" - ou du moins mieux pour imiter la façon dont les humains parlent et écrivent - en fonction au moins en partie du nombre de paramètres que les ingénieurs leur donnent.

Plus l'ensemble de données est grand et plus il y a de paramètres, plus le modèle devient précis.

GPT-2 a été formé sur un ensemble de données de 8,5 millions de pages Web et comportait 1,5 milliard de paramètres…

Pour ne pas être en reste, Microsoft a publié Turing Natural Language Generation (T-NLG) au début de 2020.

Nommé d'après le célèbre scientifique Alan Turing, le modèle basé sur transformateur de T-NLG utilise 17,5 milliards de paramètres, soit plus de 10x GPT-2.

OpenAI a publié la dernière itération de son API de traitement du langage naturel (NLP) et de génération de langage naturel (NLG) - GPT-3 en juin 2020.

De loin la technologie NLG la plus puissante et la plus avancée jamais rendue publique - formée sur 175 milliards de paramètres (10 fois celle de T-NLG publiée moins de six mois plus tôt) - GPT-3 a été accueilli en grande pompe…

Franchement, tout le brouhaha commence à être assourdissant.

S'il faut faire confiance à Twitter, ce ne sont pas seulement les créateurs de contenu qui pourraient bientôt se retrouver sans emploi…

Que vous soyez médecin, avocat ou que vous écriviez du code pour gagner votre vie, GPT-3 vient pour vous.

Il s'avère que même l'industrie lucrative de la poésie pourrait être menacée...

Qu'en est-il des autres activités créatives ?

Vous en avez marre de vos playlists Spotify ?

OpenAI Jukebox vous a couvert.

Voici une petite chansonnette générée par l'IA dans le style de David Bowie :

Bowie pas votre sac ?

Jukebox vous a couvert, avec près de 10 000 "chansons" générées par l'IA à la disposition du public, dans le style des artistes de 2Pac :

à Z-Ro…

Ne négligeant pratiquement aucun effort dans sa quête pour montrer le potentiel créatif de l'IA, OpenAI a également développé DALL·E. DALL·E crée des images remarquables à partir de simples invites textuelles.

Vous êtes-vous déjà demandé à quoi ressemblerait une chaise croisée avec un avocat ?

Laissez DALL·E vous sortir de votre misère.

Besoin d'une photo "Auteur Bio" pour la page À propos de nous de votre site Web affilié pour créer EAT ?

Devinez ce que chaque photo de la photo ci-dessus a en commun ? Cette personne n'existe pas.

Clairement, ce n'est pas seulement la création de contenu que la technologie d'OpenAI perturbe déjà, mais comment ça marche ?

Comment fonctionne GPT-3 ?

La génération de langage naturel (NLG) est depuis longtemps l'un des objectifs ultimes de l'IA et du traitement du langage naturel (TAL).

Dès 1966, avec l'invention d'Eliza - un chatbot rudimentaire se faisant passer pour un thérapeute - les machines ont convaincu les gens qu'elles pouvaient avoir des conversations significatives avec les humains.

Beaucoup plus récemment, les technologies NLG comme le modèle GPT (Generative Pre-trained Transformer) d'OpenAI et Turing Natural Language Generation (T-NLG) de Microsoft ont choqué les experts et les journalistes par leur capacité à générer un contenu écrit impressionnant.

La plupart des technologies NLG sont alimentées par des réseaux de neurones - une partie cruciale de la branche d'apprentissage en profondeur de l'apprentissage automatique qui tente d'imiter le cerveau humain.

L'apprentissage en profondeur en tant que solution aux défis du développement de l'IA a commencé à gagner du terrain en 2011, lorsque le professeur et informaticien de l'Université de Stanford Andrew Ng a cofondé Google Brain.

Le principe fondamental de l'apprentissage en profondeur est que plus les ensembles de données à partir desquels les modèles d'IA apprennent sont volumineux, plus ils deviennent puissants.

Alors que la puissance de calcul et les ensembles de données disponibles (comme l'ensemble du Web) continuent de croître, les capacités et l'intelligence des modèles d'IA comme GPT-3 augmentent également.

De nombreux modèles d'apprentissage en profondeur sont supervisés, ce qui signifie qu'ils sont entraînés sur des ensembles de données massifs étiquetés – ou « étiquetés » – par des humains.

Par exemple, l'ensemble de données populaire ImageNet se compose de plus de 14 millions d'images étiquetées et catégorisées par des humains.

Quatorze millions d'images peuvent sembler beaucoup, mais c'est une goutte d'eau dans l'océan par rapport au volume de données disponibles.

Le problème avec les modèles d'apprentissage automatique supervisés formés sur des données étiquetées par des personnes est qu'ils ne sont pas suffisamment évolutifs.

Trop d'efforts humains sont nécessaires et cela entrave considérablement la capacité d'apprentissage de la machine.

De nombreux modèles de PNL supervisés sont formés sur de tels ensembles de données, dont beaucoup sont open-source.

Un ensemble de données - ou corpus - largement utilisé dans les premiers modèles de PNL consiste en des e-mails d'Enron, auteur de l'une des plus grandes fraudes d'actionnaires de l'histoire américaine.

Une grande partie de ce qui rend GPT-3 si transformateur est qu'il peut traiter de grandes quantités de données brutes sans supervision, ce qui signifie que le goulot d'étranglement important consistant à obliger les humains à classer la saisie de texte est en grande partie éliminé.

Les modèles GPT d'Open AI sont formés sur des ensembles de données massifs non étiquetés, tels que :

• BookCorpus , un ensemble de données (qui n'est plus accessible au public) composé de 11 038 livres non publiés de 16 genres différents et de 2 500 millions de mots de passages de texte de Wikipedia anglais

• Données extraites des liens sortants des articles les plus votés sur Reddit - comprenant plus de 8 millions de documents
• Common Crawl - une ressource ouverte composée de pétaoctets de données d'exploration Web datant de 2008. On estime que le corpus Common Crawl contient près d'un billion de mots.

Maintenant, ce sont des données volumineuses…

GPT-3 et NLG sont-ils dangereux ?

Nous vivons à une époque de « faits alternatifs » et de « fausses nouvelles » - ce que de nombreux observateurs appellent l'ère de la post-vérité.

Dans un environnement où les opinions, les sentiments et les théories du complot menacent de saper une réalité objective partagée, il est facile d'imaginer comment GPT-3 et d'autres technologies NLG pourraient être militarisées…

Les mauvais acteurs peuvent facilement créer des quantités massives de désinformation en grande partie impossibles à distinguer du contenu écrit par des humains, ce qui détache davantage les gens des faits vérifiables et d'une vérité partagée.

On a beaucoup parlé de vidéos "deep fake" réalisées à l'aide de l'IA - comme celle-ci mettant en vedette une reine Elizabeth virtuelle...

Mais nous sous-estimons le pouvoir de l'écrit à nos risques et périls.

Le rôle des technologies NLG comme les chatbots de médias sociaux déployés par des gouvernements étrangers hostiles pour fomenter la discorde sociale et influencer les élections aux États-Unis ainsi que dans d'autres démocraties occidentales a été bien documenté.

Alors que GPT et d'autres modèles NLG deviennent de plus en plus efficaces pour imiter le langage humain, le potentiel d'utilisation de la technologie pour créer une désinformation malveillante à grande échelle augmente également de façon exponentielle.

Il est également crucial de se rappeler que si GPT-3 est remarquablement doué pour deviner quel mot vient après le mot précédent de manière convaincante, il n'est pas contraint par les faits et se demande si ce qu'il dit est vrai…

Voici comment Tom Simonite, écrivant dans Wired, a décrit ces lacunes : "GPT-3 peut générer un texte incroyablement fluide, mais il est souvent détaché de la réalité."

Il est également crucial de se rappeler que le GPT-3 et tous les NLG actuels reposent sur des "invites" d'humains. Ce sont des modèles prédictifs très sophistiqués, mais ils ne peuvent pas penser par eux-mêmes.

"GPT-3 n'a pas de modèle interne du monde, ni de monde, et il ne peut donc pas faire de raisonnement qui nécessiterait un tel modèle", explique Melanie Mitchell, professeur à l'Institut Santa Fe.

Pour chaque exemple impressionnant de GPT-3 "diagnostiquant" correctement l'asthme chez un enfant, il y a une histoire d'horreur correspondante d'un chatbot GPT-3 encourageant un patient virtuel à se suicider...

Dans un de ces épisodes, la conversation a bien commencé :

Puis la conversation a pris une tournure nettement plus sombre :

GPT-3 a également un sérieux problème d'éthique et de partialité…

Jerome Pisenti, vice-président de l'IA chez Facebook et critique réfléchi de l'apprentissage en profondeur et de l'IA, a tweeté des exemples de tweets générés par GPT-3 lorsqu'on lui a donné les invites d'un mot suivantes : Juifs, Noirs, femmes et Holocauste.

Il s'avère que GPT-3 est plus que capable de dire des choses intolérantes, cruelles et souvent impardonnables.

Mais beaucoup d'humains aussi...

Considérant que les modèles NLP/NLG basés sur les transformateurs apprennent du contenu en ligne créé par des êtres humains intrinsèquement défectueux, est-il raisonnable de s'attendre à un niveau de discours plus élevé de la part d'une machine ?

Peut-être pas, mais autoriser GPT-3 à publier du contenu sans surveillance humaine risque d'avoir des résultats imprévus et hautement indésirables.

Dans un autre développement effrayant lié aux biais dans l'IA, Google a récemment licencié l'un de ses principaux éthiciens de l'IA, Timnit Gebru.

Gebru aurait été licenciée au moins en partie en raison de ses recherches sur les "risques associés au déploiement de grands modèles linguistiques, y compris l'impact de leur empreinte carbone sur les communautés marginalisées et leur tendance à perpétuer un langage abusif, des discours de haine, des microagressions, des stéréotypes et d'autres langage déshumanisant visant des groupes spécifiques de personnes.

Lorsque des entreprises comme Google et OpenAI doivent se contrôler elles-mêmes en matière de préjugés et d'éthique en matière d'IA, pouvons-nous vraiment nous attendre à ce qu'elles fassent passer ces préoccupations avant leurs intérêts commerciaux ?

Alors que Google prend déjà des mesures punitives contre un autre de ses meilleurs éthiciens en IA, Margaret Mitchell, co-responsable (anciennement avec Gebru) de l'équipe d'éthique en IA de Google Research, la réponse semble être non.

Voilà pour "Ne sois pas méchant."

GPT-3 et changement climatique

Une autre façon souvent négligée dont GPT-3 - et l'IA en général - peut être nocif pour les gens et la planète est que les deux nécessitent une tonne de calcul.

Les estimations concluent qu'une seule session de formation de GPT-3 nécessite une quantité d'énergie équivalente à la consommation annuelle de 126 foyers danois et crée une empreinte carbone équivalente à parcourir 700 000 kilomètres en voiture.

L'IA est loin d'être le plus grand responsable de la création de gaz à effet de serre dangereux (je vous regarde, le charbon, les vaches et les voitures.) Mais l'empreinte carbone de la technologie de l'IA n'est pas négligeable.

"Il y a une grande poussée pour intensifier l'apprentissage automatique afin de résoudre des problèmes de plus en plus gros, en utilisant plus de puissance de calcul et plus de données", déclare Dan Jurafsky, titulaire de la chaire de linguistique et professeur d'informatique à Stanford. « Lorsque cela se produit, nous devons nous demander si les avantages de ces modèles à calcul intensif valent le coût de l'impact sur l'environnement.

Le marché de la technologie NLP devrait croître de plus de 750 % entre 2018 et 2025…

L'impact environnemental des modèles NLG comme GPT-3 (et ses descendants) augmentera probablement avec lui.

Les chercheurs en intelligence artificielle sont bien conscients des dommages potentiels à l'environnement et prennent des mesures pour les mesurer et les réduire.

Mais malgré les meilleurs efforts des scientifiques, la « menace existentielle » que représente le changement climatique pour l'humanité (et la planète) signifie que toute exacerbation du réchauffement climatique par la technologie de l'IA ne doit pas être prise à la légère.

GPT-3 et référencement

Le contenu est la pierre angulaire du marketing numérique…

Il n'est donc pas étonnant que de nombreuses startups NLG ciblent les référenceurs.

L'IA a déjà eu un impact significatif sur la façon dont les rédacteurs créent du contenu basé sur le référencement - pensez à Surfer et PageOptimizerPro…

Mais quelles applications à ce sujet prétendent éliminer complètement le besoin d'écrivains?

Ou une application qui écrit des e-mails indiscernables de ceux que vous écririez vous-même ?

Il est facile de voir l'attrait des plateformes d'automatisation de la création de contenu…

Surtout si votre seul objectif dans la création de contenu est de générer du trafic de recherche organique et que la création de valeur pour vos lecteurs n'est pas un problème.

Beaucoup de ces applications sont en phase bêta ou en liste d'attente, mais quelques-unes sont déjà ouvertes aux entreprises.

J'ai interviewé Przemek Chojecki - le fondateur de la création de contenu automatisée SaaS Contentyze, pour avoir son avis sur la direction que prend la technologie NLG…

J'ai également interrogé Steve Toth, fondateur de SEO Notebook, et Aleks Smechov, développeur d'applications NLP et conteur basé sur les données, pour recueillir leurs réflexions sur l'impact potentiel de NLG sur le référencement et le contenu Web en général.

Prezemek Chojecki

Contentez

Entretien avec Przemek Chojecki — Fondateur de Contentyze*

Qu'est-ce qui vous a inspiré à fonder Contentyze ?

J'écris beaucoup moi-même et mon objectif initial était de créer un ensemble d'algorithmes qui rendraient mon processus d'écriture plus rapide et plus fluide. Cela a été un succès, j'ai donc décidé de créer une plate-forme pour que d'autres puissent également l'utiliser.

Quelle est votre ou vos clientèle(s) cible(s) idéale(s) ?

Pour l'instant, mes publics cibles sont les spécialistes du marketing et les experts en référencement. Ce groupe a régulièrement besoin de beaucoup de contenu, et Contentyze peut les aider à accélérer le processus. Mais idéalement, je souhaite que Contentyze soit utile à tous ceux qui ont besoin d'écrire un texte : étudiants, employés de bureau, créateurs de contenu. N'importe qui vraiment !

Pouvez-vous me donner un exemple de cas d'utilisation ?

À l'heure actuelle, les cas d'utilisation les plus courants sont la génération d'un article de blog à partir d'un titre ou d'un résumé de texte à partir d'un lien.

Le premier cas d'utilisation fonctionne comme ceci : vous donnez une invite à Contentyze, telle qu'une phrase ou une question du type "Comment utiliser l'intelligence artificielle en entreprise ?"

Cliquez sur Générer, attendez 1-2 minutes et obtenez un brouillon de texte.

Ce n'est pas toujours idéal, mais c'est toujours unique. Vous pouvez répéter ce processus plusieurs fois, avec la même invite/titre, pour obtenir plus de texte.

Ensuite, vous choisissez et choisissez, et le tour est joué, vous avez un texte sur votre blog.

Pour quel type de contenu Contentyze est-il « bon » ?

En ce moment, Contentyze est vraiment doué pour résumer des textes.

C'est aussi relativement bon pour générer des textes, mais ce n'est pas encore aussi cohérent que je le voudrais.

Pour quel type de contenu Contentyze n'est-il pas si bon ?

La fonction de réécriture a encore besoin de beaucoup de travail pour être bonne.

Nous permettons déjà aux gens de réécrire des textes, mais je ne suis pas satisfait de la façon dont cela fonctionne maintenant.

Faire une bonne réécriture est assez difficile si vous ne voulez pas faire une simple rotation de contenu (aller au thésaurus et changer les adjectifs pour quelque chose de proche).

Voyez-vous actuellement Contentyze augmenter le travail d'un écrivain/éditeur humain ou le remplacer complètement ?

Augmenter définitivement le travail d'un écrivain humain. Mon objectif final est de créer un assistant d'écriture parfait qui peut vous aider à écrire n'importe quoi à n'importe quelle étape du processus d'écriture : de l'idéation à la rédaction et à l'édition.

Probablement dans le processus, certains emplois de rédacteurs seront remplacés, bien que ce ne soit pas mon objectif.

J'ai essayé Contentyze et j'ai remarqué quelques petites choses. Il fonctionne (comme on pouvait s'y attendre) mieux avec un contenu court, tel que des critiques de produits, etc. Pensez-vous que Contentyze s'améliorera dans un avenir proche avec un contenu plus long ? Pourquoi?

Il traite mieux les contenus courts en raison de notre puissance de calcul limitée actuellement. Il s'agit d'un problème entièrement technique sur lequel nous travaillons actuellement. Plus le texte est long, plus vous avez besoin de puissance de calcul pour le traiter.

Lorsque j'ai demandé à Contentyze de "réécrire" un article récent sur SEOButler à propos d'Apple développant potentiellement un moteur de recherche pour concurrencer Google, la première phrase avait du sens :

Le moteur de recherche de Google pourrait être menacé par un nouveau concurrent dans les prochaines années .

Mais ce sont les phrases suivantes :

Plus loin dans la réécriture, il y a des phrases complètement sans rapport avec l'article original :

Si vous cherchez une nouvelle chanson à écouter ou un nouvel album à acheter, il existe de nombreux endroits où vous pouvez le trouver.

Si vous voulez trouver la meilleure musique du monde, vous pouvez désormais la trouver en ligne.

Ainsi que des déclarations totalement incorrectes :

La dernière mise à jour de recherche de Google est un pas en avant bienvenu pour le géant de la recherche, qui a longtemps pris du retard sur des concurrents tels que Microsoft et Apple.

Comment voyez-vous votre utilisateur final travailler avec ce genre de résultats ?

Comme je l'ai dit, la réécriture est la pire fonction qui fonctionne actuellement. Vous n'obtiendrez pas ce genre de choses avec les options Résumé.

J'ai eu des résultats similaires lors de l'utilisation d'invites pour créer un nouveau contenu. Voyez-vous Contentyze être utilisé comme un outil de brainstorming pour les écrivains humains plus que pour du contenu prêt à publier à ce stade de son évolution ?

Oui, je ne m'attends pas à ce que les gens l'utilisent directement au niveau de la production à ce stade.

D'un autre côté, il est vraiment utile de rédiger un texte rapidement afin qu'un éditeur humain puisse le parcourir, apporter les modifications nécessaires pour assurer la qualité et le publier.

Je m'attends à ce que Contentyze soit capable de faire 80% du travail d'écriture à la fin, et l'écrivain humain fera le reste.

Je vois Contentyze et d'autres startups NLG commercialiser leurs applications SaaS directement auprès des référenceurs et des spécialistes du marketing affilié. Pourquoi?

En fait, c'est très naturel - ce public a besoin de contenu régulièrement, il recherche donc activement les outils qui peuvent l'aider. Contentyze est passé à plus de 3 000 utilisateurs avec peu de marketing, étant presque exclusivement découvert de manière organique.

Pensez-vous qu'à long terme, il y a un danger à ce que des personnes utilisent des applications comme Contentyze à grande échelle pour générer des quantités massives de contenu destiné uniquement au référencement sans se soucier de fournir de la valeur au lecteur ? Si cela ou quelque chose de similaire se produit, pensez-vous que Google modifiera son algorithme de recherche pour repérer et pénaliser le contenu généré par l'IA ?

C'est certainement pourquoi OpenAI, créateurs de GPT2/GPT3, a mis en place des politiques strictes pour surveiller l'utilisation de leurs algorithmes. C'est particulièrement vrai avec GPT3 et l'ensemble du processus de candidature.

Je pense que nous devons être prudents lorsque nous avançons, car ce type de technologie peut facilement être utilisé pour « spammer » Internet sans apporter la moindre valeur.

L'ensemble du jeu SEO va certainement changer. Google ajustera ses algorithmes comme il l'a fait de nombreuses fois auparavant, mais il est difficile de prédire ce qui se passera.

Mon pari est que le contenu généré par l'IA sera indiscernable du contenu écrit par l'homme dans les 3 à 5 prochaines années, donc Google devra inventer autre chose s'il souhaite pénaliser le contenu généré par l'IA.

Quoi qu'il en soit, je ne ferais pas de distinction entre le contenu humain et le contenu IA. Nous devrions seulement nous demander si un contenu donné apporte de la valeur ou non, peu importe qui ou quoi l'a créé.

D'autres pensées que vous aimeriez partager ?

Merci pour l'interview, et rendez-nous visite sur contentyze.com — l'inscription est gratuite (pas besoin de carte de crédit), vous pouvez donc essayer !

Nous apprécions vraiment les commentaires et nous voulons rendre notre outil aussi bon que possible afin que les personnes travaillant dans le domaine du marketing puissent rendre leur travail plus efficace.

Steve Toth

SEONotebook

Entretien avec Steve Toth — Fondateur de SEO Notebook*

Depuis le lancement de SEO Notebook en 2018, il est devenu le bulletin d'information incontournable pour les SEO.

Nous avons eu la chance que Steve contribue aux trois dernières rafles d'experts de SEOButler, et je correspond avec lui par e-mail depuis quelques années maintenant.

J'ai également eu le plaisir de rencontrer Steve à Chiang Mai SEO 2019. Alors quand je l'ai vu publier sur le groupe Facebook Affiliate SEO Mastermind sur le test de contenu généré par GPT-3 pour un client SEO, j'ai dû lui demander son avis…

Comment voyez-vous GPT-3 et les autres technologies NLG impacter le SEO dans les prochaines années ?

Je pense que cela va éroder la confiance des utilisateurs envers Google. Je pense que les gens vont demander encore plus de recommandations à leurs amis.

Comment tirez-vous parti de GPT-3 pour créer du contenu de support pour le référencement ?

Avec précaution. J'ai un client qui veut le faire. Je les guide donc, mais ce projet va influencer mon utilisation future.

À quel point la lisibilité est-elle une priorité pour vous lorsque vous utilisez du contenu généré par GPT-3 ?

Énorme. C'est pourquoi je ne me vois pas trop pousser GPT-3.

GPT-3 peut avoir ses utilisations hors page, mais il ne remplacera pas exactement la rédaction.

Existe-t-il des types de contenu (par exemple, des critiques de produits pour un site affilié) où vous voyez NLG remplacer les rédacteurs humains dans un avenir proche ?

Les gens peuvent créer des sites affiliés entiers avec du contenu GPT-3, puis attendre de voir ce qui se classe et affiner la copie plus tard. Je considère que c'est le cas d'utilisation principal.

Alex Smechov

Skriber.io

Entretien avec Aleks Smechov — Fondateur de Skriber.io et Développeur NLP SaaS*

En plus d'être un contributeur au blog SEOButler et consultant en newsletter pour The Edge Group, Aleks est également le fondateur/développeur des applications NLP SaaS Extractor et Skriber.

Voyez-vous GPT-3 ou une autre technologie NLG remplacer les rédacteurs et les éditeurs pour certains types de contenu dans un avenir proche ?

Je vais me concentrer sur le côté journalisme.

Il existe déjà des logiciels non IA qui créent de petits articles factuels.

Un exemple est Automated Insights et comment ils écrivent la couverture du basket-ball NCAA et le genre.

Je pense que si vous combinez NLG avec la génération de texte basée sur des modèles, vous pouvez créer des histoires un peu plus importantes/plus longues ou agréger des parties d'autres histoires.

Mais pour un journalisme plus sérieux, je ne vois que l'IA faciliter la rédaction, pas la remplacer.

Même avec GPT-3 ou d'autres grands modèles de langage naturel, obtenir une bonne phrase ou un bon paragraphe est comme la roulette, en plus de nécessiter des tonnes de vérification des faits.

Ce serait plus de travail que de demander à un journaliste d'écrire l'article.

Voyez-vous NLG augmenter le rôle des créateurs de contenu dans un avenir proche ? Si c'est le cas, comment?

Bien sûr, pour créer des alternatives aux phrases/paragraphes déjà écrits, des résumés, ou comme mentionné ci-dessus, agréger le contenu de plusieurs sources (par exemple, pour un résumé, cela devrait probablement être modifié de toute façon).

Quelles sont vos 3 plus grandes préoccupations avec la prolifération des technologies NLG comme GPT-3 et autres ?

Ce NLG remplit Internet avec :

• Ordures sans faits
• Contenu SEO gonflé
• Contenu qui ressemble terriblement à tout le reste.

Non pas que ce genre de choses ne se produise pas déjà sur Internet… <smiley emoji>

Puis-je déjà licencier mes rédacteurs et mes éditeurs ?

Voici la réponse courte : non.

L'IA s'est révélée égale ou supérieure aux humains dans des tâches étroites et spécifiques - qu'il s'agisse de battre les plus grands joueurs d'échecs et de go du monde ou de détecter le cancer.

Mais alors que NLG devient remarquablement doué pour imiter le langage naturel, il lui reste encore un long chemin à parcourir avant de remplacer les rédacteurs et éditeurs humains compétents.

Même le NLG le plus sophistiqué s'appuie sur des "invites" humaines - sans parler de l'édition intensive et de la vérification des faits...

La créativité - en particulier en ce qui concerne la recherche d'idées originales et l'établissement de liens uniques entre des sources d'information et d'inspiration disparates - ne fait pas partie du répertoire de GPT-3.

GPT-3 peut imiter un texte qui décrit le monde, les émotions et l'expérience, mais il n'en a pas en propre.

Voici ce que GPT-3 lui-même a à dire sur la question…

Attendez, redemandons-le…

Bien sûr, vous pouvez continuer à lancer les dés GPT-3 (je préfère le considérer comme une roulette russe), sélectionner les meilleurs morceaux, puis les assembler en quelque chose de mieux que l'équivalent de contenu du monstre de Frankenstein.

De préférence un patchwork avec un point de vue cohérent qui engage réellement votre public.

Frankenstein aurait alors besoin d'une vérification approfondie des faits.

Notez que même la toute première phrase du deuxième exemple est une salade de mots de détritus.

Alan Turing est mort depuis 66 ans - il est peu probable qu'il acquière des "startups d'écriture Web".

Ou est-ce une référence au Turing NLG de Microsoft ? Quoi qu'il en soit, il n'a certainement pas acheté d'entreprise, ni mis en lumière le GPT-3.

Vous pouvez faire tout cela – ou vous pouvez simplement embaucher un écrivain.

GPT-3 et ses descendants - ou tout autre modèle NLG - vont devoir devenir beaucoup plus intelligents avant de remplacer les rédacteurs et les éditeurs.

Et beaucoup plus humain.

L'Intelligence Générale Artificielle (IAG) — Plus humaine qu'humaine ?

La PNL et la NLG peuvent (ou non) s'avérer être des étapes cruciales sur la voie de l'Intelligence Générale Artificielle (AGI).

Longtemps considérées comme le Saint Graal de l'IA, les machines AGI sont celles que vous voyez dans les films - des « robots » qui peuvent faire tout ce qu'un humain peut faire aussi bien ou mieux.

OpenAI a certainement pour objectif de créer AGI. Lors de l'annonce de l'investissement de 1 milliard de dollars de Microsoft dans OpenAI, voici comment l'entreprise l'a défini :

"Un AGI sera un système capable de maîtriser un domaine d'étude au niveau de l'expert mondial, et de maîtriser plus de domaines que n'importe quel humain - comme un outil qui combine les compétences de Curie, Turing et Bach.

Un AGI travaillant sur un problème serait capable de voir des liens entre les disciplines qu'aucun humain ne pourrait. Nous voulons qu'AGI travaille avec les gens pour résoudre des problèmes multidisciplinaires actuellement insolubles, y compris des défis mondiaux tels que le changement climatique, des soins de santé abordables et de haute qualité et une éducation personnalisée.

Nous pensons que son impact devrait être de donner à chacun la liberté économique de poursuivre ce qu'il trouve le plus épanouissant, créant de nouvelles opportunités pour toutes nos vies qui sont inimaginables aujourd'hui.

Cela ressemble à de l'utopie, non ?

Mais est-ce une bonne chose ?

Historiquement, l'utopie n'a tout simplement pas abouti :

"Lorsque des humains imparfaits tentent la perfectibilité - personnelle, politique, économique et sociale - ils échouent. Ainsi, le miroir sombre des utopies sont les dystopies - des expériences sociales ratées, des régimes politiques répressifs et des systèmes économiques autoritaires qui résultent de rêves utopiques mis en pratique. -Michael Shermer

Voici ce que GPT-3 avait à dire sur la réalisation de l'AGI :

C'est peut-être juste un vœu pieux, GPT-3, mais cette fois, je suis enclin à être d'accord.

Augmenter les écrivains - ne pas les remplacer

GPT-3 est sans doute faux une fois de plus dans la dernière phrase de l'exemple ci-dessus…

En ce qui concerne la PNL, la NLG et même la quête de l'AGI, des progrès substantiels ont été réalisés.

Et le rythme de l'innovation ne devrait pas ralentir de si tôt.

Less than a month into 2021, the Google Brain team announced a new transformer-based AI language model that dwarfs GPT-3 when measured by the number of parameters.

Google's Switch Transformer is trained on 1 trillion parameters — roughly 6 times as many as GPT-3.

Little is known about potential applications for the Switch Transformer model at the time of writing, but the NLP arms-race shows no signs of abating.

Maybe the day will come when machines replace human writers and editors, but I'm not holding my breath.

As Tristan Greene, AI editor for The Next Web, says about Switch Transformer:

“While these incredible AI models exist at the cutting-edge of machine learning technology, it's important to remember that they're essentially just performing parlor tricks.

These systems don't understand language, they're just fine-tuned to make it look like they do.”

At this point, I'm sure it's clear that I have a dog in this fight.

As objective as I've tried to be in writing this article, I do have a vested interest in human content creators remaining relevant and superior to machines.

But that doesn't mean I don't see how NLP and NLG technology can make me better at what I do.

In truth, AI has been augmenting my writing and editing for years…

I use Rev to auto-transcribe audio and video interviews. I also use it to create transcripts of SEOButler founder Jonathan Kiekbusch and Jarod Spiewak's Value Added Podcast to help me write the show notes more quickly and accurately.

And Grammarly is a powerful tool for even the most diligent editor or proofreader.

As GPT-3 and other advanced NLP models become more accurate and “trustworthy,” their potential ability to summarize long-form content — particularly academic research papers — could prove extremely valuable.

Suppose the future I have to look forward to is one where AI eliminates some of the drudgery of creating SEO-driven content — and I have to edit and polish informational content partly composed by machines instead of writers.

I guess I can live with that…

I may not have a choice.

*Each Q&A has been edited and condensed for clarity.