Ваш робот-писатель ждет… Является ли GPT-3 смертью создателя контента?

Как писатель/редактор, который полагается на создание контента, чтобы зарабатывать на жизнь, я глубоко двойственно отношусь к ИИ…

С одной стороны, я не представляю жизни без него.

Последние четыре года я живу в стране — Вьетнаме — где я говорю или понимаю лишь несколько слов и фраз (знаю, знаю, это жалко).

У меня тоже паршивое чувство направления…

Блуждание по бесконечным лабиринтам улиц и переулков Сайгона (hẻms) доставляет огромное удовольствие…

Если вы не имеете в виду фактическое место назначения или не опаздываете на встречу…

Или это сезон дождей.

Без Google Maps и Google Translate я бы не смог жить здесь…

Итак, я невероятно благодарен за то, что ИИ уже может предложить.

Но все больше и больше та же самая технология, которая делает возможной мою нынешнюю жизнь, кажется, становится экзистенциальной угрозой моей способности поставить phở на стол.

Я далеко не единственный мастер слова, которого немного пугает ИИ…

Как недавно сказал колумнист The New York Times по технологиям Фархад Манджу: «В ближайшее время ваш скромный корреспондент может быть выгнан на пастбище машиной».

На каждого создателя контента, прячущегося в шкафу от мысли, что он станет устаревшим из-за технологии, основанной на искусственном интеллекте, такой как GPT-3 , есть по крайней мере один владелец бизнеса или аффилированный маркетолог, дрожащий от ожидания возможности…

В конце концов, кто захочет иметь дело (и платить) с писателями и редакторами, которые слишком человечны?

Итак, насколько близка мечта/кошмар о компьютерах, записывающих и редактирующих ваш контент, к тому, чтобы стать реальностью?

Давай выясним…

ОГЛАВЛЕНИЕ
Что такое OpenAI и GPT-3?
Как работает GPT-3?
Опасны ли GPT-3 и NLG?
GPT-3 и изменение климата
GPT-3 и SEO
Интервью с Пшемеком Хоецки — основателем Contentyze
Интервью со Стивом Тотом — основателем SEO Notebook
Интервью с Алексом Смечовым — основателем Skriber.io
Могу ли я уже уволить своих авторов и редакторов?
Искусственный общий интеллект (AGI) — больше человек, чем человек?
Дополнение писателей, а не их замена

Что такое OpenAI и GPT-3?

OpenAI была основана в 2015 году суперзвездами технологий, такими как Илон Маск и Сэм Альтман, бывший президент Y Combinator и нынешний генеральный директор OpenAI.

В 2018 году OpenAI опубликовала свою первую статью о языковой модели, которую они назвали генеративным предварительно обученным преобразователем — сокращенно GPT.

Проще говоря, GPT обрабатывает огромные объемы текста, написанного людьми, а затем пытается сгенерировать текст, неотличимый от текста, написанного людьми, — и все это с минимальным вмешательством или контролем человека.

Когда я брал интервью у разработчика NLP SaaS и писателя Алекса Смечова из The Edge Group, он несколько насмешливо назвал GPT «Автозаполнение на стероидах».

Это, конечно, редуктивно, но верно в фундаментальном смысле…

GPT (и другие модели NLG, управляемые искусственным интеллектом) пытается предсказать, какое слово следует за предыдущим словом, таким образом, чтобы это было неотличимо от того, как люди обычно пишут или говорят.

Темп инноваций с GPT просто захватывал дух…

В феврале 2019 года OpenAI выпустила для публики ограниченную версию GPT-2…

В ноябре 2019 года полная модель GPT-2 NLG стала открытой.

ГПТ-2 произвел настоящий фурор…

Первоначально OpenAI воздерживалась от публикации полной модели, потому что она была потенциально слишком опасной, и открыла исходный код только после того, как заявила, что «не видела убедительных доказательств неправильного использования».

Это еще один пример корпораций, принадлежащих акционерам, таких как Google и Facebook, которые выносят суждения о технологиях, которые могут кардинально изменить наш образ жизни практически без общественного контроля.

Модели NLG становятся «умнее» — или, по крайней мере, лучше имитируют то, как люди говорят и пишут — по крайней мере частично, благодаря количеству параметров, которые им дают инженеры.

Чем больше набор данных и больше параметров, тем точнее становится модель.

GPT-2 был обучен на наборе данных из 8,5 миллионов веб-страниц и имел 1,5 миллиарда параметров…

Чтобы не отставать, Microsoft выпустила Turing Natural Language Generation (T-NLG) в начале 2020 года.

Названная в честь знаменитого ученого Алана Тьюринга модель T-NLG на основе трансформатора использует 17,5 миллиардов параметров — более чем в 10 раз больше GPT-2.

OpenAI выпустила последнюю версию своего API обработки естественного языка (NLP) и генерации естественного языка (NLG) — GPT-3 в июне 2020 года.

Безусловно, самая мощная и передовая технология NLG из когда-либо обнародованных — обученная на 175 миллиардах параметров (в 10 раз больше, чем у T-NLG, выпущенного менее шести месяцев назад) — GPT-3 была встречена с большой помпой…

Откровенно говоря, вся эта шумиха начинает казаться оглушительной.

Если верить Twitter, то скоро без работы могут остаться не только создатели контента…

Являетесь ли вы врачом, юристом или зарабатываете на жизнь написанием кода — GPT-3 подходит именно вам.

Оказывается, даже прибыльная индустрия поэзии может оказаться на плахе…

А как насчет других творческих начинаний?

Вам надоели ваши плейлисты Spotify?

OpenAI Jukebox поможет вам.

Вот небольшая песенка в стиле Дэвида Боуи, сгенерированная искусственным интеллектом:

Боуи не твоя сумка?

Jukebox предоставит вам почти 10 000 сгенерированных искусственным интеллектом «песен», доступных для публики, в стиле исполнителей из 2Pac:

в З-Ро…

В своем стремлении продемонстрировать творческий потенциал ИИ практически не оставляя камня на камне, OpenAI также разработала DALL·E. DALL·E создает замечательные изображения из простых текстовых подсказок.

Вы когда-нибудь задумывались, как будет выглядеть стул, скрещенный с авокадо?

Позвольте DALL·E избавить вас от страданий.

Нужны фотографии «Био автора» для страницы «О нас» вашего партнерского веб-сайта для создания EAT?

Угадайте, что общего у каждого выстрела в голову на картинке выше? Этот человек не существует.

Ясно, что технология OpenAI уже меняет не только создание контента, но и то, как она работает?

Как работает GPT-3?

Генерация естественного языка (NLG) долгое время была одной из конечных целей ИИ и обработки естественного языка (NLP).

Еще в 1966 году, с изобретением Элизы — рудиментарного чат-бота, маскирующегося под терапевта, — машины убедили людей в том, что они могут поддерживать значимые разговоры с людьми.

Совсем недавно технологии NLG, такие как модель Generative Pre-trained Transformer (GPT) OpenAI и Turing Natural Language Generation (T-NLG) от Microsoft, шокировали как экспертов, так и журналистов своей способностью генерировать впечатляющий письменный контент.

Большинство технологий NLG основаны на нейронных сетях — важной части глубокого обучения машинного обучения, которое пытается имитировать человеческий мозг.

Глубокое обучение как решение проблем разработки ИИ впервые начало набирать обороты в 2011 году, когда профессор Стэнфордского университета и ученый-компьютерщик Эндрю Нг стал соучредителем Google Brain.

Фундаментальный принцип глубокого обучения заключается в том, что чем больше наборы данных, из которых учатся модели ИИ, тем мощнее они становятся.

По мере того, как вычислительная мощность и доступные наборы данных (например, вся всемирная паутина) продолжают расти, растут и возможности и интеллект моделей ИИ, таких как GPT-3.

Многие модели глубокого обучения контролируются, то есть они обучаются на массивных наборах данных, помеченных или «помеченных» людьми.

Например, популярный набор данных ImageNet состоит из более чем 14 миллионов изображений, помеченных и классифицированных людьми.

Четырнадцать миллионов изображений могут показаться большим количеством, но это капля в море по сравнению с объемом доступных данных.

Проблема с контролируемыми моделями машинного обучения, обученными на данных, помеченных людьми, заключается в том, что они недостаточно масштабируемы.

Требуется слишком много человеческих усилий, и это значительно снижает способность машины к обучению.

На таких наборах данных обучаются многочисленные контролируемые модели НЛП, многие из которых имеют открытый исходный код.

Один набор данных — или корпус — широко используемый в ранних моделях NLP, состоит из электронных писем от Enron, виновника одного из крупнейших мошенничеств с акционерами в американской истории.

Большая часть того, что делает GPT-3 таким преобразующим, заключается в том, что он может обрабатывать огромные объемы необработанных данных без присмотра, а это означает, что существенное узкое место, требующее, чтобы люди классифицировали текстовый ввод, в основном устранено.

Модели Open AI GPT обучаются на массивных немаркированных наборах данных, таких как:

• BookCorpus, набор данных (больше не общедоступный), состоящий из 11 038 неопубликованных книг 16 различных жанров и 2 500 миллионов слов из текстовых отрывков английской Википедии.

• Данные извлечены из исходящих ссылок из статей на Reddit, получивших большое количество голосов, включая более 8 миллионов документов.
• Common Crawl — открытый ресурс, состоящий из петабайтов данных веб-сканирования, начиная с 2008 года. По оценкам, корпус Common Crawl содержит почти триллион слов.

Вот это большие данные…

Опасны ли GPT-3 и NLG?

Мы живем в эпоху «альтернативных фактов» и «фальшивых новостей» — то, что многие обозреватели называют эпохой постправды.

В среде, где мнения, чувства и теории заговора угрожают подорвать общую объективную реальность, легко представить, как GPT-3 и другие технологии NLG могут быть использованы в качестве оружия…

Злоумышленники могут легко создавать огромное количество дезинформации, в значительной степени неотличимой от контента, написанного людьми, что еще больше отвлекает людей от поддающихся проверке фактов и общей правды.

Многое было сделано из «глубоко поддельных» видео, созданных с использованием ИИ, например, это видео с виртуальной королевой Елизаветой…

Но мы недооцениваем силу письменного слова на свой страх и риск.

Хорошо задокументирована роль технологий NLG, таких как чат-боты в социальных сетях, которые используются враждебными иностранными правительствами для разжигания социальной розни и влияния на выборы в Соединенных Штатах, а также в других западных демократиях.

Поскольку GPT и другие модели NLG становятся все более эффективными в имитации человеческого языка, потенциал использования этой технологии для создания вредоносной дезинформации в масштабе также растет в геометрической прогрессии.

Также очень важно помнить, что, хотя GPT-3 удивительно хорошо угадывает, какое слово следует за предыдущим словом убедительно, он не ограничен фактами и не беспокоится о том, правда ли то, что он говорит…

Вот как Том Симонайт в статье для Wired описал такие недостатки: «GPT-3 может генерировать впечатляюще плавный текст, но он часто оторван от реальности».

Также важно помнить, что GPT-3 и все современные NLG полагаются на «подсказки» от людей. Это очень сложные прогностические модели, но они не могут думать самостоятельно.

«GPT-3 не имеет какой-либо внутренней модели мира или какого-либо мира, поэтому он не может проводить рассуждения, для которых требуется такая модель», — говорит Мелани Митчелл, профессор Института Санта-Фе.

На каждый впечатляющий пример того, как GPT-3 правильно «диагностирует» астму у ребенка, есть соответствующая страшная история о том, как чат-бот GPT-3 побуждает виртуального пациента совершить самоубийство…

В одном из таких эпизодов разговор начался хорошо:

Затем разговор принял значительно более мрачный оборот:

GPT-3 также имеет серьезные проблемы с этикой и предвзятостью…

Джером Писенти, вице-президент по искусственному интеллекту в Facebook и вдумчивый критик глубокого обучения и искусственного интеллекта, опубликовал в Твиттере примеры твитов, сгенерированных GPT-3 при подсказках из одного слова: евреи, чернокожие, женщины и холокост.

Оказывается, GPT-3 более чем способен говорить нетерпимые, жестокие и зачастую непростительные вещи.

Но так же и многие люди…

Учитывая, что модели NLP/NLG, основанные на трансформерах, учатся на онлайн-контенте, созданном несовершенными людьми, разумно ли ожидать от машины более высокого стандарта дискурса?

Возможно, нет, но разрешение GPT-3 публиковать контент без контроля со стороны человека может привести к непредвиденным и крайне нежелательным результатам.

Еще одно пугающее событие, связанное с предвзятостью в ИИ, Google недавно уволил одного из своих ведущих специалистов по этике ИИ Тимнита Гебру.

Сообщается, что Гебру была уволена, по крайней мере, частично из-за ее исследования «рисков, связанных с развертыванием больших языковых моделей, включая влияние их углеродного следа на маргинализированные сообщества и их тенденцию увековечивать оскорбительные выражения, язык ненависти, микроагрессии, стереотипы и другие бесчеловечный язык, направленный на определенные группы людей».

Когда такие компании, как Google и OpenAI, вынуждены сами контролировать вопросы предвзятости и этики ИИ, можем ли мы действительно ожидать, что они поставят такие проблемы выше своих коммерческих интересов?

Поскольку Google уже принимает карательные меры против другого из своих ведущих специалистов по этике ИИ, Маргарет Митчелл, соруководителя (ранее с Гебру) группы по этике ИИ в Google Research, ответ, похоже, отрицательный.

Вот вам и «Не будь злым».

GPT-3 и изменение климата

Еще один часто упускаемый из виду способ, которым GPT-3 — и ИИ в целом — может быть вреден как для людей, так и для планеты, заключается в том, что и то, и другое требует неимоверной тонны вычислений.

По оценкам, для одного сеанса обучения GPT-3 требуется количество энергии, эквивалентное годовому потреблению 126 датских домов, и создается углеродный след, эквивалентный проезду на автомобиле 700 000 километров.

ИИ далеко не главный виновник образования опасных парниковых газов (я смотрю на уголь, коров и автомобили). Но углеродный след технологии ИИ не является незначительным.

«Существует большой толчок к масштабированию машинного обучения для решения все больших и больших проблем с использованием все большей вычислительной мощности и большего количества данных», — говорит Дэн Джурафски, заведующий кафедрой лингвистики и профессор компьютерных наук в Стэнфорде. «Поскольку это происходит, мы должны помнить о том, стоят ли преимущества этих моделей с тяжелыми вычислениями стоимости воздействия на окружающую среду».

Прогнозируется, что рынок технологий NLP вырастет более чем на 750% с 2018 по 2025 год…

Воздействие на окружающую среду моделей NLG, таких как GPT-3 (и его потомков), вероятно, будет расти вместе с ним.

Исследователи ИИ хорошо осведомлены о потенциальном ущербе для окружающей среды и предпринимают шаги для его измерения и уменьшения.

Но, несмотря на все усилия ученых, «экзистенциальная угроза», которую изменение климата представляет для человечества (и планеты), означает, что любое обострение глобального потепления из-за технологии ИИ не должно восприниматься легкомысленно.

GPT-3 и SEO

Контент — это кровь цифрового маркетинга…

Поэтому неудивительно, что многочисленные стартапы NLG нацелены на оптимизаторов.

ИИ уже оказал значительное влияние на то, как писатели создают контент, ориентированный на SEO, — вспомните Surfer и PageOptimizerPro…

Но какие приложения об этом утверждают, что полностью устраняют потребность в писателях?

Или приложение, которое пишет электронные письма, неотличимые от тех, которые вы написали бы самостоятельно?

Легко увидеть привлекательность платформ автоматизации создания контента…

Особенно, если вашей единственной целью при создании контента является привлечение органического поискового трафика, а предоставление ценности вашим читателям не вызывает беспокойства.

Многие такие приложения находятся в стадии бета-тестирования или в списке ожидания, но некоторые из них уже открыты для бизнеса.

Я взял интервью у Пшемека Хоецки — основателя автоматизированного создания контента SaaS Contentyze, чтобы узнать, куда движется технология NLG…

Я также опросила основателя SEO Notebook Стива Тота и Алекса Смечова, разработчика приложений NLP и рассказчика, основанного на данных, чтобы собрать их мысли о потенциальном влиянии NLG на SEO и веб-контент в целом.

Преземек Хоецки

Контентизировать

Интервью с Пшемеком Хоецки — основателем Contentyze*

Что вдохновило вас на создание Contentyze?

Я сам много пишу, и моей первоначальной целью было создать набор алгоритмов, которые сделают мой процесс письма более быстрым и плавным. Это было успешно, поэтому я решил сделать платформу, чтобы другие тоже могли ее использовать.

Кто ваш идеальный целевой клиент?

На данный момент моя целевая аудитория — маркетологи и SEO-специалисты. Эта группа регулярно нуждается в большом количестве контента, и Contentyze может помочь им ускорить процесс. Но в идеале я хочу, чтобы Contentyze был полезен всем, кому нужно написать текст: студентам, офисным работникам, создателям контента. Любой действительно!

Можете ли вы привести пример использования?

В настоящее время наиболее распространенными вариантами использования являются создание сообщения в блоге из заголовка или краткого изложения текста из ссылки.

Первый вариант использования работает следующим образом: вы даете Contentyze подсказку — например, предложение или вопрос, например «Как использовать искусственный интеллект на предприятии?»

Нажмите «Создать», подождите 1-2 минуты и получите черновик текста.

Это не всегда идеально, но всегда уникально. Вы можете повторить этот процесс пару раз с одним и тем же приглашением/заголовком, чтобы получить больше текста.

Затем вы выбираете и выбираете, и вуаля, у вас есть текст в вашем блоге.

С каким контентом Contentyze «хорош»?

Сейчас Contentyze действительно хорошо умеет обобщать тексты.

Он также относительно хорош в генерации текстов, но пока не так последователен, как хотелось бы.

С каким контентом Contentyze не так хорош?

Функция перезаписи все еще нуждается в большой работе, чтобы сделать ее хорошей.

Мы уже позволяем людям переписывать тексты, но я не доволен тем, как это работает сейчас.

Сделать хороший рерайт довольно сложно, если вы не хотите делать простое вращение контента (заходя в тезаурус и меняя прилагательные на что-то близкое).

Видите ли вы в настоящее время Contentyze, дополняющий работу человека-писателя/редактора или полностью заменяющий их?

Определенно дополняет работу человека-писателя. Моя конечная цель — создать идеального помощника по письму, который поможет вам написать что угодно на любом этапе процесса письма: от идеи до черновика и редактирования.

Возможно, в процессе работы некоторые копирайтеры будут заменены, но это не моя цель.

Я попробовал Contentyze и заметил несколько вещей. Он (как и ожидалось) работает лучше с коротким контентом, таким как обзоры продуктов и т. д. Как вы думаете, Contentyze станет лучше с более длинным контентом в ближайшем будущем? Почему?

Он лучше справляется с коротким контентом из-за нашей ограниченной вычислительной мощности в настоящее время. Это полностью техническая проблема, над которой мы сейчас работаем. Чем длиннее текст, тем больше вычислительной мощности вам потребуется для его обработки.

Когда я попросил Contentyze «переписать» недавнюю статью на SEOButler о том, что Apple потенциально разрабатывает поисковую систему, чтобы конкурировать с Google, первое предложение имело смысл:

Поисковая система Google может оказаться под угрозой со стороны нового конкурента в ближайшие несколько лет .

Но это следующие фразы:

Чем дальше в рерайт, тем больше предложений, совершенно не связанных с исходной статьей:

Если вы ищете новую песню для прослушивания или новый альбом для покупки, есть множество мест, где вы можете это найти.

Если вы хотите найти лучшую музыку в мире, теперь вы можете найти ее в Интернете.

А также утверждения, которые совершенно неверны:

Последнее обновление поисковой системы Google — долгожданный шаг вперед для поискового гиганта, который долгое время отставал от конкурентов, таких как Microsoft и Apple.

Как вы видите, что ваш конечный пользователь работает с такими результатами?

Как я уже сказал, функция перезаписи сейчас является худшей из работающих функций. Вы не получите таких вещей с параметрами «Сводка».

У меня были аналогичные результаты при использовании подсказок для создания нового контента. Считаете ли вы, что Contentyze используется как инструмент мозгового штурма для писателей-людей, а не как готовый к публикации контент на данном этапе его эволюции?

Да, я не ожидаю, что на данном этапе люди будут использовать его непосредственно на производственном уровне.

С другой стороны, действительно полезно быстро набросать текст, чтобы редактор-человек мог просмотреть его, внести необходимые изменения для обеспечения качества и опубликовать.

Я ожидаю, что Contentyze в итоге сможет выполнить 80% работы по написанию, а остальное сделает писатель-человек.

Я вижу, как Contentyze и другие стартапы NLG продают свои приложения SaaS напрямую специалистам по поисковой оптимизации и аффилированным маркетологам. Почему?

На самом деле, это очень естественно — эта аудитория регулярно нуждается в контенте, поэтому они активно ищут инструменты, которые могут им помочь. Contentyze вырос до более чем 3000 пользователей с небольшим маркетингом, почти исключительно обнаруживаясь органически.

Считаете ли вы, что в долгосрочной перспективе есть какая-то опасность в том, что люди используют такие приложения, как Contentyze, для создания огромного количества контента, предназначенного исключительно для SEO, без особого внимания к доставке ценности читателю? Если это или что-то подобное произойдет, как вы думаете, Google изменит свой алгоритм поиска, чтобы обнаруживать и наказывать контент, созданный ИИ?

Определенно, именно поэтому OpenAI, создатели GPT2/GPT3, ввели строгие правила для контроля за использованием своих алгоритмов. Это особенно верно в отношении GPT3 и всего процесса его применения.

Я думаю, нам нужно быть осторожными, когда мы движемся вперед, потому что такого рода технологии могут быть легко использованы для «спама» в Интернете, не принося никакой ценности.

Вся игра SEO определенно изменится. Google будет корректировать свои алгоритмы, как уже делал это много раз, но трудно предсказать, что произойдет.

Я делаю ставку на то, что в ближайшие 3-5 лет контент, созданный ИИ, будет неотличим от контента, написанного человеком, поэтому Google придется изобрести что-то еще, если они хотят наказывать контент, созданный ИИ.

В любом случае, я бы не делал различий между человеческим и ИИ-контентом. Мы должны только спрашивать, представляет ли данный фрагмент контента ценность или нет, независимо от того, кто или что его создало.

Любые другие мысли, которыми вы хотели бы поделиться?

Спасибо за интервью, и, пожалуйста, посетите нас на contentyze.com — регистрация бесплатна (кредитная карта не требуется), так что вы можете попробовать!

Мы очень ценим обратную связь и хотим сделать наш инструмент как можно лучше, чтобы люди в маркетинговом пространстве могли сделать свою работу более эффективной.

Стив Тот

SEOБлокнот

Интервью со Стивом Тотом — основателем SEO Notebook*

С момента запуска SEO Notebook в 2018 году он стал обязательным для SEO-специалистов информационным бюллетенем для одного оператора.

Нам посчастливилось, что Стив участвовал в последних трех обзорах экспертов SEOButler, и я переписывался с ним по электронной почте в течение нескольких лет.

Я также имел удовольствие встретиться со Стивом на выставке SEO 2019 в Чиангмае. Поэтому, когда я увидел, как он публикует в группе Facebook Affiliate SEO Mastermind информацию о тестировании контента, сгенерированного GPT-3, для SEO-клиента, мне пришлось обратиться к его мыслям…

Как, по вашему мнению, GPT-3 и другие технологии NLG повлияют на SEO в ближайшие несколько лет?

Я думаю, что это подорвет доверие пользователей к Google. Я думаю, что люди перейдут к тому, чтобы просить своих друзей порекомендовать еще больше.

Как вы используете GPT-3 для создания вспомогательного контента для SEO?

С осторожностью. У меня есть один клиент, который хочет это сделать. Так что я направляю их, но этот проект повлияет на то, насколько я буду его использовать в будущем.

Насколько важным для вас является удобство чтения при использовании контента, сгенерированного GPT-3?

Огромный. Вот почему я не думаю, что буду слишком сильно продвигать GPT-3.

GPT-3 можно использовать вне страницы, но он точно не заменит копирайтинг.

Есть ли какие-либо типы контента (например, обзоры продуктов для партнерского сайта), где вы видите, что NLG заменит людей-писателей в ближайшем будущем?

Люди могут создавать целые партнерские сайты с контентом GPT-3, а затем ждать, чтобы увидеть, что ранжируется, и позже улучшить копию. Я вижу это как основной вариант использования.

Алекс Смечов

Скрибер.ио

Интервью с Алексом Смечовым — основателем Skriber.io и разработчиком NLP SaaS*

Помимо участия в блоге SEOButler и консультанта по информационным бюллетеням The Edge Group, Алекс также является основателем и разработчиком приложений NLP SaaS Extractor и Skriber.

Видите ли вы, что GPT-3 или другие технологии NLG заменят авторов и редакторов для определенных типов контента в ближайшем будущем?

Я сосредоточусь на журналистской стороне.

Уже существует программное обеспечение, не связанное с искусственным интеллектом, которое создает небольшие статьи, основанные на фактах.

Одним из примеров является Automated Insights и то, как они пишут освещение баскетбола NCAA и тому подобное.

Я думаю, что если вы объедините NLG с генерацией текста на основе шаблонов, вы сможете создавать несколько более важные/длинные истории или объединять части других историй.

Но что касается более серьезной журналистики, я вижу, что ИИ только помогает редакции, а не заменяет ее.

Даже с GPT-3 или другими большими моделями естественного языка получение хорошего предложения или абзаца похоже на рулетку, вдобавок к необходимости проверки фактов.

Это было бы больше работы, чем если бы журналист написал статью.

Видите ли вы, что NLG увеличит роль создателей контента в ближайшем будущем? Если да, то как?

Конечно, для создания альтернатив уже написанным предложениям/абзацам, обобщения или, как упоминалось выше, агрегирования контента из нескольких источников (например, для сводки новостей, которую, вероятно, все равно придется редактировать).

Каковы ваши 3 самые большие проблемы с распространением технологии NLG, такой как GPT-3 и другие?

Этот NLG наполняет Интернет:

• Бесполезный мусор
• Раздутый SEO-контент
• Контент, который выглядит ужасно похожим на все остальное.

Не то чтобы этот материал уже не встречается в Интернете… <smiley emoji>

Могу ли я уже уволить своих авторов и редакторов?

Вот краткий ответ: нет.

ИИ доказал, что он равен или превосходит людей в узких, конкретных задачах — от победы над величайшими в мире игроками в шахматы и го до обнаружения рака.

Но хотя NLG все лучше и лучше имитирует естественный язык, ему еще предстоит пройти долгий путь, прежде чем он заменит опытных писателей и редакторов.

Даже самый сложный NLG полагается на «подсказки» от людей, не говоря уже об интенсивном редактировании и проверке фактов…

Творчество — особенно в том, что касается выдвижения оригинальных идей и создания уникальных связей между разрозненными источниками информации и вдохновения — не входит в репертуар GPT-3.

GPT-3 может имитировать текст, описывающий мир, эмоции и переживания, но не имеет собственного текста.

Вот что по этому поводу говорит сам GPT-3…

Подожди, давай еще раз спросим…

Конечно, вы можете продолжать бросать кости GPT-3 (я предпочитаю думать об этом как о русской рулетке), отбирать лучшие кусочки, а затем сшивать их во что-то лучшее, чем контентный эквивалент монстра Франкенштейна.

Предпочтительно лоскутное одеяло с последовательной точкой зрения, которая действительно привлекает вашу аудиторию.

Тогда Франкенштейну потребуется тщательная проверка фактов.

Обратите внимание, что даже самое первое предложение во втором примере — это словесный салат из мусора.

Алан Тьюринг мертв уже 66 лет — сомнительно, что он приобретает «стартапы по написанию веб-страниц».

Или это отсылка к Turing NLG от Microsoft? В любом случае, это определенно не купило компанию и не вывело GPT-3 на свет.

Вы могли бы сделать все это — или вы могли бы просто нанять писателя.

GPT-3 и его потомки — или любая другая модель NLG — должны стать намного умнее, прежде чем они заменят писателей и редакторов.

И намного больше человеческого.

Искусственный общий интеллект (AGI) — больше человек, чем человек?

NLP и NLG могут (а могут и не оказаться) решающими шагами на пути к общему искусственному интеллекту (AGI).

Машины с искусственным интеллектом, долгое время считавшиеся священным Граалем ИИ, — это те, кого вы видите в фильмах — «роботы», которые могут делать все то же, что и человек, или даже лучше.

OpenAI, безусловно, нацелен на создание AGI. Объявляя об инвестициях Microsoft в OpenAI на сумму 1 миллиард долларов, компания определила это следующим образом:

«ИИУ будет системой, способной освоить область исследования до уровня мирового эксперта и освоить больше областей, чем любой человек, — как инструмент, сочетающий в себе навыки Кюри, Тьюринга и Баха.

ОИИ, работающий над проблемой, сможет увидеть связи между дисциплинами, которые не сможет увидеть ни один человек. Мы хотим, чтобы AGI работала с людьми для решения неразрешимых в настоящее время междисциплинарных проблем, включая глобальные проблемы, такие как изменение климата, доступное и качественное здравоохранение и персонализированное образование.

Мы думаем, что его влияние должно заключаться в том, чтобы дать каждому экономическую свободу заниматься тем, что он считает наиболее полезным, создавая новые возможности для всей нашей жизни, которые сегодня невообразимы».

Звучит как утопия, правда?

Но хорошо ли это?

Исторически утопия просто не сбылась:

«Когда несовершенные люди пытаются совершенствоваться — личном, политическом, экономическом и социальном — они терпят неудачу. Таким образом, темным зеркалом утопий являются антиутопии — неудачные социальные эксперименты, репрессивные политические режимы и властные экономические системы, являющиеся результатом претворения в жизнь утопических мечтаний». — Майкл Шермер

Вот что GPT-3 сказал о достижении AGI:

Это может быть просто принятие желаемого за действительное, GPT-3, но на этот раз я склонен согласиться.

Дополнение писателей, а не их замена

GPT-3, возможно, снова ошибается в последнем предложении приведенного выше примера…

Когда дело доходит до NLP, NLG и даже поиска AGI, наблюдается значительный прогресс.

И темпы инноваций вряд ли замедлятся в ближайшее время.

Less than a month into 2021, the Google Brain team announced a new transformer-based AI language model that dwarfs GPT-3 when measured by the number of parameters.

Google's Switch Transformer is trained on 1 trillion parameters — roughly 6 times as many as GPT-3.

Little is known about potential applications for the Switch Transformer model at the time of writing, but the NLP arms-race shows no signs of abating.

Maybe the day will come when machines replace human writers and editors, but I'm not holding my breath.

As Tristan Greene, AI editor for The Next Web, says about Switch Transformer:

“While these incredible AI models exist at the cutting-edge of machine learning technology, it's important to remember that they're essentially just performing parlor tricks.

These systems don't understand language, they're just fine-tuned to make it look like they do.”

At this point, I'm sure it's clear that I have a dog in this fight.

As objective as I've tried to be in writing this article, I do have a vested interest in human content creators remaining relevant and superior to machines.

But that doesn't mean I don't see how NLP and NLG technology can make me better at what I do.

In truth, AI has been augmenting my writing and editing for years…

I use Rev to auto-transcribe audio and video interviews. I also use it to create transcripts of SEOButler founder Jonathan Kiekbusch and Jarod Spiewak's Value Added Podcast to help me write the show notes more quickly and accurately.

And Grammarly is a powerful tool for even the most diligent editor or proofreader.

As GPT-3 and other advanced NLP models become more accurate and “trustworthy,” their potential ability to summarize long-form content — particularly academic research papers — could prove extremely valuable.

Suppose the future I have to look forward to is one where AI eliminates some of the drudgery of creating SEO-driven content — and I have to edit and polish informational content partly composed by machines instead of writers.

I guess I can live with that…

I may not have a choice.

*Each Q&A has been edited and condensed for clarity.