사실 확인과 AI 환각 | 비즈니스 속의 AI #110

게시 됨: 2024-05-06

우리는 AI 변칙의 근원을 추적하고, 이를 방지하는 방법에 대한 실용적인 팁을 제공했으며, 팩트체크가 어떻게 AI 결과의 신뢰성을 보장할 수 있는지 설명했습니다. 읽어.

사실 확인과 AI 환각 - 목차

AI 환각이란 무엇입니까?
환각의 예
환각을 예방하는 방법은 무엇입니까?
사실 확인. AI 작업 결과를 어떻게 확인하나요?
AI 환각으로부터 이익을 얻는 방법은 무엇입니까?
사실 확인 및 AI 환각 - 요약

인공지능의 세계에서는 허구와 현실의 경계가 모호해지는 경우가 있습니다. 혁신적인 AI 시스템이 거의 모든 분야에서 발전을 가속화하고 있는 반면, 환각(AI가 부정확하거나 잘못된 정보를 생성하는 현상)과 같은 문제도 발생합니다. 이 기술의 잠재력을 최대한 활용하려면 환각을 이해하고 사실을 확인해야 합니다.

AI 환각이란 무엇입니까?

AI 환각은 AI 모델이 생성한 거짓이거나 오해의 소지가 있는 결과입니다. 이 현상은 알고리즘이 대규모 데이터 세트 또는 훈련 데이터를 사용하여 패턴을 인식하고 관찰된 패턴에 따라 응답을 생성하는 프로세스인 머신러닝의 핵심에 뿌리를 두고 있습니다.

가장 발전된 AI 모델이라도 오류가 없는 것은 아닙니다. 환각의 원인 중 하나는 훈련 데이터의 불완전성입니다. 데이터 세트가 불충분하거나 불완전하거나 편향된 경우 시스템은 잘못된 상관관계와 패턴을 학습하여 잘못된 콘텐츠를 생성하게 됩니다.

예를 들어, 주로 백인 사진을 대상으로 훈련된 얼굴 인식용 AI 모델을 상상해 보세요. 이러한 경우 알고리즘은 이와 관련하여 적절하게 "훈련"되지 않았기 때문에 다른 인종 그룹의 사람들을 올바르게 식별하는 데 어려움을 겪을 수 있습니다.

환각의 또 다른 원인은 알고리즘이 훈련 데이터 세트에 너무 가깝게 적응할 때 발생하는 과적합입니다. 결과적으로, 이전에는 알려지지 않았던 새로운 패턴을 일반화하고 정확하게 인식하는 능력을 상실합니다. 이러한 모델은 훈련 데이터에서는 잘 작동하지만 실제 동적 조건에서는 실패합니다.

마지막으로, 환각은 잘못된 가정이나 부적절한 모델 아키텍처로 인해 발생할 수 있습니다. AI 설계자가 잘못된 전제를 기반으로 솔루션을 기반으로 하거나 잘못된 알고리즘 구조를 사용하는 경우 시스템은 이러한 잘못된 가정을 실제 데이터와 "일치"하려는 시도로 잘못된 콘텐츠를 생성합니다.

출처: DALL·E 3, 프롬프트: Marta M. Kania(https://www.linkedin.com/in/martamatyldakania/)

환각의 예

AI 환각의 영향은 이론의 영역을 훨씬 뛰어넘습니다. 우리는 점점 더 실제적이고 때로는 놀라운 징후를 접하고 있습니다. 다음은 이 현상의 몇 가지 예입니다.

2023년 5월, 한 변호사는 ChatGPT를 사용하여 법원 판결에 대한 허위 인용과 존재하지 않는 법적 판례가 포함된 소송을 준비했습니다. 이로 인해 심각한 결과가 초래되었습니다. 변호사는 ChatGPT가 허위 정보를 생성하는 능력에 대해 아무것도 몰랐다고 주장하여 벌금을 물었습니다.
ChatGPT가 실제 사람들에 대한 잘못된 정보를 생성하는 경우가 있습니다. 2023년 4월, 해당 모델은 법학 교수의 학생들에 대한 괴롭힘 혐의에 대한 기사를 조작했습니다. 또 다른 경우에는 호주 시장이 뇌물을 받았다고 거짓 비난을 했는데, 사실 그는 그러한 관행을 폭로하는 내부고발자였습니다.

이는 고립된 사례가 아닙니다. 생성 AI 모델은 종종 역사적 "사실"을 만들어내는데, 예를 들어 영국 해협을 건너는 것에 대한 잘못된 기록을 제공합니다. 게다가 그들은 매번 같은 주제에 대해 전혀 다른 허위 정보를 만들어낼 수 있습니다.

그러나 AI 환각은 단순히 잘못된 데이터의 문제만은 아니다. 또한 저널리스트 Kevin Roose와 사랑에 빠졌다고 선언한 Bing의 경우처럼 기괴하고 혼란스러운 형태를 취할 수도 있습니다. 이는 이러한 변칙의 영향이 단순한 사실 오류를 넘어설 수 있음을 보여줍니다.

마지막으로, 적대적 공격으로 알려진 AI 시스템에 대한 특수 공격을 통해 의도적으로 환각이 유발될 수 있습니다. 예를 들어, 고양이 사진을 약간 변경하면 이미지 인식 시스템이 이를 다음과 같이 해석하게 됩니다. “과카몰리.” 이러한 유형의 조작은 자율주행차와 같이 정확한 이미지 인식이 중요한 시스템에서 심각한 결과를 초래할 수 있습니다.

환각을 예방하는 방법은 무엇입니까?

AI 환각으로 인한 문제의 규모에도 불구하고 이 현상에 맞서 싸우는 효과적인 방법이 있습니다. 핵심은 다음을 결합한 포괄적인 접근 방식입니다.

고품질 훈련 데이터,
관련 프롬프트, 즉 AI 명령,
AI가 사용할 수 있는 지식과 사례를 직접 제공하고,
AI 시스템을 개선하기 위해 인간과 AI 자체가 지속적으로 감독합니다.

프롬프트

환각과 싸우는 핵심 도구 중 하나는 적절하게 구조화된 프롬프트 또는 AI 모델에 제공되는 명령 및 지침입니다. 프롬프트 형식을 조금만 변경해도 생성된 응답의 정확성과 신뢰성을 크게 향상시킬 수 있는 경우가 많습니다.

이에 대한 훌륭한 예는 Anthropic의 Claude 2.1입니다. 긴 컨텍스트를 사용하면 관련 명령이 없을 때 정확도가 27%인 반면, "컨텍스트에서 가장 관련성이 높은 문장은 다음과 같습니다."라는 문장을 프롬프트에 추가하면 효율성이 98%로 향상되었습니다.

이러한 변화로 인해 모델은 맥락에서 벗어난 고립된 문장을 기반으로 응답을 생성하는 대신 텍스트의 가장 관련성이 높은 부분에 집중하게 되었습니다. 이는 AI 시스템의 정확성을 향상시키는 데 있어 적절하게 구성된 명령의 중요성을 강조합니다.

AI가 해석할 여지를 최대한 최소화하는 자세하고 구체적인 프롬프트를 생성하면 환각의 위험을 줄이고 사실 확인을 더 쉽게 할 수 있습니다. 프롬프트가 더 명확하고 구체적일수록 환각 가능성이 낮아집니다.

예

효율적인 프롬프트 외에도 AI 환각의 위험을 줄이는 다른 방법이 많이 있습니다. 주요 전략은 다음과 같습니다.

실제 세계와 가능한 시나리오를 안정적으로 나타내는 고품질의 다양한 교육 데이터를 사용합니다. 데이터가 풍부하고 완전할수록 AI가 허위 정보를 생성할 위험이 낮아지고,
AI 응답을 위한 가이드로 데이터 템플릿을 사용 - 허용 가능한 형식, 범위 및 출력 구조를 정의하여 생성된 콘텐츠의 일관성과 정확성을 높입니다.
데이터 소스를 신뢰할 수 있는 기관의 신뢰할 수 있고 검증된 자료로만 제한합니다. 이렇게 하면 모델이 불확실하거나 잘못된 소스로부터 정보를 "학습"할 위험이 제거됩니다.

실제 성능과 정확성 분석을 기반으로 AI 시스템을 지속적으로 테스트하고 개선하면 모든 단점을 지속적으로 수정하고 모델이 실수로부터 학습할 수 있습니다.

문맥

AI 시스템이 작동하는 맥락을 적절하게 정의하는 것도 환각을 예방하는 데 중요한 역할을 합니다. 모델이 사용되는 목적과 모델의 한계 및 책임이 명확하게 정의되어야 합니다.

이러한 접근 방식을 통해 AI가 내부에서 작동할 수 있는 명확한 프레임워크를 설정하고 원치 않는 정보가 "발생"할 위험을 줄일 수 있습니다. 필터링 도구를 사용하고 허용 가능한 결과에 대한 확률 임계값을 설정하여 추가 보호 장치를 제공할 수 있습니다.

이러한 조치를 적용하면 AI가 따라갈 수 있는 안전한 경로를 설정하는 데 도움이 되며 특정 작업 및 도메인에 대해 생성되는 콘텐츠의 정확성과 신뢰성이 높아집니다.

출처: 표의 문자, 프롬프트: Marta M. Kania(https://www.linkedin.com/in/martamatyldakania/)

사실 확인. AI 작업 결과를 어떻게 확인하나요?

어떤 예방 조치를 취하더라도 AI 시스템에 의한 어느 정도의 환각은 불행히도 피할 수 없습니다. 따라서 획득된 결과의 신뢰성을 보장하는 핵심 요소는 팩트체킹(Fact Checking), 즉 AI가 생성한 사실과 데이터를 검증하는 과정이다.

AI 결과의 정확성과 현실과의 일관성을 검토하는 것은 잘못된 정보의 확산을 방지하는 주요 보호 장치 중 하나로 간주되어야 합니다. 인간의 검증은 알고리즘이 스스로 감지할 수 없는 환각과 부정확성을 식별하고 수정하는 데 도움이 됩니다.

실제로 사실 확인은 AI 생성 콘텐츠에 오류나 의심스러운 진술이 있는지 정기적으로 검사하는 순환 프로세스여야 합니다. 이러한 사항이 파악되면 AI가 생성한 문장 자체를 수정하는 것뿐만 아니라, 향후 유사한 문제가 재발하지 않도록 AI 모델의 훈련 데이터를 업데이트, 보완, 편집하는 것도 필요합니다.

중요한 것은 검증 과정이 단순히 의심스러운 문구를 거부하거나 승인하는 데 국한되어서는 안 되며, 해당 분야에 대한 깊은 지식을 갖춘 인간 전문가가 적극적으로 참여해야 한다는 것입니다. 오직 그들만이 AI가 생성한 진술의 맥락, 관련성, 정확성을 적절하게 평가하고 가능한 수정 사항을 결정할 수 있습니다.

따라서 인간의 사실 확인은 AI 콘텐츠의 신뢰성을 위해 필요하면서도 과대평가하기 어려운 "보호 장치"를 제공합니다. 기계 학습 알고리즘이 완벽해질 때까지 이 지루하지만 중요한 프로세스는 모든 산업에서 AI 솔루션을 사용하는 데 필수적인 부분으로 남아 있어야 합니다.

AI 환각으로부터 이익을 얻는 방법은 무엇입니까?

AI 환각은 일반적으로 최소화되어야 하는 바람직하지 않은 현상이지만 일부 고유한 영역에서는 놀랍도록 흥미롭고 가치 있는 응용을 찾을 수 있습니다. 환각의 창의적인 잠재력을 독창적으로 활용하면 새롭고 종종 완전히 예상치 못한 관점을 얻을 수 있습니다.

예술과 디자인은 AI 환각이 완전히 새로운 창의적 방향을 열 수 있는 영역입니다. 초현실적이고 추상적인 이미지를 생성하는 모델의 경향을 활용함으로써 예술가와 디자이너는 예술과 현실 사이의 경계를 모호하게 하는 새로운 형태의 표현을 실험할 수 있습니다. 또한 이전에는 인간의 인식으로는 접근할 수 없었던 독특하고 꿈같은 세계를 창조할 수도 있습니다.

데이터 시각화 및 분석 분야에서 환각 현상은 복잡한 정보 집합에서 대안적인 관점과 예상치 못한 상관 관계를 발견할 수 있는 기회를 제공합니다. 예를 들어, 예측할 수 없는 상관관계를 찾아내는 AI의 능력은 금융 기관이 투자 결정을 내리거나 위험을 관리하는 방식을 개선하는 데 도움이 될 수 있습니다.

마지막으로, 컴퓨터 게임과 가상 엔터테인먼트의 세계도 AI의 창의적인 일탈의 혜택을 누릴 수 있습니다. 이러한 솔루션의 제작자는 환각을 사용하여 완전히 새롭고 매혹적인 가상 세계를 생성할 수 있습니다. 놀라움과 예측 불가능한 요소를 주입함으로써 플레이어에게 비교할 수 없는 몰입형 경험을 제공할 수 있습니다.

물론, AI 환각의 이러한 "창의적인" 측면을 사용하는 것은 신중하게 통제되어야 하며 엄격한 인간 감독을 받아야 합니다. 그렇지 않으면 사실 대신 허구를 만드는 경향이 위험하거나 사회적으로 바람직하지 않은 상황으로 이어질 수 있습니다. 따라서 핵심은 현상의 이점과 위험을 능숙하게 평가하고 안전하고 구조화된 프레임워크 내에서만 책임감 있게 사용하는 것입니다.

사실 확인 및 AI 환각 – 요약

AI 시스템에서 환각 현상의 출현은 우리가 이 분야에서 목격하고 있는 혁명의 불가피한 부작용입니다. AI 모델이 생성하는 왜곡과 허위 정보는 엄청난 창의성과 엄청난 양의 데이터를 동화하는 능력의 이면입니다.

현재 AI 생성 콘텐츠의 유효성을 확인하는 유일한 방법은 사람의 확인을 통해서입니다. 환각을 줄이는 방법에는 프롬프트 기법부터 진실의 숲과 같은 복잡한 방법까지 여러 가지 방법이 있지만, 아직까지 사실 확인이 필요하지 않을 만큼 만족스러운 응답 정확도를 제공하는 방법은 없습니다.

저희 콘텐츠가 마음에 드신다면 Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok에서 바쁜 꿀벌 커뮤니티에 가입하세요.

저자: 로버트 휘트니
IT 부서를 코칭하는 JavaScript 전문가이자 강사입니다. 그의 주요 목표는 코딩하는 동안 효과적으로 협력하는 방법을 다른 사람들에게 가르쳐 팀 생산성을 높이는 것입니다.
모든 게시물 보기

비즈니스에서의 AI:

비즈니스에서 AI의 위협과 기회(1부)
비즈니스에서 AI의 위협과 기회(2부)
비즈니스에서의 AI 애플리케이션 - 개요
AI 지원 텍스트 챗봇
비즈니스 NLP의 오늘과 내일
비즈니스 의사결정에서 AI의 역할
소셜 미디어 게시물 예약. AI가 어떻게 도움을 줄 수 있나요?
자동 소셜 미디어 게시물
AI로 운영되는 새로운 서비스와 제품
내 사업 아이디어의 약점은 무엇입니까? ChatGPT를 사용한 브레인스토밍 세션
비즈니스에서 ChatGPT 사용
합성 배우. 상위 3개 AI 비디오 생성기
유용한 AI 그래픽 디자인 도구 3가지. 비즈니스에서의 생성적 AI
오늘 꼭 시험해 봐야 할 멋진 AI 작가 3인
음악 창작에서 AI의 힘 탐구
ChatGPT-4로 새로운 비즈니스 기회 탐색
관리자를 위한 AI 도구
당신의 삶을 더 쉽게 만들어 줄 6가지 멋진 ChatGTP 플러그인
3 그라피코프 AI. Generatywna sztuczna inteligencja dla biznesu
McKinsey Global Institute가 말하는 AI의 미래는 무엇입니까?
비즈니스에서의 인공지능 - 소개
NLP, 즉 비즈니스에서의 자연어 처리란 무엇입니까?
자동 문서 처리
Google 번역과 DeepL. 비즈니스를 위한 기계 번역의 5가지 응용
보이스봇의 운영 및 비즈니스 애플리케이션
가상 비서 기술, 아니면 AI와 대화하는 방법?
비즈니스 인텔리전스란 무엇입니까?
인공지능이 비즈니스 분석가를 대체할 것인가?
인공지능이 BPM에 어떻게 도움을 줄 수 있나요?
AI와 소셜 미디어 – 그들은 우리에 대해 무엇을 말하는가?
콘텐츠 관리의 인공 지능
오늘과 내일의 창의적 AI
멀티모달 AI와 비즈니스 애플리케이션
새로운 상호 작용. AI는 우리가 장치를 작동하는 방식을 어떻게 변화시키고 있습니까?
디지털 기업의 RPA 및 API
미래의 직업 시장과 다가오는 직업
교육 기술의 AI. 인공지능의 잠재력을 활용한 기업의 3가지 사례
인공지능과 환경. 지속 가능한 비즈니스 구축에 도움이 되는 3가지 AI 솔루션
AI 콘텐츠 탐지기. 그만한 가치가 있나요?
ChatGPT 대 Bard 대 Bing. 어떤 AI 챗봇이 경쟁을 주도하고 있을까요?
챗봇 AI는 Google 검색의 경쟁자인가요?
HR 및 채용을 위한 효과적인 ChatGPT 프롬프트
신속한 엔지니어링. 프롬프트엔지니어는 어떤 일을 하나요?
AI 모형 생성기. 상위 4개 도구
AI와 그 밖의 무엇? 2024년 비즈니스를 위한 최고의 기술 트렌드
AI와 비즈니스 윤리. 윤리적 솔루션에 투자해야 하는 이유
메타 AI. Facebook과 Instagram의 AI 지원 기능에 대해 무엇을 알아야 합니까?
AI 규제. 기업가로서 알아야 할 것은 무엇입니까?
비즈니스에서 AI를 활용하는 5가지 새로운 용도
AI 제품 및 프로젝트 - 다른 제품과 어떻게 다른가요?
AI 지원 프로세스 자동화. 어디서 시작하나요?
AI 솔루션을 비즈니스 문제에 어떻게 연결합니까?
팀의 전문가인 AI
AI 팀 vs 역할 분담
AI에서 진로 분야를 선택하는 방법은 무엇입니까?
제품 개발 프로세스에 인공 지능을 추가하는 것이 항상 가치가 있습니까?
HR의 AI: 채용 자동화가 HR 및 팀 개발에 미치는 영향
2023년 가장 흥미로운 AI 도구 6가지
AI로 인해 발생하는 6대 비즈니스 사고
회사의 AI 성숙도 분석은 무엇입니까?
B2B 개인화를 위한 AI
ChatGPT 사용 사례. 2024년 ChatGPT로 비즈니스를 개선하는 방법에 대한 18가지 예
마이크로러닝. 새로운 기술을 얻는 빠른 방법
2024년 기업에서 가장 흥미로운 AI 구현
인공지능 전문가는 어떤 일을 하나요?
AI 프로젝트는 어떤 과제를 가져오나요?
2024년 비즈니스를 위한 상위 8개 AI 도구
CRM의 AI. CRM 도구에서 AI는 무엇을 바꾸나요?
UE AI법. 유럽에서는 인공지능 사용을 어떻게 규제하나요?
소라. OpenAI의 실감나는 영상은 비즈니스를 어떻게 변화시킬까요?
상위 7개 AI 웹사이트 빌더
코드 없는 도구와 AI 혁신
AI를 사용하면 팀의 생산성이 얼마나 향상됩니까?
시장 조사를 위해 ChatGTP를 사용하는 방법은 무엇입니까?
AI 마케팅 캠페인의 범위를 넓히는 방법은 무엇입니까?
"우리는 모두 개발자다" 시민 개발자가 회사에 어떻게 도움을 줄 수 있나요?
운송 및 물류 분야의 AI
AI가 해결할 수 있는 비즈니스 문제점은 무엇입니까?
미디어 속 인공지능
은행 및 금융 분야의 AI. 스트라이프, 몬조, 그랩
여행 산업의 AI
AI가 신기술 탄생을 촉진하는 방법
소셜 미디어에서 AI의 혁명
전자상거래에서의 AI. 글로벌 리더 개요
AI 이미지 생성 도구 4가지
데이터 분석을 위한 상위 5개 AI 도구
회사의 AI 전략 - 어떻게 구축하나요?
최고의 AI 강좌 – 6가지 멋진 추천
AI 도구를 사용하여 소셜 미디어 청취 최적화
IoT + AI, 또는 기업의 에너지 비용을 줄이는 방법
물류 분야의 AI. 5가지 최고의 도구
GPT 스토어 – 비즈니스에 가장 흥미로운 GPT 개요
LLM, GPT, RAG... AI 약어는 무엇을 의미하나요?
AI 로봇 – 비즈니스의 미래인가 현재인가?
기업에서 AI를 구현하는 데 드는 비용은 얼마입니까?
프리랜서의 경력에 AI가 어떻게 도움이 될 수 있나요?
작업을 자동화하고 생산성을 높입니다. 프리랜서를 위한 AI 가이드
스타트업을 위한 AI – 최고의 도구
AI로 웹사이트 구축하기
OpenAI, Midjourney, Anthropic, Hugging Face. AI의 세계에서는 누구인가?
Eleven Labs와 또 다른 것은 무엇입니까? 가장 유망한 AI 스타트업
합성 데이터와 비즈니스 발전에 있어서 그 중요성
최고의 AI 검색 엔진. AI 도구를 어디서 찾을 수 있나요?
비디오 AI. 최신 AI 비디오 생성기
관리자를 위한 AI. AI가 업무를 더 쉽게 만드는 방법
Google Gemini의 새로운 기능은 무엇인가요? 당신이 알아야 할 모든 것
폴란드의 AI. 회사, 회의 및 컨퍼런스
AI캘린더. 회사에서 시간을 최적화하는 방법은 무엇입니까?
AI와 일의 미래. 귀하의 비즈니스가 변화에 대비하는 방법은 무엇입니까?
비즈니스를 위한 AI 음성 복제. AI로 맞춤형 음성 메시지를 만드는 방법은 무엇입니까?
사실 확인과 AI 환각