효과적인 학습: AI의 가까운 미래
게시 됨: 2017-11-09이러한 효과적인 학습 기술은 새로운 딥 러닝/머신 러닝 기술이 아니라 기존 기술을 해킹으로 보강합니다.
AI의 궁극적인 미래는 인간의 지능에 도달하고 이를 능가하는 것이라는 데는 의심의 여지가 없습니다. 그러나 이것은 달성하기 어려운 업적입니다. 우리 중 가장 낙관적인 사람들조차도 인간 수준의 AI(AGI 또는 ASI)가 지금부터 10-15년이 될 것이라고 내기를 하고 회의론자들은 가능하다면 수백 년이 걸릴 것이라고 기꺼이 내기를 합니다. 글쎄, 이것은 게시물에 관한 것이 아닙니다.
여기서 우리는 보다 가시적이고 가까운 미래에 대해 이야기하고 AI의 가까운 미래를 형성할 새롭고 강력한 AI 알고리즘과 기술에 대해 논의할 것입니다.
AI는 몇 가지 선별된 특정 작업에서 인간을 개선하기 시작했습니다. 예를 들어, 피부암 진단에서 의사를 이기고 세계 선수권에서 바둑 선수를 이기십시오. 그러나 동일한 시스템과 모델은 해결하도록 훈련된 것과 다른 작업을 수행하는 데 실패합니다. 이것이 장기적으로 재평가할 필요 없이 일련의 작업을 효율적으로 수행하는 일반적으로 지능적인 시스템이 AI의 미래라고 불리는 이유입니다.
그러나 AI의 가까운 미래, AGI가 등장하기 훨씬 전에 과학자들은 AI 기반 알고리즘이 오늘날 직면한 문제를 극복하고 실험실에서 나와 일상적인 사용 개체가 되도록 하려면 어떻게 해야 할까요?
주변을 둘러보면 AI가 한 번에 하나의 성을 이기고 있습니다(AI가 인간을 어떻게 앞지르는지에 대한 포스트 1부와 2부를 읽어보세요). 그러한 윈-윈 게임에서 무엇이 잘못될 수 있습니까? 인간은 시간이 지남에 따라 점점 더 많은 데이터(AI가 소비하는 사료)를 생산하고 있으며 하드웨어 기능도 향상되고 있습니다. 결국 2012년에 딥러닝 혁명이 시작된 이유는 데이터와 더 나은 계산 때문이겠죠? 진실은 데이터와 계산의 성장보다 더 빠른 것은 인간의 기대치의 성장이라는 것입니다. 데이터 과학자는 실제 문제를 해결하기 위해 현재 존재하는 것 이상의 솔루션을 생각해야 합니다. 예를 들어, 대부분의 사람들이 생각하는 이미지 분류는 과학적으로 해결된 문제입니다(100% 정확도 또는 GTFO라고 말하고 싶은 충동에 저항한다면).
AI를 사용하여 사람의 능력에 맞는 이미지(고양이 이미지 또는 강아지 이미지)를 분류할 수 있습니다. 그러나 이미 실제 사용 사례에 사용할 수 있습니까? AI가 인간이 직면하고 있는 보다 실용적인 문제에 대한 솔루션을 제공할 수 있습니까? 어떤 경우에는 그렇습니다. 그러나 많은 경우에 우리는 아직 거기에 없습니다.
AI를 사용하여 실제 솔루션을 개발하는 데 있어 주요 장애물이 되는 과제를 안내해 드립니다. 고양이와 개의 이미지를 분류하고 싶다고 가정해 보겠습니다. 포스트 전체에서 이 예제를 사용할 것입니다.
예제 알고리즘: 고양이와 개의 이미지 분류
아래 그래픽은 당면 과제를 요약한 것입니다.
실제 AI 개발과 관련된 과제
이러한 과제에 대해 자세히 논의해 보겠습니다.
적은 데이터로 학습하기
- 가장 성공적인 딥 러닝 알고리즘이 사용하는 훈련 데이터는 포함된 콘텐츠/기능에 따라 레이블이 지정되어야 합니다. 이 프로세스를 주석이라고 합니다.
- 알고리즘은 주변에서 자연적으로 발견된 데이터를 사용할 수 없습니다. 수백 개(또는 수천 개의 데이터 포인트)에 주석을 추가하는 것은 쉽지만 인간 수준의 이미지 분류 알고리즘은 주석이 달린 백만 개의 이미지를 잘 학습해야 합니다.
- 따라서 문제는 백만 개의 이미지에 주석을 달 수 있는지 여부입니다. 그렇지 않다면 AI가 어떻게 더 적은 양의 주석 데이터로 확장할 수 있습니까?
다양한 실제 문제 해결
- 데이터 세트는 고정되어 있지만 실제 사용은 더 다양합니다(예를 들어 컬러 이미지에 대해 훈련된 알고리즘은 사람과 달리 회색조 이미지에서 심하게 실패할 수 있음).
- 인간과 일치하는 물체를 감지하도록 Computer Vision 알고리즘을 개선했습니다. 그러나 앞서 언급했듯이 이러한 알고리즘은 여러 의미에서 훨씬 더 일반적인 인간 지능에 비해 매우 구체적인 문제를 해결합니다.
- 고양이와 개를 분류하는 AI 알고리즘의 예는 해당 종의 이미지를 제공하지 않으면 희귀 개 종을 식별할 수 없습니다.
증분 데이터 조정
- 또 다른 주요 과제는 증분 데이터입니다. 이 예에서 고양이와 개를 인식하려는 경우 처음 배포하는 동안 다양한 종의 고양이 및 개 이미지에 대해 AI를 훈련할 수 있습니다. 그러나 완전히 새로운 종을 발견하면 이전 종과 함께 "Kotpies"를 인식하도록 알고리즘을 훈련해야 합니다.
- 새로운 종은 우리가 생각하는 것보다 다른 종과 더 유사할 수 있고 알고리즘을 적용하도록 쉽게 훈련할 수 있지만 이것이 더 어렵고 완전한 재훈련 및 재평가가 필요한 지점이 있습니다.
- 문제는 AI를 최소한 이러한 작은 변화에 적응할 수 있도록 만들 수 있습니까?
AI를 즉시 사용할 수 있게 하기 위한 아이디어는 효과적인 학습이라는 일련의 접근 방식을 통해 앞서 언급한 문제를 해결하는 것입니다. Shot Learning, Adversarial Learning 및 Multi-Task Learning 매회). ParallelDots에서 우리는 이제 이러한 접근 방식을 사용하여 AI의 좁은 문제를 해결하고 작은 전투에서 승리하는 동시에 더 큰 전쟁을 정복하기 위해 보다 포괄적인 AI를 준비하고 있습니다. 이러한 기술을 한 번에 하나씩 소개하겠습니다.
주목할 만하게도 이러한 효과적인 학습 기법의 대부분은 새로운 것이 아닙니다. 그들은 지금 부활을 보고 있습니다. SVM(Support Vector Machines) 연구원들은 이러한 기술을 오랫동안 사용해 왔습니다. 반면에 적대적 학습은 GAN에 대한 Goodfellow의 최근 작업에서 나온 것이며 신경 추론은 데이터 세트가 매우 최근에 사용 가능하게 된 새로운 기술 세트입니다. 이러한 기술이 AI의 미래를 형성하는 데 어떻게 도움이 되는지 자세히 살펴보겠습니다.
전이 학습
그것은 무엇입니까?
이름에서 알 수 있듯이 학습은 Transfer Learning의 동일한 알고리즘 내에서 한 작업에서 다른 작업으로 전송됩니다. 더 큰 데이터 세트로 하나의 작업(소스 작업)에 대해 훈련된 알고리즘은 (상대적으로) 더 작은 데이터 세트에서 다른 작업(대상 작업)을 학습하려는 알고리즘의 일부로 수정 여부에 관계없이 전송할 수 있습니다.
몇 가지 예
이미지 분류 알고리즘의 매개변수를 객체 감지와 같은 다양한 작업에서 특징 추출기로 사용하는 것은 Transfer Learning의 간단한 응용 프로그램입니다. 반대로 복잡한 작업을 수행하는 데에도 사용할 수 있습니다. 얼마 전 Google이 의사보다 당뇨병성 망막증을 더 잘 분류하기 위해 개발한 알고리즘은 Transfer Learning을 사용하여 만들어졌습니다. 놀랍게도 당뇨병성 망막증 검출기는 실제로 눈 스캔을 분류하기 위한 실제 이미지 분류기(개/고양이 이미지 분류기) 전이 학습이었습니다.
좀 더 이야기 해줘!
데이터 과학자는 딥 러닝 문헌에서 사전 훈련된 네트워크로 소스에서 대상 작업으로 신경망의 전송된 부분을 호출하는 것을 찾을 수 있습니다. Fine Tuning은 대상 작업의 오류가 수정되지 않은 사전 훈련된 네트워크를 사용하는 대신 사전 훈련된 네트워크로 약간 역전파되는 경우입니다. Computer Vision의 Transfer Learning에 대한 좋은 기술 소개는 여기에서 볼 수 있습니다. Transfer Learning의 이 간단한 개념은 우리의 효과적인 학습 방법론에서 매우 중요합니다.
당신을 위해 추천 된:
메타버스가 인도 자동차 산업을 어떻게 변화시킬 것인가?
인도 스타트업에 대한 반 영리 조항은 무엇을 의미합니까?
Edtech Startup이 인도 인력의 기술 향상 및 미래 준비를 돕는 방법...
이번 주 새로운 시대의 기술 주식: Zomato의 문제는 계속되고 EaseMyTrip은 Str...
인도 스타트업, 자금 조달을 위해 지름길 선택
디지털 마케팅 플랫폼 Logicserve, INR 80 Cr 자금 지원, LS Dig...
다중 작업 학습
그것은 무엇입니까?
다중 작업 학습에서는 여러 학습 작업을 동시에 해결하면서 작업 간의 공통점과 차이점을 활용합니다. 놀랍지만 때로는 두 개 이상의 작업(주 작업 및 보조 작업이라고도 함)을 함께 학습하면 작업의 결과를 더 좋게 만들 수 있습니다. 작업의 모든 쌍 또는 삼중항 또는 사중주가 보조 작업으로 간주될 수 있는 것은 아닙니다. 그러나 작동하면 정확도가 무료로 증가합니다.
몇 가지 예
예를 들어 ParallelDots에서 감정, 의도 및 감정 감지 분류기는 다중 작업 학습으로 훈련되어 별도로 훈련했을 때보다 정확도가 높아졌습니다. 우리가 알고 있는 NLP에서 최고의 의미론적 역할 레이블링 및 POS 태깅 시스템은 다중 작업 학습 시스템이므로 Computer Vision에서 의미론 및 인스턴스 세분화를 위한 최고의 시스템 중 하나입니다. Google은 동일한 장면에서 비전과 텍스트 데이터 세트 모두에서 학습할 수 있는 다중 모드 Multi-Task Learners(모두를 지배하는 하나의 모델)를 제시했습니다.
좀 더 이야기 해줘!
실제 응용 프로그램에서 볼 수 있는 Multi-Task Learning의 매우 중요한 측면은 방탄이 되기 위해 모든 작업을 훈련하는 곳입니다. 우리는 많은 도메인 데이터를 존중해야 합니다(도메인 적응이라고도 함). 고양이와 강아지 사용 사례의 예는 다양한 소스(예: VGA 카메라 및 HD 카메라 또는 적외선 카메라)의 이미지를 인식할 수 있는 알고리즘입니다. 이러한 경우 도메인 분류의 보조 손실(이미지 출처)이 모든 작업에 추가될 수 있으며, 그러면 기계는 알고리즘이 주요 작업(이미지를 고양이 또는 개 이미지로 분류)에서 계속 향상되도록 학습하지만 의도적으로 보조 작업에서 악화됨(이는 도메인 분류 작업에서 역 오류 기울기를 역전파하여 수행됨). 아이디어는 알고리즘이 주요 작업에 대한 식별 기능을 학습하지만 도메인을 구별하는 기능을 잊어버리면 더 좋아진다는 것입니다. Multi-Task Learning 및 Domain Adaptation의 사촌은 우리가 알고 있는 가장 성공적인 효과적인 학습 기술 중 하나이며 AI의 미래를 형성하는 데 큰 역할을 합니다.
적대적 학습
그것은 무엇입니까?
적대적 학습(Adversarial Learning)은 Ian Goodfellow의 연구에서 발전한 분야입니다. Adversarial Learning의 가장 인기 있는 응용 프로그램은 의심할 여지 없이 멋진 이미지를 생성하는 데 사용할 수 있는 GAN(Generative Adversarial Networks)이지만 이 기술 세트에는 여러 가지 다른 방법이 있습니다. 일반적으로 이 게임 이론에서 영감을 받은 기술에는 두 개의 알고리즘 생성기와 판별기가 있으며, 이들의 목표는 훈련하는 동안 서로를 속이는 것입니다. 생성기는 우리가 논의한 것처럼 새로운 새로운 이미지를 생성하는 데 사용할 수 있지만 판별자로부터 세부 정보를 숨기기 위해 다른 데이터의 표현을 생성할 수도 있습니다. 후자는 이 개념이 우리에게 많은 관심을 받는 이유입니다.
몇 가지 예
이것은 새로운 분야이며 이미지 생성 능력은 아마도 천문학자와 같은 가장 관심 있는 사람들이 집중하는 것입니다. 그러나 우리는 이것이 나중에 말하듯이 새로운 사용 사례도 발전할 것이라고 믿습니다.
좀 더 이야기 해줘!
도메인 적응 게임은 GAN 손실을 사용하여 개선될 수 있습니다. 여기서 보조 손실은 순수 도메인 분류 대신 GAN 시스템입니다. 여기서 판별자는 데이터가 어느 도메인에서 왔는지 분류하려고 하고 생성기 구성 요소는 데이터로 임의의 노이즈를 표시하여 이를 속이려고 합니다. 우리의 경험에 따르면 이것은 일반 도메인 적응보다 더 잘 작동합니다(코드에 더 불규칙적이기도 함).
퓨샷 러닝
그것은 무엇입니까?
Few Shot Learning은 기존 알고리즘이 수행하는 작업에 비해 딥 러닝(또는 모든 기계 학습 알고리즘) 알고리즘이 더 적은 수의 예제로 학습하도록 하는 기술에 대한 연구입니다. One Shot Learning은 기본적으로 하나의 범주의 예제로 학습하는 것이고, 귀납적 k-shot learning은 각 범주의 k개의 예제로 학습하는 것을 의미합니다.
몇 가지 예
모든 주요 딥 러닝 컨퍼런스에서 논문이 유입되는 것을 보고 있는 분야는 거의 없으며 MNIST 및 CIFAR가 일반 머신 러닝을 위한 것처럼 이제 결과를 벤치마킹할 특정 데이터 세트가 있습니다. One-shot Learning은 특징 감지 및 표현과 같은 특정 이미지 분류 작업에서 여러 응용 프로그램을 보고 있습니다.
좀 더 이야기 해줘!
Transfer Learning, Multi-Task Learning 및 Meta-Learning을 알고리즘의 전체 또는 일부로 포함하여 Few Shot 학습에 사용되는 여러 방법이 있습니다. 영리한 손실 함수를 사용하거나 동적 아키텍처를 사용하거나 최적화 핵을 사용하는 것과 같은 다른 방법이 있습니다. 알고리즘이 본 적도 없는 범주에 대한 답을 예측한다고 주장하는 알고리즘 클래스인 Zero Shot Learning은 기본적으로 새로운 유형의 데이터로 확장할 수 있는 알고리즘입니다.
메타 학습
그것은 무엇입니까?
메타 학습은 말 그대로 데이터 세트를 볼 때 특정 데이터 세트에 대한 새로운 기계 학습 예측자를 생성하도록 훈련하는 알고리즘입니다. 정의는 언뜻 보면 매우 미래적입니다. 당신은 "우와! 그것이 데이터 과학자가 하는 일"이며 "21세기의 가장 섹시한 직업"을 자동화하고 있으며 어떤 의미에서는 메타 학습자가 그렇게 하기 시작했습니다.
몇 가지 예
메타 학습은 최근 많은 연구 논문이 발표되면서 딥 러닝에서 뜨거운 주제가 되었으며, 가장 일반적으로 하이퍼파라미터 및 신경망 최적화, 좋은 네트워크 아키텍처 찾기, Few-Shot 이미지 인식 및 빠른 강화 학습을 위한 기술을 사용합니다.
좀 더 이야기 해줘!
어떤 사람들은 네트워크 아키텍처와 같은 매개변수와 하이퍼파라미터를 모두 결정하는 이 완전 자동화를 autoML이라고 부르고 Meta Learning과 AutoML을 다른 분야로 언급하는 사람들을 찾을 수 있습니다. 주변의 모든 과대 광고에도 불구하고 진실은 메타 학습자가 여전히 데이터의 복잡성과 다양성이 증가함에 따라 머신 러닝을 확장하는 알고리즘이자 경로라는 것입니다.
대부분의 메타 학습 논문은 Wikipedia에 따르면 다음과 같은 속성이 있는 영리한 해킹입니다.
- 시스템은 경험에 따라 적응하는 학습 하위 시스템을 포함해야 합니다.
- 단일 데이터 세트 또는 다른 도메인 또는 문제에서 이전 학습 에피소드에서 추출한 메타 지식을 활용하여 경험을 얻습니다.
- 학습 편향은 동적으로 선택되어야 합니다.
서브시스템은 기본적으로 도메인(또는 완전히 새로운 도메인)의 메타데이터가 도입될 때 적응하는 설정입니다. 이 메타데이터는 증가하는 클래스 수, 복잡성, 색상 및 질감 및 개체(이미지 내)의 변경, 스타일, 언어 패턴(자연어) 및 기타 유사한 기능에 대해 알려줄 수 있습니다. 여기에서 매우 멋진 논문을 확인하십시오: Meta-Learning Shared Hierarchies and Meta-Learning Using Temporal Convolutions. Meta-Learning 아키텍처를 사용하여 Few Shot 또는 Zero Shot 알고리즘을 구축할 수도 있습니다. 메타 학습은 AI의 미래를 형성하는 데 도움이 될 가장 유망한 기술 중 하나입니다.
신경 추론
그것은 무엇입니까?
신경 추론은 이미지 분류 문제에서 다음으로 큰 문제입니다. Neural Reasoning은 알고리즘이 단순히 텍스트나 이미지를 식별하고 분류하는 개념을 넘어서는 패턴 인식보다 한 단계 더 발전합니다. Neural Reasoning은 텍스트 분석 또는 시각적 분석에서 보다 일반적인 질문을 해결합니다. 예를 들어, 아래 이미지는 Neural Reasoning이 이미지에서 답변할 수 있는 질문 세트를 나타냅니다.
좀 더 이야기 해줘!
이 새로운 기술 세트는 Facebook의 bAbi 데이터 세트 또는 최근 CLEVR 데이터 세트가 출시된 후 제공됩니다. 패턴뿐만 아니라 관계를 해독하는 기술은 신경 추론뿐만 아니라 Few Shot 학습 문제를 비롯한 여러 다른 어려운 문제를 해결할 수 있는 엄청난 잠재력을 가지고 있습니다.
돌아 가지
기술이 무엇인지 알았으므로 이제 돌아가서 우리가 시작한 기본 문제를 어떻게 해결하는지 봅시다. 아래 표는 문제를 해결하기 위한 효과적인 학습 기법의 기능에 대한 스냅샷을 제공합니다.
효과적인 학습 기법의 능력
- 위에서 언급한 모든 기술은 어떤 식으로든 더 적은 양의 데이터로 훈련을 해결하는 데 도움이 됩니다. Meta-Learning이 데이터로 만들어지는 아키텍처를 제공하는 반면 Transfer Learning은 다른 영역의 지식을 더 적은 데이터를 보완하는 데 유용하게 만듭니다. Few Shot Learning은 과학 분야로서의 문제에 전념합니다. 적대적 학습은 데이터 세트를 향상시키는 데 도움이 될 수 있습니다.
- Domain Adaptation(Multi-Task Learning), Adversarial Learning 및 (때로는) Meta-Learning 아키텍처는 데이터 다양성으로 인해 발생하는 문제를 해결하는 데 도움이 됩니다.
- Meta-Learning과 Few Shot Learning은 증분 데이터의 문제를 해결하는 데 도움이 됩니다.
- Neural Reasoning 알고리즘은 Meta-Learners 또는 Few Shot Learners로 통합될 때 실제 문제를 해결할 수 있는 엄청난 잠재력을 가지고 있습니다.
이러한 효과적인 학습 기술은 새로운 딥 러닝/머신 러닝 기술이 아니라 기존 기술을 해킹으로 보강하여 더 큰 효과를 볼 수 있다는 점에 유의하십시오. 따라서 Convolutional Neural Networks 및 LSTM과 같은 일반 도구는 여전히 작동하지만 향신료가 추가된 것을 볼 수 있습니다. 적은 수의 데이터로 작업하고 많은 작업을 한 번에 수행하는 이러한 효과적인 학습 기술은 AI 기반 제품 및 서비스의 보다 쉬운 생산 및 상용화에 도움이 될 수 있습니다. ParallelDots에서는 효율적인 학습의 힘을 인식하고 이를 연구 철학의 주요 기능 중 하나로 통합하고 있습니다.
Parth Shrivastava의 이 게시물은 ParallelDots 블로그에 처음 게재되었으며 허가를 받아 복제되었습니다.