Dlaczego warto korzystać z podejścia Human in the Loop (HITL) w uczeniu maszynowym?

Słyszałeś o samojezdnym samochodzie Ubera, który potrącił i zabił kobietę w Arizonie? Innym razem rozwiązanie do rozpoznawania twarzy sprofilowało niewinnego kolorowego mężczyznę jako przestępcę w New Jersey, a oparte na sztucznej inteligencji narzędzie rekrutacyjne Amazona wykazywało uprzedzenia wobec kandydatek.

Najwyraźniej sztuczna inteligencja popełnia błędy. Znaczące, nawet zmieniające życie błędy. Jak więc nadal możemy czerpać korzyści ze sztucznej inteligencji, eliminując ten rodzaj błędu? Jedną z opcji jest umożliwienie ekspertom ludzkim szkolenia, oceny i monitorowania rozwiązań biznesowych AI po wdrożeniu. Koncepcja ta nazywana jest uczeniem maszynowym człowieka w pętli (HITL). Gartner przewiduje, że w niektórych branżach rozwiązania AI HITL będą stanowić około 30% wszystkich ofert automatyzacji do 2025 roku.

Porozmawialiśmy z naszym ekspertem AI, Maksymem Bochokiem, aby zrozumieć, jak ludzie wpasowują się w pętlę, jakie przynoszą korzyści i jak ten proces zorganizować.

Człowiek w pętli definicja i korzyści

Błądzić jest rzeczą ludzką, naprawdę zepsuć rzeczy wymaga komputera.

–Paul Ehlrich, niemiecki lekarz i laureat Nagrody Nobla

Teraz cytat Ehlricha jest bardziej aktualny niż kiedykolwiek wcześniej. Dzięki sztucznej inteligencji zajmującej się krytycznymi aplikacjami margines błędu jest coraz mniejszy. A maszyny nie są idealne. Budują swoje zrozumienie zadania na podstawie otrzymanych danych treningowych i mogą przyjmować błędne założenia.

A to prowadzi nas do terminologii uczenia maszynowego typu „człowiek w pętli”.

Człowiek w pętli oznacza integrację ludzkich pracowników z potokiem uczenia maszynowego, aby mogli stale trenować i weryfikować modele. Dotyczy to wszystkich osób, które pracują z modelami i ich danymi treningowymi.

W jaki sposób „human-in-the-loop” zwiększa wartość algorytmów uczenia maszynowego

Utrzymuje wysoki poziom precyzji. Jest to szczególnie ważne w przypadku domen, które nie tolerują błędów. Na przykład podczas produkcji krytycznego sprzętu do samolotu zależy nam na automatyzacji i szybkości, ale nie możemy zagrażać bezpieczeństwu. HITL jest również korzystny w mniej krytycznych aplikacjach. Na przykład duże firmy konsultingowe, które w dużej mierze opierają się na sztucznej inteligencji w zakresie zgodności z przepisami dotyczącymi dokumentów, angażują uczenie maszynowe w pętli przez człowieka w celu walidacji swoich algorytmów przetwarzania języka naturalnego.

Eliminuje uprzedzenia. Modele uczenia maszynowego mogą być stronnicze podczas szkolenia. Co więcej, mogą uzyskać stronniczość po wdrożeniu, ponieważ kontynuują naukę. Pracownicy mogą wykryć i wyeliminować to zjawisko na wczesnych etapach, odpowiednio korygując algorytm.

Zapewnia przejrzystość. Algorytmy ML oceniają tysiące, a nawet miliony parametrów, aby podjąć ostateczną decyzję i często nie można tego wyjaśnić. Dzięki HITL jest człowiek, który rozumie, jak działają algorytmy i potrafi uzasadnić podejmowane przez siebie decyzje. Nazywa się to wytłumaczalną sztuczną inteligencją. Na przykład, gdy dana osoba ubiega się o pożyczkę i zostanie odrzucona, może poprosić urzędnika ds. Pożyczek o wyjaśnienie powodów odrzucenia oraz o to, co wnioskodawca może zrobić, aby następnym razem zwiększyć swoje szanse.

Otwiera możliwości zatrudnienia. Często słyszymy, że sztuczna inteligencja kradnie ludziom miejsca pracy. Uczenie maszynowe z człowiekiem w pętli stanowi przykład tego, jak technologia może tworzyć nowe wakaty. Wystarczy spojrzeć na indyjski rynek adnotatorów danych.

Rola ludzi w rurociągu AI

Maksym wyjaśnia, w jaki sposób ludzie mogą być częścią potoku AI, aby zwiększyć jego zdolność do przewidywania. Modele uczenia maszynowego działają w trybach uczenia nadzorowanego lub nienadzorowanego. W przypadku uczenia się nadzorowanego ludzie mogą wykonywać następujące zadania:

• Etykietowanie i adnotacja. Pracownik ludzki oznacza zestaw danych szkoleniowych. W zależności od wymaganej wiedzy może to być ekspert dziedzinowy lub każdy pracownik z odpowiednim przeszkoleniem.
• Przeprojektowanie modelu. W razie potrzeby inżynierowie i programiści ML mogą wprowadzić poprawki do algorytmu, aby upewnić się, że może on jak najlepiej wykorzystać dostarczony zestaw danych.
• Szkolenie i przekwalifikowanie. Pracownicy zasilają model danymi z adnotacjami, przeglądają wyniki, wprowadzają poprawki, dodają więcej danych, jeśli to możliwe, i ponownie szkolą model.
• Monitorowanie wydajności modelu po wdrożeniu. Cykl życia uczenia maszynowego człowieka w pętli nie kończy się po wdrożeniu rozwiązania AI w siedzibie klienta. Inżynierowie ML nadal monitorują jego wydajność za zgodą klienta i dokonują korekt modelu, gdy jest to wymagane, poprzez selektywną weryfikację jego wyników. Przypadki uzyskane poprzez selektywną weryfikację zwiększą początkowy zestaw danych treningowych, aby poprawić wydajność algorytmu.

W nienadzorowanym uczeniu maszynowym algorytmy pobierają nieoznakowane dane jako dane wejściowe i samodzielnie znajdują strukturę. W takim przypadku ludzie nie opisują zestawu danych i nie ingerują zbytnio w początkowe szkolenie. Ale mogą znacznie wzbogacić model, wykonując krok 4 powyżej.

Kiedy człowiek w pętli uczenie maszynowe jest absolutną koniecznością

Maksym uważa, że ​​podejście „człowiek w pętli” jest korzystne w większości przypadków użycia uczenia maszynowego. Rozwiązania sztucznej inteligencji robią wrażenie, jeśli chodzi o tworzenie optymalnych prognoz, gdy są trenowane na dużych, obszernych zestawach danych, podczas gdy ludzie potrafią rozpoznawać wzorce z ograniczonej podaży próbek danych o niskiej jakości. Połączenie obu możliwości razem może stworzyć potężny system. Mimo że w niektórych aplikacjach modele ML mogą dobrze sobie radzić przy ograniczonej interwencji człowieka, istnieją przypadki, w których pełnoprawny człowiek w systemie pętli jest koniecznością:

• Kiedy jakikolwiek błąd algorytmu może być bardzo kosztowny, na przykład w diagnostyce medycznej.
• Kiedy danych, których potrzebujesz, aby odpowiednio wytrenować algorytm, jest mało. Więcej danych szkoleniowych zawsze przekłada się na lepszą wydajność modelu. Za pomocą monitorowania modelu poprodukcyjnego można uzupełnić dane szkoleniowe o odpowiednie próbki, dając modelowi więcej przykładów, z których można się uczyć.
• W przypadku uczenia jednorazowego, gdy algorytm jest szkolony na setkach lub nawet tysiącach próbek w celu sklasyfikowania niektórych obiektów. A potem dodawana jest kolejna klasa, a algorytm musi nauczyć się ją identyfikować na podstawie zaledwie kilku próbek uczących.
• W silnie regulowanych branżach, w których konieczne jest wyjaśnienie, w jaki sposób algorytmy doszły do ​​​​wniosków. Na przykład, gdy lekarze wykorzystują sztuczną inteligencję do proponowania spersonalizowanych metod leczenia raka, muszą uzasadnić ten plan leczenia pacjentowi.

Patrząc na rodzaj danych przetwarzanych przez algorytmy ML, HITL AI byłaby niezbędna w aplikacjach komputerowych i przetwarzaniu języka naturalnego (NLP), zwłaszcza jeśli chodzi o analizę sentymentu tekstu, który może zawierać sarkazm. HITL ma mniejsze znaczenie w przypadku analizy danych tabelarycznych i szeregów czasowych.

Wskazówki dotyczące wzbogacania sztucznej inteligencji o praktyki człowieka w pętli

Maksym oferuje następujące wskazówki, jak skutecznie wdrożyć podejście człowieka w pętli w uczeniu maszynowym:

• Podczas monitorowania i analizowania wydajności algorytmu po wdrożeniu , bez względu na to, jak dobry jest człowiek w systemie pętli, uczestnicy będący ludźmi nie będą w stanie zwracać uwagi na każde wejście przetwarzane przez algorytm i każdy generowany przez niego wynik. Mądrze wybieraj swoje przypadki. Użyj selektywnej weryfikacji, aby wybrać przypadki, które są warte Twojej uwagi. Maksym proponuje takie podejścia do inteligentnego doboru przypadków:
• Na podstawie poziomów ufności. Na przykład algorytm musi klasyfikować każdy obraz wejściowy jako kota lub psa. Obrazy, które otrzymują poziom ufności około 48/52 lub podobny, to te, które mylą algorytmy i muszą być odpowiednio oznaczone i użyte do ponownego uczenia modelu.
• Losowa weryfikacja „trywialnych” przypadków. Załóżmy, że tylko jeden przypadek na dziesięć zawiera cenne informacje dotyczące wydajności algorytmu. Przykładem takiego przypadku jest sytuacja, gdy model jest zbyt pewny błędnej prognozy. Zdecydowanie powinieneś rozważyć ten przypadek, ale musisz także losowo wybrać jeden z pozostałych dziewięciu przypadków, aby upewnić się, że algorytm nie stanie się zbyt pewny swoich błędnych przewidywań lub nie pozwoli na stronniczość.
• Analizując przypadki wybrane w poprzednim kroku , nie ograniczaj się do końcowego wyniku. Zamiast patrzeć na wynik końcowego zestawu neuronów w sieciach neuronowych, sprawdź poprzednią warstwę, jak na poniższym obrazku, i przeanalizuj rozkład odległości między błędną prognozą a najbliższą poprawną prognozą algorytmu.
• Zachęć użytkowników końcowych algorytmu do wyrażenia opinii na temat jego działania. Twórz formularze opinii i udostępniaj je wszystkim, aby użytkownicy mogli przekazać wszelkie wątpliwości, jakie mogą mieć.
• Iteracyjnie powiększaj treningowy zestaw danych, korzystając z punktów danych z poprzednich kroków. W ten sposób będziesz mieć pewność, że Twój algorytm pozostanie aktualny, nawet jeśli jakieś zmiany zajdą w operacjach klienta.

Gotowe narzędzia AI obsługujące HITL

Istnieje kilka gotowych narzędzi do uczenia maszynowego w pętli, które umożliwiają etykietowanie zestawów danych szkoleniowych i weryfikację wyników. Jednak możesz nie być w stanie zaimplementować powyższych wskazówek za pomocą tych standardowych narzędzi. Oto kilka przykładów z narzędzia pętli:

Google Cloud HITL

To rozwiązanie oferuje przepływ pracy i interfejs użytkownika (UI), które ludzie mogą wykorzystać do etykietowania, przeglądania i edytowania danych wyodrębnionych z dokumentów. Firma klienta może wykorzystać własnych pracowników jako osoby zajmujące się etykietowaniem lub zatrudnić pracowników Google HITL do wykonania zadania.

Narzędzie ma pewne funkcje interfejsu użytkownika, które usprawniają przepływ pracy osób zajmujących się etykietowaniem i filtrują dane wyjściowe na podstawie progu ufności. Umożliwia także firmom zarządzanie pulą etykietujących.

Amazon Augmented AI (Amazon A2I)

To ludzkie narzędzie sztucznej inteligencji w pętli pozwala ludziom przeglądać mało pewne i losowe prognozy ML. W przeciwieństwie do Google Cloud HITL, który działa tylko na tekście, Amazon A2I może uzupełniać Amazon Recognition, aby wyodrębniać obrazy i weryfikować wyniki. Może również pomóc w przeglądaniu danych tabelarycznych.

Jeśli klient nie jest zadowolony z dostarczonego przepływu pracy A2I, może opracować własne podejście za pomocą SageMaker lub podobnego narzędzia.

DataRobot Skromna sztuczna inteligencja

Skromna sztuczna inteligencja pozwala ludziom określić zestaw reguł, które modele ML muszą stosować podczas dokonywania prognoz. Każda reguła zawiera warunek i odpowiadającą mu akcję. Obecnie istnieją trzy akcje:

• Brak operacji, gdy ludzie po prostu monitorują odpowiedni stan bez ingerencji
• Nadrzędne przewidywanie, kiedy ludzie mogą zastąpić dane wyjściowe modelu inną wartością
• Zwracanie błędu, po prostu odrzucanie prognozy całkowicie

Czy zatem uczenie maszynowe z człowiekiem w pętli jest dla Ciebie najlepszym podejściem?

Zatrudnienie człowieka w pętli podejście AI poprawia dokładność, przejrzystość i jakość prognoz. Zwiększa również koszty i czas potrzebny na wykonanie zadania ze względu na interwencję człowieka przy tworzeniu możliwości zatrudnienia, co jest pozytywnym efektem ubocznym.

Pomimo oczywistych korzyści płynących z AI HITL, istnieją aplikacje, w których preferowanym podejściem jest „human-out-of-the-loop” ze względu na ryzyko związane z niektórymi działaniami. Pomyśl o rozwoju i wdrażaniu broni autonomicznej.

Jeśli uważasz, że Twoje algorytmy ML mogą wykorzystywać człowieka w pętli, ale nie masz pewności, jak zrównoważyć koszty operacyjne oraz pożądaną dokładność i wyjaśnialność, skontaktuj się z konsultantami ds. uczenia maszynowego. Będą współpracować z Tobą, aby znaleźć odpowiednie dopasowanie. Jeśli uczenie maszynowe w pętli nie jest optymalnym rozwiązaniem w twoim przypadku, istnieją inne sztuczki ML, które mogą pomóc w przezwyciężeniu problemu niedoboru danych uczących:

• Transfer uczenia się , gdy dostrajasz wstępnie wytrenowane modele za pomocą własnych danych
• Częściowo nadzorowane uczenie się , gdy używasz dużego nieoznakowanego zbioru danych wraz z niewielką liczbą oznaczonych próbek
• Samonadzorowane uczenie , gdy w każdej partii maskujesz losową część próbki uczącej, a algorytm próbuje to przewidzieć

Czy zastanawiasz się nad poprawą dokładności i wyjaśnialności swojego modelu ML? Skontaktuj się! Eksperci ITRex AI zbadają Twoją sytuację i opracują optymalne podejście w pętli, aby zaspokoić Twoje potrzeby.

Pierwotnie opublikowany na https://itrexgroup.com 17 lipca 2022 r.