Dlaczego modele halucynują (paper od OpenAI)

OpenAI dodało nowy wpis i pełny dokument badawczy o halucynacjach modeli. To świeże materiały, polecam przeczytać albo nawet streścić w AI, bo klarownie tłumaczą problem i co z nim zrobić.

Co to są halucynacje? To pewne siebie, lecz fałszywe odpowiedzi generowane przez model.

Skąd się biorą? Model uczy się przewidywać następne słowo, a nie „znać fakty”. Przy rzadkich informacjach częściej zgaduje. Sposób testowania modeli bywa zły: dzisiejsze ewaluacje częściej nagradzają strzał niż szczere „nie wiem”. To uczy modele zgadywać.

Co proponuje OpenAI? Zmienić ocenianie: mocniej karać pewne bzdury niż odpowiedzi „nie wiem” i nagradzać mądre przyznanie niepewności. Nie wystarczy osobny „test halucynacji”, trzeba poprawić główne metryki.

Jak tą wiedzę wykorzystsać? Daj modelowi prawo do „nie wiem” i proś o poziom pewności/źródła. Jeśli odpowiedź brzmi zbyt pewnie przy „kruchych” danych (daty, liczby, nazwiska), najprościej dopytaj albo poproś o weryfikację.

Stworzyliśmy o tym pełną lekcje na Startuj.AI Plus wraz z "metodami na halucynacje". Możesz dołączyć na 7 dni testowych bez żadnej opłaty 🙂

Przygotowałem NotebookLM z tym wpisem i paperem od OpenAI. Możesz z niego zrobić podcast, wideo (6minuttowe ode mnie jest poniżej) albo po prostu zapytać o szczegóły. Zapraszam do szybkiej nauki! :)

Poniżej krótka lekcja na podstawie treści od OpenAI

6:33

1 comment