Dlaczego modele halucynują (paper od OpenAI)
OpenAI dodało nowy wpis i pełny dokument badawczy o halucynacjach modeli. To świeże materiały, polecam przeczytać albo nawet streścić w AI, bo klarownie tłumaczą problem i co z nim zrobić. Co to są halucynacje? To pewne siebie, lecz fałszywe odpowiedzi generowane przez model. Skąd się biorą? Model uczy się przewidywać następne słowo, a nie „znać fakty”. Przy rzadkich informacjach częściej zgaduje. Sposób testowania modeli bywa zły: dzisiejsze ewaluacje częściej nagradzają strzał niż szczere „nie wiem”. To uczy modele zgadywać. Co proponuje OpenAI? Zmienić ocenianie: mocniej karać pewne bzdury niż odpowiedzi „nie wiem” i nagradzać mądre przyznanie niepewności. Nie wystarczy osobny „test halucynacji”, trzeba poprawić główne metryki. Jak tą wiedzę wykorzystsać? Daj modelowi prawo do „nie wiem” i proś o poziom pewności/źródła. Jeśli odpowiedź brzmi zbyt pewnie przy „kruchych” danych (daty, liczby, nazwiska), najprościej dopytaj albo poproś o weryfikację. Stworzyliśmy o tym pełną lekcje na Startuj.AI Plus wraz z "metodami na halucynacje". Możesz dołączyć na 7 dni testowych bez żadnej opłaty 🙂 Przygotowałem NotebookLM z tym wpisem i paperem od OpenAI. Możesz z niego zrobić podcast, wideo (6minuttowe ode mnie jest poniżej) albo po prostu zapytać o szczegóły. Zapraszam do szybkiej nauki! :) Poniżej krótka lekcja na podstawie treści od OpenAI