Jakie są główne przyczyny?
1. Obecne testy nagradzają wyłącznie poprawność odpowiedzi, a nie uczciwe przyznanie się do braku wiedzy. Po prostu model jest gorzej oceniany, jak nie poda odpowiedzi - lepiej jest modelowi coś zgadnąć.
2. Testy mierzą poprawne odpowiedzi, więc lepiej modelowi zgadnąć niż napisać "nie wiem". Trochę jak człowiek na testach, jak czegoś nie wie - lepiej zgadnąć niż nie wypełnić.
3. Błędy są o wiele gorsze niż napisanie "nie wiem", ale się nie karze modelu dostatecznie mocno za błędne odpowiedzi.
4. Tablice rankingów motywują twórców modeli, że lepiej zgadywać, niż uczciwie sygnalizować niepewność.
5. Ogólnie system nagradza "szczęśliwe trafienia", co dodatkowo wzmacnia do "strzelania" z odpowiedziami.
Jak wygląda przewidywanie kolejnego słowa?
1. Modele uczą się, przewidując następne słowo w ogromnych zbiorach tekstów, bez etykiet typu „prawda/fałsz”. Dzięki temu świetnie opanowują wzorce językowe (gramatyka, pisownia, składnia).
2. Ale fakty (np. daty urodzin, rzadkie szczegóły) nie wynikają z regularnych wzorców, więc prowadzą do błędów. Fakty ciężko zamieścić w modelu.
Kluczowe jest poprawienie metod ewaluacji: premiowanie niepewności i karanie za błędne, ale pewne odpowiedzi.
Na koniec smutny wniosek - nawet większe, potężniejsze modele nie są w stanie całkowicie wyeliminować halucynacji.
Źródło:
https://openai.com/index/why-language-models-hallucinate/
A jakie są komentarze użytkowników?
https://news.ycombinator.com/item?id=45147385
1. Problem leży w próbkowaniu, a nie w samym modelu - model pokazuje niepewność poprzez równomierne rozkłady prawdopodobieństwa
2. Modele językowe nie zawsze pokazują niepewność w sposób oczywisty - czasami dają błędne odpowiedzi z wysoką pewnością
3. Halucynacje wynikają z dwóch sprzecznych celów - tworzenia fikcyjnych treści versus podawania faktów
4. Wszystko co robią modele językowe to halucynowanie, użytkownicy tylko uważają niektóre halucynacje za użyteczne
5. Modele nie mają pojęcia prawdy czy fałszu, tylko dopasowują wzorce odpowiedzi
6. Można zaprojektować oddzielne modele do różnych zadań faktycznych i kreatywnych
7. Uczenie modeli "wątpienia" i mówienia "nie wiem" to dobry sposób na ich poprawę
8. Użytkownicy często wolą szybkie odpowiedzi niż poprawne i nie chcą słyszeć "nie wiem"
9. Obecne oceny modeli są typu "wszystko albo nic" i faworyzują zgadywanie
10. Należy wprowadzić opcję "nie wiem" i kary za błędne odpowiedzi w testach
