Bo źle dobrałeś AREF.
Maksymalnie z potencjometru uzyskujesz 2,82V, a używasz AREF 5V. To oznacza że wykorzystujesz tylko połowę "pasma" przetwornika, sam zobacz że przy 2,82V dociągasz do wartości około 580. Tymczasem przetwornik może dociągnąć aż do 1023. Czyli mógłbys mieć 2x lepsza rozdzielczość gdybyś zmienił VREF na bardziej odpowiednie, czyli bardziej zbliżone do 2,82V, czyli np coś blisko 3V.
Atmega ma wewnętrzny VREF 2,56V, niestety to za mało. Na VREF 5V sam widzisz że masz badziewną rozdzielczość. Najprościej by było zbudować własne VREF o napięciu 2,8V lub 3,3V za pomocą jakiegoś stabilizatora lub ostatecznie diody zenera (lub łącząc w szereg kilka diod prostowniczych jeśli nie masz zenera).
Tak więc masz tabelę i jest już ok, tylko zastanów się czy zostajesz tak jak teraz z 2x gorszą rozdzielczością ADC czy robisz inne VREF.
Ale jest też inny myk... Przed wejściem ADC umieść precyzyjny potencjometr wieloobrotowy, podłączony jako dzielnik napięcia. Wtedy na pływaku wymuś np 2,9V i dzielnikiem zbij je do 2,5V na nóżce ADC. Wtedy będziesz mógł wykorzystać wewnętrzny VREF 2,56V z procesora.