Poczytaj o metodzie najmniejszych kwadratów. Od razu podpowiedź - zmień wejście x na 1/u, wtedy równanie wyjdzie Ci tak y = a*u + b, gdzie u = 1/x. I dalej to już będzie zrobienie dwóch macierzy i ich wymnożenie przez siebie - jedno równanie pod MATLABem.