Najprawdpodobniej problem leży w dodatnim sprzężeniu zwrotnym R11 i R10. Generator gaśnie.
Zmniejszyć R11.
Kolejny problem jaki napotkasz to start przetwornicy. Na początku napięcie na wyjściu (C2) jest niskie, więc wzmacnicz błędu spowoduje całkowicie otwarcie klucza (im większy współczynnik otwarcia, tym większe napięcie - tak działa wzm. błędu) to z kolei nie pozwoli napięciu wyjściowemu wzrosnąć. Najprościej to rozwiązać dodając rezystor do wzmacniacza błędu tak, aby wypełnienie nigdy nie osiągnęło 100% otwarcia. Np. max 80%.
Jeszcze mam pewne obawy co do kolejnej całki R16, C10. Czy przypadkiem nie za dużo tego? Nie ma potrzeby tego tak opóźniać, sprzężenie powinno być szybkie.
Tak na marginesie. Do zasilania generatora i wzmacniacza błędu nie potrzeba ujemnego napięcia -5V. Całość śmiało mogłaby pracować na +8V i 0V (oczywiście wymagało by przeróbek). Super szybki, wręcz wizyjny wzmacniacz lm6172 też nie koniecznie jest potrzebny (Uruchamiałem z powodzeniem takie boosty na LM324). Zaletą jest, że sinking i sourcing short current ma dość wysoki (100mA) ale i to może się okazać mało dla mosfeta. Może przydać się jeszcze wtórnik OC.