Odpowiedź brzmi: to zależy :]
Po pierwsze od tego, jaką częstotliwość ma mieć sygnał CLK w tym wyświetlaczu (założę się, że około 27MHz). Jeśli kontroler tyle wygeneruje i będzie w stanie wystawić w tym czasie jeszcze jakieś dane na linie RGB, to pewnie da się podłączyć ;]
Po drugie od tego, czy ma być na nim wyświetlany tekst, generowany obraz, czy obraz z jakiegoś bufora video i od tego, jaka jest oczekiwana głębia koloru. Oględnie mówiąc, zależy co kontroler będzie w stanie zmieścić w pamięci. Najbardziej pamięciożerne byłoby zastosowanie wyświetlania obrazu o maksymalnej rozdzielczości wyświetlacza z bufora z nieindeksowaną paletą kolorów. Zakładając 18-bitową magistralę RGB mamy obraz o objętości 640x480x18b=675KB, który gdzieś trzeba trzymać :] Pomijam fakt, że przechowywanie i operacje na 18-bitowych danych są dość niewygodne i lepiej by było zastosować 16 bitów, bądź 24 bity.
Najmniej pamięciożerne byłoby wyświetlanie czarno-białego tekstu (tablica znaków np. po 5x8 pikseli i bufor z indeksami).
Zupełnie innym rozwiązaniem byłoby zastosowanie wyświetlacza do wyświetlania sygnału VGA (np. z PC), albo jakiegoś sygnału kompozytowego. Wtedy kontroler pracowałby jako konwerter i mógłby przetwarzać sygnał w locie, ale wtedy częstotliwość taktowania równa częstotliwości zegara wyświetlacza byłaby stanowczo za mała.
Ja bym proponował kupić gotową płytę ewaluacyjną z FPGA (z minimum xc3s200 i 1MB SRAM), albo próbować zrobić to na ARM7.