Zajmowałem się tym swego czasu. Kodek MPEG audio opisują normy ISO/IEC 11172-3 oraz ISO/IEC 13818-3. Niestety, ITU żąda pieniążków za możliwość ściągnięcia tych norm.
Polecam również książkę A. Czyżewskiego "Dźwięk cyfrowy".
Możesz również zerknąć na strony poświęcone open-source'owym projektom (chyba kody Lame'a są udostępnione).
Temat jest bardzo ciekawy ale i trudny - ja męcząc się przez blisko rok zaimplementowałem tylko warstwy I i II MPEG-2, i to i tak nie w całości (np. bez wsparcia dla 24-bitowych próbek).