¿Es correcto escribir coma después del signo de exclamación de cierre?

Sí, luego del signo de cierre de exclamación o interrogación lo que no se debe colocar es punto, pues ya estos signos lo tienen.