Pré-aqueça o forno a 350 graus F (175 graus C). Forre uma assadeira para 12 muffins com forminhas de papel.

Misture a farinha, o cacau em pó, o fermento, o bicarbonato de sódio e o sal em uma tigela.

Bata a manteiga, o açúcar branco e o açúcar mascavo em uma tigela grande com uma batedeira elétrica em velocidade média até ficar leve e fofo, cerca de 90 segundos. Adicione os ovos, um de cada vez, batendo até incorporar após cada adição. Bata a baunilha.

Incorpore a mistura de farinha um terço de cada vez, alternando com 1/4 de xícara de leite, em velocidade baixa até que esteja apenas combinado. Encha cada forminha preparada com 1/4 de xícara de massa.

Asse até que um palito inserido no centro saia limpo, cerca de 20 minutos. Deixe esfriar na assadeira sobre uma gradinha por 5 minutos. Transfira para a gradinha para esfriar completamente, cerca de 20 minutos.

Enquanto isso, bata o cream cheese e a manteiga em uma tigela grande com uma batedeira elétrica em velocidade média-alta até ficar leve e fofo, cerca de 30 segundos. Reduza a velocidade para baixa; adicione o açúcar de confeiteiro, 1 xícara de cada vez, batendo até que a cobertura esteja homogênea.