O local onde se situava a mansão, construída em 1876,no alto da Rua Murtinho Nobre, Santa Teresa, que atualmente abriga o Museu, era já conhecido desde o século XIX como Chácara do Céu. Em 1936, Castro Maya herdou a propriedade e alguns anos depois chamou Wladimir A.de Souza, para projetar uma nova casa agora modernista feita de ângulos retos, três andares, no lugar da antiga. Para quem vai de carro há um pequeno estacionamento grátis e na rua, se não tiver apresentações no Parque das Ruínas, é facil encontar vaga .É um imóvel arejado com móveis, louças, cristais, prataria, obras de arte e livros. Tem uma ampla área verde planejada por Burle Marx. Tanto o prédio como o jardim estão bem cuidados. Os banheiros públicos estão fora da casa são bem limpos. O museu funciona de quarta a segunda das 12h ás 17h,.possui uma lojinha e o ingresso custa R$ 6,00. Há obras de Visconti, Volpi, Matisse, Modigliani, Degas, Seurat, Miró. Picasso, Di Cavalcanti, Djanira,Taunay, Guignard, Iberê Camargo, Antônio Bandeira, Debret e Portinari, abrigando o maior acervo desse artista num só local. O caráter original da residência foi mantido, preservando a disposição da sala de jantar e biblioteca.com cerca de oito mil títulos entre livros de arte, literatura brasileira e européia. Vários
deles são primeiras edições de José de Alencar, Machado, Guimarães Rosa. São apresentadas muitas informações sobre o fundador. Outra atração é a vista panorâmica de alguns bairros cariocas e da Baía de Guanabara.