V domě bydlela řada významných osobností. Na počátku 19. století buditel a zakladatel slavistiky Jan Dobrovský (pomník v parku před vilou), v meziválečné éře zde bydlel historik umění Zdeněk Wirth (busta na ohradní zdi), v letech 1945-1980 herec Jan Werich (další busta na ohradní zdi), herec Jiří Voskovec (1946-1948) nebo básník Vladimír Holan (1948-1968).