Einde 1600 is het vervallen huisje omgebouwd tot een binnenstedelijk buitenverblijf. De doelbewuste vermelding van de term ‘zomerhuisje’ kan erop wijzen dat het gebouw geen schoorstenen had, maar uitsluitend de zon als warmtebron gebruikte. Tot op vandaag zijn alle vensters van het hoofdgebouw overigens nog steeds op het zuiden gericht.
Door de komst van de Apostolinnen naar Mechelen onderging het huizenblok tussen de Onze-Lieve-Vrouwestraat, de Oude Brusselstraat, de Lange Nieuwstraat en de Tessestraat in de achttiende eeuw een evolutie waarbij kapitaalkrachtige eigenaars aanpalende percelen opkopen om hun eigendom uit te breiden. Tussen het zomerhuis en de gebouwen van de congregatie liet men een nieuwbouw optrekken die beide gebouwen met elkaar verbond. Toch werd de vleugel in de Tessestraat omstreeks 1800 opnieuw van het hoofdgebouw afgesplitst en opgedeeld in twee wooneenheden. Het achttiende-eeuwse gebouw dat de Apostolinnen hadden laten optrekken, werd verbouwd tot een voorname burgerwoning met een fraaie voorgevel, een prachtige trap en een nieuw volume aan de zuidzijde, terwijl het oorspronkelijke ‘hof van plaisantie’ dat niet langer via de Onze-Lieve-Vrouwestraat toegankelijk was, verhuurd werd aan gezinnen uit de middenklasse.
Om de opbrengst te maximaliseren werden grote kamers op een goedkope manier ontdubbeld zodat het enorme pand op het einde van de negentiende eeuw een echte woonkazerne was geworden. In 1926 werd het totaal uitgeleefde woonhuis verkocht aan Antoon Devis en Regina De Leus die er een matrassenfabriek in onderbrachten.
