Na místě gotického domu Čeňka z Lipé nechal Kryštof Schwanz z Retzu koncem 16. století postavit třípatrový renesanční palác podle návrhu italského stavitele Antonia Gabriho. Palác, který později vlastnil i vojenský velitel vítězné brněnské posádky při obléhání města Švédy Jean-Louis Raduit de Souches, prošel během svojí existence několika výraznými úpravami.
Během 19. století byl zvýšen o čtvrté patro a jeho fasáda puristicky očištěna podle návrhu Augusta Prokopa. V roce 1938 proběhla rekonstrukce navržená Bohuslavem Fuchsem, při které vznikla nová sgrafitová výzdoba hlavního průčelí od malíře a grafika Emanuela Hrbka. Její ikonografie vychází z činnosti Ústředního svazu českých hospodářských společenstev v Markrabství moravském v Brně, jenž byl až do roku 1948 vlastníkem budovy. Tato organizace pečovala o udržování obchodních styků mezi zemědělskými společenstvy a družstvy a spravovala jejich financování. Na fasádě proto najdeme motivy zemědělských náčiní, fauny a pěstovaných plodin. Současná podoba domu je výsledkem rekonstrukce z roku 2005, kdy bylo zastřešeno vnitřní nádvoří a prosklený parter do náměstí Svobody byl nahrazen úzkými klenutými výkladci.
PH