A késő barokk stílusú épület az 1700-as évek közepe táján az Esterházy család számára készült, akik innen irányították somogyi birtokaikat. Udvarán több istálló állt, a háznak nagy virág- és konyhakertje volt, sőt, terjedelmes angolpark is tartozott hozzá. 1798-ban gróf Széchényi Ferenc főispáni kinevezése alkalmából nagy ünnepségeket rendeztek itt. Csokonai Vitéz Mihály ekkor járt a városban, s választotta vígeposza - Dorottya, vagyis a dámák diadalma a fársángon - helyszínéül. Az épület ekkor még földszintes lehetett, egyszerű homlokzati architektúrával.

A 19. század folyamán átépítették, mai formáját a 20. századi helyreállításokat követően nyerte el. Az épület mellett Fritz János 1977-ben felavatott Csokonai–mellszobra áll, a sétáló utca felőli falon pedig Weeber Klára szobrászművész „Igéző” című nőalakja szólítja meg a sétálókat: „Pillants rá a keblemre és ábrándozhatsz kedvedre.”. 

A kaposvári közgyűlés 2014-ben az épület megvásárlása mellett döntött, s a felújítás után az elegáns épület új funkciókkal bővülve, újra az idegenforgalom szolgálatában áll.