Op de plaats van het huidige kasteel stond een tweede, jongere vesting, die waarschijnlijk in de helft van de 15de eeuw was gebouwd, nadat de oudere vesting, die in zuidwestelijke richting van Kácov, aan de linkeroever van de Sázava bij Soušice stond, was vervallen. Vanaf het einde van de 14de en het begin van de 15de eeuw was Kácov onder enkele eigenaars opgedeeld en daarom is het misschien mogelijk, dat er gedurende een zekere periode de twee vestingen naast elkaar stonden.
Op de plaats van het huidige kasteel stond een tweede, jongere vesting, die waarschijnlijk in de helft van de 15de eeuw was gebouwd, nadat de oudere vesting, die in zuidwestelijke richting van Kácov, aan de linkeroever van de Sázava bij Soušice stond, was vervallen. Vanaf het einde van de 14de en het begin van de 15de eeuw was Kácov onder enkele eigenaars opgedeeld en daarom is het misschien mogelijk, dat er gedurende een zekere periode de twee vestingen naast elkaar stonden.
Een vermelding van de vesting op de plaats van het kasteel dateert uit 1473, toen het van drie derden eigendom van Kuneš van Olbramovice was. De bouwmeester koos een plaats aan de zuidelijke kant van Kácov, aan de rand van een rotsige helling die steil naar de Sázava daalt. Deze helling vormt een natuurlijke verschansing, die aan de noordelijke zijde met een kunstmatige verschansing was verlengd, die vandaag de dag volledig is verdwenen. De oorspronkelijke vorm van de vesting kan na enkele verbouwingen niet meer worden hersteld.
Onder het regentschap van Jan Oktavián Kinský brak in 1627 op de landgoederen van Kácov een lijfeigenenopstand uit en de opstandelingen hadden ook de vesting geplunderd. Pas na 1630 werden herstelwerkzaamheden uitgevoerd, onder Bnigna Kateřina van Lobkowitz. Zo ontstond een barok kasteeltje, met een stenen begane grond en houten eerste verdieping. Het kasteel werd eigendom van František Scheidler en die liet het verder uitbouwen. In de jaren 1727 - 1733 liet de Toscaanse gravin Anna Marie Františka het verlaten kasteel van Kácov, dat jarenlang geen aandacht van zijn heren kreeg vanwege hun schulden, in de stijl van de barokke Noord-Italiaanse adellijke zetel verbouwen. Deze verbouwing veranderde grondig de vorm van het areaal van de voormalige vesting, de laatste overblijfselen van de schansen verdwenen en van het oude gebouw zijn slechts enkele funderingsmuren overgebleven. Nieuw kasteel werd op een ongelijke vlakte gebouwd, zodat zijn zuidelijke voorgevel in de richting van de Sázava twee verdiepingen hoog was, terwijl de noordelijke, waar ook de hoofdingang was, één verdieping. Kasteel heeft een rechthoekige plattegrond, waarbij de kortere westelijke en oostelijke zijden met torenachtige uitbouwsels werden versierd. Deze uitbouwsels zijn net zo hoog als het hoofdgebouw en waren daarom met barokke knolachtige koepels versierd. In het interieur liep door het kasteelgebouw een gang als een as van beide verdiepingen, die op het hoogste gedeelte boven het dak van het kasteel in de vorm van een rechthoekige halve verdieping uitsteekt, en daardoor een typische silhouet van het kasteel creëert. Vanuit de gang was de toegang naar de meeste vertrekken. Binnen is het kasteel voornamelijk met stucwerk versierd. Het rijkst was de kasteelkapel versierd. Voorgevels waren met wandschilderijen versierd, met in valse ramen verschillende figuren. Het kasteel was aan de zijde van het plein door een simpele muur met een barokke poort afgescheiden. In deze vorm vinden wij het kasteel eigenlijk nog steeds.