Hrad plnil roli vojenského i správního střediska okolí. Po většinu své aktivní" existence patřil Rožmberkům. Náklady na údržbu a opravy byly ale tak velké, že se Petr z Rožmberka rozhodl s nimi v roce 1506 skončit. Vnitřní zařízení dal odvézt do Krumlova (Českého) a hrad ponechal jeho osudu.

Zachovala se zakládací listina hradu, k jehož vybudování dal souhlas Karel IV. Postavili ho na skalnatém ostrohu před ústím Kremžského potoka do Vltavy. Přirozenou ochranou mu byly strmé stráně. Soustava příkopů, hradeb a věží důmyslně opevňovala vlastní obytný hrad, předhradí s obytnými budovami a stájemi i typicky rožmberský ulicový latrán. Později budované vnější opevnění zpevňovaly dvě čtyřboké bašty. Oba palácové trakty vlastního hradu, zřejmě budované každý v jiné době, spojovaly na bočních stěnách vysoké zdi. Ty nesly na stranách do nádvoří pavlače, které usnadňovaly přímé a rychlé spojení.