[12] Nacque come residenza fortificata del Vescovo Conte. Era un castello con possenti mura e torrioni a strapiombo sulle rocce sottostanti. La torre più alta, detta Fuso, si ergeva nei pressi del cancello d’ingresso controllando il piano antistante al castello. Di fronte alla Torre del Fuso, per ribadire la propria indipendenza, il Comune alzò la possente Torre del Candeliere più alta e, quindi, più temibile. Il Fuso, trasformato in deposito di polveri, esplose nel 1560. Il castello, abbattute le torri, prese l’aspetto attuale con i lavori voluti dalla dinastia dei Lorena, terminati i primi nel 1744 e i secondi nel 1845 per trasformarlo nell’allora più importante ed efficiente ospedale della Maremma.
