Il castello di Castiglion che Dio sol sa prende il nome dalla natura del luogo, selvaggio ed isolato, in cui sorge. Il suo aspetto non è molto diverso da quello che doveva presentare nel corso del XIII secolo: una corte fortificata, alla quale si accede tramite un portale con arco a sesto ribassato, circondata da alcuni edifici di età medievale e dominata da un’alta torre, con finestre ad arco e una cornice sagomata che corre all’altezza del loro davanzale. Un fabbricato posto in un angolo del cortile contiene, al piano inferiore, l’antica chiesa di S. Andrea, alla quale si accede dall’esterno. Attorno a questo complesso si sviluppava anticamente un borgo, compreso all’interno di un secondo circuito fortificato del quale sono visibili numerosi resti. Il castello era anticamente noto come Castiglion Balzetti. I materiali ceramici rinvenuti nel corso di alcuni scavi consentono di datare la sua origine al secolo X, ma il primo documento che lo menziona risale al 1212. Il Constituto senese del 1262 lo ricorda per i boschi che lo circondavano, dai quali era vietato raccogliere legna per un valore maggiore di due denari. Agli inizi del 1300 apparteneva alla famiglia senese dei Saracini.