I primi cenni storici riguardo all'esistenza di una torre d'avvistamento le abbiamo nei Commentari Istorici di Monaldo Monaldeschi della Cervara, che parla di una torre fortificata trasformata in castello durante il regno longobardo di Re Desiderio (VIII secolo). E proprio la famiglia dei Monaldeschi prima, e il suo ramo della Cervara poi, saranno signori del castello e proprietari di molte delle terre intorno, dal 1200 al 1700. Il castello passò, per via ereditaria, ai marchesi Bourbon del Monte in seguito al matrimonio di Gia' Mattia del Monte con Anna Maria Monaldeschi, nella seconda metà del Seicento. Il borgo di Torre Alfina, nel frattempo, intorno alla metà del '400 aveva raggiunto una certa autonomia amministrativa costituendosi in comune rurale dipendente da Orvieto.
Nel 1809 il piccolo comune con il riassetto territoriale della rivoluzione francese fu assegnato al circondario di Todi e al cantone di Acquapendente e poco dopo, a causa del calo demografico, fu addirittura soppresso e il suo territorio aggregato al comune di Acquapendente. L'assetto amministrativo deciso dai francesi verrà confermato anche dal nuovo Regno d'Italia, facendo diventare Torre Alfina una frazione del comune di Acquapendente.
Durante la spedizione garibaldina nell'agro romano, del 1867, il generale Giovanni Acerbi la scelse come suo quartier generale, in virtù della sua posizione geografica favorevole, da dove proclamò la prodittatura. il castello e la sua tenuta rimasero proprietà dei Bourbon del Monte fino al 1880 circa quando furono acquistati da un ricco banchiere ebreo belga, Edoardo Cahen d’Anvers che fu nominato marchese nel 1885 da Umberto I e si fregiò del titolo di Marchese di Torre Alfina, dando il via alla ristrutturazione del palazzo come oggi appare, secondo il progetto affidato all'architetto senese Giuseppe Partini. A Edoardo successe Teofilo Rodolfo Cahen, che continuò l'opera di ristrutturazione. Passato di mano per eredità nel 1959, il castello fu acquistato da Alfredo Baroli, passando poi a Luciano Gaucci. In seguito al fallimento del Perugia il Castello è stato pignorato e messo all'asta. In attesa di un nuovo compratore è stato affittato alla famiglia di ristoratori romana Boscolo.