La leggenda si tinge di prodigioso: un miracolo della Madonna ricoprì di fiori un ciliegio secco, testimoniando la rinascita e la libertà che gli il popolo di Acquapendente stava preparando contro il tiranno. Infatti, i coraggiosi concittadini riuscirono a ribellarsi al dominio imperiale, radendo al suolo il castello che ne rappresentava il potere e riacquistando la libertà. Da questo eroico gesto ha origine la tradizione dei Pugnaloni e la festa della Madonna del Fiore, che si tengono nella terza domenica di maggio.
La torre compare fin dalla prima stampa della città (1572) proprio in cima al colle che domina sulla sinistra il paese. È assente, invece, sulla stampa a volo d’uccello del Guicciardi (1582) e ricomparire con tanto di orologio nella riedizione del De Rossi (1686).
Orologio che già esisteva nel 1588 come annota lo storico locale P. P. Biondi “li quattro colli che sono inclusi si domandano, uno dell’oriolo, per causa dell’orologio che vi sta, ma anticamente si chiamava castello dell’imperatore, perché ivi habitava già l’imperatore, che fu padrone di detta terra”.