La leggenda racconta che nella seconda metà del 1500 il conte Bernardo Tizzoni, ormai non più giovane, si innamora perdutamente di una giovane ed avvenente fanciulla la quale, per ovvi motivi di interesse, accetta il corteggiamento e diventa la sposa del vecchio e ricco signorotto di Desana (Vc).
Il castello era di sovente frequentato da letterati ed artisti provenienti da ogni dove e dalle famiglie nobili della zona tra le quali anche i conti Tizzoni di Rive, altro ceppo della famiglia dei Tizzoni di Desana, ma che a differenza di questi erano molto ricchi perché possedevano, a quanto si dice, una Zecca privata nelle cantine del castello, e potevano così coniarsi privatamente ricchezze smisurate battendo monete (false) di ogni parte d’Europa. I Rive erano ormai ridotti sul lastrico, così sfruttavano la bellezza e la giovinezza del rampollo della casata, che essendo giovane e bello, cercava una ricca dote per risollevare le casse della casata.
Il conte Bernardo era un uomo molto geloso della sua avvenente consorte, e come spesso accade in castelli molto frequentati dove venivano fatte feste e banchetti di ogni tipo, le visite da parte di baldi giovanotti erano pressoché inevitabili, e la bellezza della giovane donna non passava certo inosservata.
Fu proprio così che la bella fanciulla si innamorò del giovane conte di Rive. Non molto tempo dopo l’inizio della tresca, Bernardo li scoprì e tentò di cacciare il ragazzo dalla sua preda, ma senza sortita.
Sempre secondo la leggenda, i due ragazzi riuscirono a rinchiudere il conte nella torre di destra del castello, dove rimarrà segregato fino alla sua morte.
Pare che da allora l’anima inquieta di Bernardo si aggiri per il castello alla ricerca della sua bella consorte, al fine di consumare la sua terribile vendetta. E’ proprio nella torre di destra del castello che qualche anno fa, uno dei fratelli Vercellone, attuali proprietari del castello, visse in prima persona un’esperienza indimenticabile. Marco racconta che mentre si trovava in un bagno creato nella torre in questione, cercò di afferrare l’accappatoio e questi, con un movimento brusco, si spostò; provò allora una seconda volta ed esso si spostò ancora; spaventato, decise di trovare un’altra alternativa per asciugarsi utilizzando un asciugamano. Lo spettro non ha mai fatto nulla di male alle sue “vittime”; si è però manifestato altre volte nei modi più disparati: da rumori inspiegabili in alcune stanze del secondo piano dell’ala centrale del castello, al classico fruscio di catene, arrivando addirittura a scambiare di posto ai quadri sulle pareti.