Il Castello della Fava fu edificato verso il 1200 dai Giudici del Giudicato di Gallura. Dal 1294 fu sotto il dominio pisano, nel 1324 fu ceduto da questi ultimi agli Aragonesi, e in seguito passò ai Giudici di Arborea ai quali restò sino al 1409.
Le parti visibili sono una torre quadrata che supera i 20 metri d'altezza, e le rovine del Mastio.
Il suo strano nome è dovuto ad un episodio accaduto durante un assedio dei Saraceni. L'assedio durò molto tempo, e gli assediati erano sul punto di arrendersi per fame, quando qualcuno ebbe l'idea di mandare un falso messaggio con un piccione viaggiatore (nel quale si diceva che stavano bene e potevano resistere senza bisogno di rinforzi), certi che il piccione sarebbe stato individuato e abbattuto, per rendere più verosimile il messaggio, diedero al piccione l'ultima fava rimasta. I Saraceni abbatterono il piccione, trovarono la fava nel gozzo del piccione e, credendo al messaggio, decisero di andarsene.