Nei primi documenti l'Abbazia è menzionata con il nome di San Vitale; il nome di San Ruffino fu aggiunto in un secondo momento. Fu costruita per volontà del Vescovo di Fermo e dei nobili di Smerillo e Monte Passillo con il fine di mettere in atto la riforma monastica sostenuta da San Romualdo, promotore della Congregazione camaldolese e San Pier Damiani, teologo e Vescovo italiano.

Notevole era il prestigio dell’abbazia benedettina in cui spesso fecero sosta gli esponenti della famiglia Da Varano. Fino al 1274 ebbe giurisdizione su diverse chiese dei dintorni finché nel 1495 venne data in commenda ad un abate esterno all’Ordine benedettino.

L'Abbazia è di antica fondazione su un locus di preesistenze romane, l'alzato e la cripta sono databili tra l'XI-XII sec. Sul lato sud si trovano il convento a due piani che racchiude al suo interno un cortile centrale e la grande torre campanaria quadrangolare edificata nel XIII sec. che collega il convento con l’edificio religioso.

La chiesa ha struttura basilicale con presbiterio rialzato sopra la cripta, è a tre navate, suddivise da pilastri e con copertura in capriate. Le pareti del presbiterio sono arricchite da due affreschi del XIV e del XV secolo. La cripta, ripartita in cinque navate da colonne non molto alte con capitelli abbelliti da semplici decorazioni a foglia, conserva l'altare con le reliquie di San Ruffino.