Castel di Sasso sorge su uno sperone roccioso la cui parete occidentale scende a strapiombo sulla sottostante vallata. Località impervia, di grande bellezza paesaggistica è situata tra i sistemi montuosi del Verna e del Friento. La prima citazione documentaria che si ha di questo toponimo è nelle "Rationes decimarum", dove per l'anno 1326 viene riportata la dicitura: "Ad ecclesiam Sancti Blasii de Sasso". Fino al 1863 il paese era denominato soltanto Sasso, dall'antico saxum, "rupe", chiamato così, secondo la tradizione, per alcune analogie morfologiche e storiche con la rupe Tarpea: lo strapiombo ingoiò infatti, in un volo di un centinaio di metri, i Sanniti locali sconfitti dai Romani. Sasso è considerato sentinella dell'antica Trebula, alla cui storia è legato per il periodo romano. Con le invasioni barbariche subì incursioni e devastazioni; fu poi sotto il dominio goto e successivamente sotto i Longobardi. A quest'ultimo periodo risale la costruzione del castello.
Con l'organizzazione feudale attuata dai Normanni Sasso fu incorporato nel feudo di Dragoni, mentre l'amministrazione della giustizia era affidata a una sorta di giuria popolare costituita dai notabili del luogo, i cosiddetti "boni homines". La storia successiva, difficile da ricostruire per assoluta mancanza di documenti, è legata alle vicende dei feudatari di Dragoni cui Sasso era legato. Dal 1327 al 1807 fu sede di giurisdizione arcipretale, come si evince da documenti ecclesiastici. Nel 1799, dopo il fallimento della Repubblica Partenopea, Sasso fu, probabilmente per ritorsione contro l'opera di Decio Coletti, patriota della rivoluzione napoleta-na del 1799, devastata da bande di sanfedisti del cardinale Ruffo.
Dopo l'Unità d'Italia il paese venne ribattezzato Castel di Sasso col regio