La Rocca di Assisi venne costruita come castello feudale tedesco e si racconta che fu ospitato Federico II di Svevia da piccolo, affidato per l'educazione al duca Corrado di Liutzen. Nel 1198 il popolo di Assisi, tolse al duca la rocca e la demolì. Questa venne ricostruita solo nel 1367, quale cardine difensivo della città di Assisi per volere del cardinale francese Albornoz ed appartenne poi a quanti tennero la signoria della città.
Nel 1458 il Signore di allora, Jacopo Piccinino, fece costruire il torrione dodecagonale e il lungo muro di collegamento; Papa Sisto IV restaurò il mastio nel 1478 e Paolo III fece erigere nel 1535-38 il torrione circolare vicino all'ingresso.
Dal suo piazzale si scorge il centro sottostante e si gode uno dei panorami migliori di tutta la Valle Umbra. La Rocca in attesa di una definitiva destinazione, ospita frequentemente esposizioni e rassegne d'arte.
La Rocca Maggiore così come oggi appare è frutto di sovrapposizioni e aggiustamenti continui: é costituita da una robusta cinta trapezoidale con torri in ciascun angolo tutte quadrate meno una circolare (cinquecentesca) con resti di merli e controscarpa. Al centro è il quadrilatero castello munito di un'alta torre (o femmina); la cinta (che prosegue fino alla Rocca Minore) è riunita alle mura urbiche da un lungo camminamento che termina con la torre dodecagona.
Nel 1956 il vescovo di Assisi designò la chiesa del Crocifisso, posta all'interno della Rocca Minore, quale sede della Compagnia dei Cavalieri del Colle del Paradiso con la conseguente cessione gratuita, i quali provvidero ad eseguire alcune opere di consolidamento della struttura.
Il Cassero di S. Antonio, meglio conosciuto anche dagli assisani come rocca Minore, deve il suo nome alla confraternita di S. Antonio e S. Giacomo che si trova presso la porta dei Cappuccini sottostante alla rocca. Viene anche chiamata Rocchicciola. Entrambe le rocche sono collocate nei punti più alti di Assisi e sono collegate tra loro da una lunga muraglia nella quale , si crede, ci sia un percorso segreto.