L'edificio, già intitolato alla Visitazione della Vergine Maria, fu edificato alla metà del Seicento a cura della Compagnia. Diversi interventi di restauro effettuati durante la prima metà del Settecento portarono ad un notevole ampliamento dell'oratorio, al rialzamento del soffitto dell'unica navata, alla costruzione dell'arcone del presbiterio e del nuovo portale d'ingresso. Dopo la soppressione della Compagnia, la chiesa rimase aperta al culto di un crocifisso del secolo XV, oggetto per secoli di straordinaria devozione popolare e ancora conservato presso l'altar maggiore.
L'edificio andò quasi completamente distrutto durante la guerra ad eccezione dell'arcone del presbiterio, di parte della facciata e del loggiato antistante.