La ville de Bourges fut pour la première fois évangélisée par Saint Ursin, envoyé dans les gaules par les disciples des apôtres.
Cet évêque y fonda une église qu’il gouverna.
A sa mort, il fut inhumé dans le cimetière commun aux portes de la ville. 
Vers 558, à la suite d’une révélation, Saint Aoust, Abbé de Saint Symphorien de Bourges et de Saint Germain, Evêque de Paris, levèrent le corps de Saint Ursin qui n’avait encore souffert d’aucune corruption et l’inhumèrent dans l’église de Saint Symphorien au pied de l’autel. Il était invoqué contre la fièvre.
 
Ses restes furent confiés à Lisieux lors d’une épidémie de peste en 1055, celle-ci cessa aussitôt.
Lors du retour de la châsse de Saint Ursin vers Bourges, elle devint si pesante qu’il fut impossible d’avancer !
Dès que l’on s’en retournait vers Lisieux elle redevenait plus légère.
Elle fut donc déposée à Lisieux en l’église Saint Jacques.
 
L’église d’Epron a reçu une relique de Saint Ursin à la fin du XI^e siècle.