Oude fundamenten
De fundamenten van de vroegere Sint Maartenskerk zijn in 1959-1960 ontdekt tijdens de wederopbouw van Eusebiuskerk na de verwoesting van de kerk in de Tweede Wereldoorlog. De Sint Maartenskerk is de voorganger van de Eusebiuskerk en wordt in 893 voor het eerst benoemd als eigendom van het klooster in Prüm, Duitsland. Deze kerk wordt in de negende eeuw verbouwd tot kleine Romaanse basiliek, waarvan de fundamenten buiten het koor van de huidige Eusebiuskerk liggen.
Graven van de hertog en Oranjes
In de grafkelders onder de Eusebiuskerk worden onder meer de overblijfselen van Karel van Gelre bewaard. Eén grafkelder is toegankelijk, van daaruit zijn drie andere kelders te zien. Eén kelder is voorzien van het wapen van Gelre met de Gelderse en Gulikse leeuw. Daar staat een loden grafkist met de stoffelijke resten van de Hertog van Gelre, die op 30 juni 1538 op zeventigjarige leeftijd overleed.
De skeletten van drie neven van Willem van Oranje worden in een andere grafkelder bewaard. De Eusebiuskerk heeft zo via het voorgeslacht van koning Willem Alexander een connectie met Nederlandse koningshuis.