El San Cornelio aquí venerado no es el conocido Papa de Roma que sufrió martirio el año 253, sino el hermano de Santa Orosia que, según la tradición, formaba parte de la comitiva que acompañaba a la joven princesa. Al saberse perseguidos por tropas musulmanas, acudieron a refugiarse en estas cuevas, donde todos ellos sufrieron el martirio. De entre los compañeros mártires de Orosia sólo conocemos los nombres de su tío obispo, Acisclo, y de su hermano, Cornelio. Son las tres figuras que constituyen el marco central del retablo de la Capilla de Santa Orosia en la iglesia parroquial de Yebra, fechado en 1624.
Enclavada a 1.270 metros, en la misma vertical del santuario superior de las Cuevas, y a un nivel inferior, aprovecha una estrecha y alargada hendidura de la roca abierta entre el santuario superior y el camino. Queda completamente suspendida en medio de la roca, siendo imposible acceder a ella si no es con la ayuda de algún artilugio humano. Se asciende a este recinto mediante una curiosa escalera-puente de piedra, que vuela por encima del camino.
En su angosto espacio interior observamos la presencia de un altar-relicario en piedra de sillería donde reposaron hasta 1936 los restos del santo titular y demás acompañantes de Orosia.
La original escalera que nos conduce a su interior parece que fue construída en el primer tercio del siglo XVIII. No sería aventurado suponer que hasta esa fecha el modo de acceder a ella consistiera en alguna rústica escalera de madera. El Libro de la Primicia nos informa sobre los costes de la actual construcción:
Año 1732: La Escala de S. Cornelio fue concertada con el antepecho de la Cueba en 12 libras y se han dado al oficial 12 libras. A los jornaleros en dicha fabrica se les ha dado astaqui 2 libras 10 sueldos. A los que vajaron el mortero para la Cueva y Escala de S. Cornelio se les dio para refresco 12 sueldos (II, 18r, 19).
Es posible imaginar que toda, o una gran parte de la actual ermita fue construida en esa misma fecha. Aunque no debiera descartarse la existencia de alguna otra construcción anterior más reducida y rudimentaria. Los constructores de la obra que hoy contemplamos bien pudieron ser los mismos que acababan de realizar importantes obras en la iglesia de la Cueva cuatro años antes. Tal vez deba entenderse por antepecho de la Cueba el actual muro de cerramiento.
Son frecuentes las labores de reparación de las escalas de la Cueva reseñadas en el Libro de la Primicia:
Año 1776: Por una Junta, en bajar del Puerto cal â la Cueva 12 sueldos. Por lebantar las paredes que se avian caido de las escalas de la Cueva y San Cornelio, un Albañil 2 Jornales 14 sueldos. Por 2 Jornaleros cada dia 1 libra (II, 71r).
En medio de tanta austeridad y desnudez que envuelve a este recinto, sobresale un destello de belleza, un broche de arte. De los tres vanos diminutos que iluminan su interior, atrae nuestra atención la primera ventanita a la derecha de la puerta. Adolfo Castán dice de ella que es un curioso hueco adintelado labrado en pieza entera de tosca. Interiormente tiene la arista biselada, pero lo más interesante es el detalle de tres muescas en forma de pico, una superior y dos laterales, que recuerdan los clásicos arquitos conopiales integrados tanto en la arquitectura popular como formal del siglo XVI. Quizá fue ideado con la intención de proyectar sombra cruciforme al interior. Son muescas originales, en todo caso, en una pared aburrida y pobre.