Privilegiado enclave desde el que se pueden conseguir las vistas más completas de La Rioja, por eso se llama a este punto "El Púlpito de La Rioja". Su estratégico emplazamiento le permitió jugar un papel decisivo durante la Reconquista. A partir del siglo IX su fortaleza fue atacada en varias ocasiones por el príncipe al-Mundir y la defensa del conde alavés Vela Jiménez fue ejemplar (años 882 y 883). Se documentan como señores del castillo y aldea de Cellorigo a Munio y Vela Ovecoz (1012).

Debió existir un castillo del que hoy no queda huella, aunque se conservan restos de dos torres fuertes de los siglos XII y XIV.

También merece mención la fuente cubierta que se encuentra en la otra vertiente de la peña, parece ser del siglo XIII. En su arquitectura destacan la parroquia de San Millán construida a partir del XV y la ermita románica dedicada a Santa Mª de Barrio, hoy arruinada.