La ermita de la Santa Cruz o de la Antigua aparece mencionada ya en 1075 formando parte del monasterio de Santa María de Bañares. Posteriormente, al quedarse pequeña para las necesidades de la población, se elevó una nueva iglesia gótica entre los siglos XV y XVI, y la antigua iglesia quedó integrada en el nuevo edificio. En 1975 se trasladó la construcción a un solar vecino, variándose la orientación primitiva.
La ermita (ver plano) consta de una sola nave con una cabecera plana. La nave se cubre con una estructura de madera similar a la original. El ábside, por el contrarío se cubre con bóveda de arista que se apoya en el cabecera en un gran arco ciego de medio punto. A ambos lados del ábside se añadieron dos estancias. Algunos autores ven en esta disposición estructural vestigios de las basílicas paleocristianas. Tanto la estancia del evangelio como la de la epístola se abren a la nave por dos puertas románicas de hechura diferente a las de la portada adornadas con baquetón y dientes de lobo.
La portada se abre ahora hacia el sur. Está situada en un cuerpo avanzado del hastial al que cubre un tejaroz sostenido por nueve canecillos. Sobre la portada cuatro modillones, de los que solo restan tres, sostenían otra estructura ya desaparecida. Consta de cuatro arquivoltas apuntadas y baquetonadas con un guardapolvos de tallos quebrados que se apoyan en capiteles vegetales, excepto el segundo de la izquierda.
Interesante por lo excepcional en el románico riojano, es el tímpano esculpido. En él se representa la escena de la Epifanía o Adoración de los Magos. Según la disposición tradicional, la Virgen entronizada con el niño en su regazo ocupa el centro del espacio, mientras que a la izquierda se disponen los Magos, adaptando la postura al hueco, y a la derecha aparecen San José sentado y otro personaje sin identificar. Sostienen el tímpano dos ménsulas a cada lado, en cuyo intradós aparecen bustos y en el exterior, un toro a la izquierda y un león a la derecha. Entre las ménsulas un crismón señala la influencia del cercano camino de Santiago.
El edificio podría datar de finales del siglo XII, aunque la portada pudo construirse más tarde.
En algún lugar de la localidad de difícil averiguación, dada la extrema cautela de los vecinos, se conserva la arqueta de San Formerio, obra de orfebrería y esmalte datable en el siglo XII.
