En el siglo XVIII un incendio destruyó parte del templo, siendo reconstruido en 1780 por mandato de Carlos III, que al parecer sentía gran devoción por la Virgen de este lugar. La nueva construcción se hizo en estilo neoclásico, no respetando la anterior edificación, lo que supuso la desaparición de prácticamente toda la traza del antiguo monasterio, salvo los capiteles antes citados.
La abadía así reconstruida no tuvo un largo periodo de vigencia. En 1808, fue saqueada por las tropas de Napoleón en la Guerra de la Independencia y poco después la desamortización de Mendizábal terminó con la actividad religiosa del monasterio. La mayor parte de las reliquias y documentos fueron trasladados a Palencia. La Abadía fue subastada y durante más de un siglo pasó a depender de manos privadas, que la dieron usos muy diversos: explotación agropecuaria, hostelería, colonias escolares, sanatorio de tuberculosos, etc.
Es destacable su utilización como hotel de montaña, allá por los años 30 del siglo pasado. Al respecto, Camilo José Cela dejó escrito en su novela San Camilo, 1936 lo siguiente: “en la abadía de Lebanza por doce pesetas te dan pensión completa en habitación con agua fría y caliente y lavado de ropa incluido, cinco comidas diarias y toda la leche y todos los huevos que quieras y seas capaz de comer…”.
En 1943, la Abadía se vendió al obispado de Palencia, volviendo a ser de propiedad eclesiástica. Fue entonces cuando se instaló el Seminario Menor de la diócesis y se amplió el edificio hacia el oeste, con un nuevo patio. Alrededor de la abadía se instalaron cuadras, panadería, carnicería, molino e incluso un pequeño puesto de la Guardia Civil, cuyos guardas eran además artesanos, para ser autosuficientes durante los meses de invierno y aislamiento por las nevadas. En 1959 el seminario se trasladó a Carrión de los Condes, y la Abadía quedó únicamente como seminario de verano. Durante años vinieron a la Abadía importantes intelectuales de la época a dar charlas y cursos.
Lo que hoy día podemos observar, poco tiene que ver con la importancia de este lugar en el pasado. Actualmente el edificio se utiliza únicamente en los meses de verano para colonias y campamentos de jóvenes, mientras que los pastos de la finca son arrendados a ganaderos.
En el interior, el edificio cuenta con aulas, dormitorios, cocinas y comedores, agrupados en alas en torno a los patios.
La capilla o iglesia abacial es de estilo neoclásico, con planta de cruz griega y la cabecera se cubre con bóveda vaída. En el presbiterio se pueden leer dos inscripciones que ilustran los acontecimientos históricos de la Abadía. También se halla una imagen de la Inmaculada del siglo XVI y otra de San José con el Niño, del siglo XVIII.
La talla de la Virgen de Lebanza con el Niño, se custodia actualmente en el Seminario Mayor Diciocesano de Palencia. Se trata de una representación gótica (s.XIV) en madera policromada.