La actual Casa de la Cultura es conocida por haber sido un edificio muy polivalente desde su edificación. Cuenta con un patio porticado central, una capilla de estilo gótico y varias dependencias divididas en planta baja, primera y segunda. Originalmente fue erigido como hospital bajo la advocación de Ntra. Sra. de los Ángeles, contando con un fresco representando a la Virgen, San Miguel Arcángel y San Lorenzo, datado en 1527, y otro representando un Calvario (Cristo crucificado con una cruz a cada lado), aunque también ha cumplido las funciones de sede del Concejo de Niebla, casa consistorial (momento en el que se elaboraría el armario-archivo del S. XVIII que se conserva en la primera planta), colegio, cuartel de la Guardia Civil con calabozos e incluso de bar y sede de Correos.
Se sabe que en Niebla existieron cuatro hospitales más, los de San Martín, San Sebastián, San Nicolás y San Esteban, aunque las fuentes los tratan de forma confusa. Posiblemente sus construcciones se debieron a la corriente que llevó a finales de la Edad Media a asemejar las parroquias a los grandes complejos catedralicios, que contaban con edificios de servicio y beneficencia, aunque pronto caerían en desuso por la poca población de la ciudad y los esfuerzos se dedicarían a mantener únicamente el actual.
Su actual función es la de Casa de la Cultura, y en su interior contamos con un centro de interpretación del Condado, diversos elementos arqueológicos (capiteles romanos y visigodos, fuste de columna, diversos objetos cerámicos, un brocal de pozo islámico e incluso una lápida de esa misma época), una sala dedicada a la empleita (artesanía tradicional de Niebla, con la que se elaboran principalmente canastos y esteras, aunque pueden darse otros casos, únicamente entrelazando hojas de palma seca) y otra en la primera planta, donde se ubica el armario-archivo mencionado anteriormente, donde se encuentra una exposición que trata sobre la inglesa, Elena Whishaw, contando también con su piano.
