De la antigua Alcazaba de Estepa localizada en la zona de mayor altitud y posteriormente Palacio de los Marqueses, solo queda el solar, restos de algunos aljibes y algunas paredes.

Mediante los planos realizados en 1543 por los canteros vizcaínos Maese Miguel de Beyçama y Sancho de Garra, que estaban dirigiendo las obras de Santa María, podemos conocer cómo se encontraba la fortaleza y el alcázar en esos momentos. La puerta del alcázar parece ser que se encontraba en el flanco norte, frente a la antigua Plaza de la Villa o Villa Vieja, dando lugar a una entrada en recodo para una mejor defensa. Pequeñas torres conformaban el perímetro de la muralla interior o muralla del alcázar, donde se situaban los aljibes.

Según la documentación histórica, la aportación de los marqueses a las obras de fortificación de la villa debió concentrarse en el acondicionamiento y la transformación del alcázar en palacio, como desde entonces se le llama en los documentos.