Casa Museo Jorge Bonsor Castillo de Mairena está emplazado en un castillo bastante bien conservado de la arquitectura militar cristiana de la Baja Edad Media.

Consta de dos partes claramente diferenciadas, tanto por su cronología como por su estructura. La primera data de mediados del s. XIV, cuando Pedro Ponce de León estableció el señorío. Consta de cuatro torres de siete metros de altura, unidas por lienzos de muralla por sus esquinas interiores formando un gran patio de armas cuadrangular con silo y pozo. Toda la edificación fue construida con muros de tapial, estando reforzadas las torres en las esquinas con cantería. Hacia 1470, en plena guerra civil castellana, Rodrigo Ponce de León, marqués de Cádiz, reforzó el castillo adaptándolo al uso de la artillería, construyendo un grueso muro bajo en todo su perímetro exterior dotando de troneras para bocas de fuego. Además construyó una puerta con acceso acodado saliente y un profundo foso cavado en la roca de base, salvado por un puente levadizo.

Como ocurrió con otras muchas fortalezas, en la Edad Moderna la tranquilidad interior de la península hizo que el castillo perdiese toda su utilidad militar. Se encontraba en un avanzado estado de ruina cuando 1902 lo compró Jorge Bonsor para restaurarlo y convertirlo en su residencia.