El edificio sustituyó a la antigua Aduana situada junto a las Atarazanas. Las obras comenzaron el 20 de noviembre de 1791 y las dificultades surgidas en su realización provocaron su suspensión en1810. Dos años más tarde, los franceses saquearon la construcción y se llevaron materiales por valor de dos millones de reales. La construcción se reanudó en 1826 y se terminó en 1829. Pese a su nombre, nunca fue aduana, sino una fábrica de tabacos primero, y diez años más tarde, en 1939, se convirtió en las oficinas de la renta pública o hacienda.

      El edificio es un cuadrado de 65,80 x 65,40 m con aspecto de fortaleza. En su interior llama la atención el zaguán, de tres naves, , con robustos pilares, del que arrancan dos amplias escaleras con peldaños y balaustradas de mármol, y al fondo el soberbio patio con arquería de medio punto sobre pilares de los pisos bajos bajo y primero, cubiertos sus claustros por bóvedas baídas de ladrillos que resaltan sobre la piedra. Sufrió un incendio el 26 de abril de 1922 que cobró numerosas víctimas. Actualmente es sede del Gobierno Civil.