En 1884 podríamos decir que comenzó la historia penal a través de la División Expedicionaria al Atlántico Sur, al mando del coronel Augusto Lasserre, quien vino con la intensión de inaugurar las subprefecturas de San Juan de Salvamento y Ushuaia y de instalar un faro en ambos lugares, trabajos que fueron realizados con la colaboración de diez penados.

En 1896 como una historia paralela comenzó la historia de la Cárcel de Reincidentes con el arribo de los primeros catorce penados. El mismo año en que se mudó la prisión militar a Bahía Golondrina, mientras tanto, se colocaba la piedra fundamental del nuevo edificio de la cárcel, bajo proyecto y dirección técnica del ingeniero Catello Muratgia, quien había sido nombrado director del penal en el año 1900. En 1911, el Poder Ejecutivo Nacional dispuso que el Presidio Militar se fusionara con la Cárcel de Reincidentes de Ushuaia.

Esta cárcel es el símbolo de la colonización de Ushuaia. Su construcción comenzó en 1902 y finalizó en 1920. Fue llevada a cabo por los mismos presos y llegó a tener 5 pabellones y 380 celdas unipersonales.

Su objetivo era alojar a los "reincidentes", pero terminaron llegando los criminales mas brutales, estafadores, ladrones, presos políticos, militares, asesinos, etc. Hubo también algunos sentenciados a pena de muerte a los que se les conmutó la pena por presidio por tiempo indeterminado.

Entre los presos más famosos figuran el anarquista Radowitzk, quien mató al comisario Falcón y luego protagonizó una fuga espectacuar por el mar hasta cerca de Punta Arenas, el "Petizo orejudo", Santos Godino, un asesino de niños en Bs As, entre otros.

Los presos con buena conducta recibían como premio la posibilidad de trabajar fuera del presidio, como hacheros o en los talleres. Este trabajo era retribuido, lo que hizo que pudieran ahorrar un poco de dinero para cuando salieran o bien, enviarlos a los familiares. Entre los talleres se contaban los de imprenta, fotografía, zapatería, sastrería, carpintería, panadería, servicio médico y farmacia, los que daban a Ushuaia el abastecimiento necesario, que de otra forma dependían de la llegada de los barcos, con suerte, una vez al mes.

Así, las historias de Ushuaia y el presidio se encuentran estrechamente relacionadas.Los presos, primeros colonos, forjaron en gran medida la imagen que vemos hoy de la ciudad.