En enero de 1779, la expedición al mando de Juan de la Piedra descubre el Golfo de San José. Se produce el desembarco en lo que actualmente es la playa Villarino.
Una orden del Rey Carlos III disponía poblar estas tierras con labradores, artesanos y hasta 200 familias, debiéndose establecer también guarniciones para asegurar el dominio de la corona.
Es así que el 20 de enero comienzan a construirse las primeras construcciones y a trazarse los canales de riego. Poco tiempo después una parte de la población se traslada a un nuevo emplazamiento fundado en lo que hoy es Carmen de Patagones y Viedma, debido a la difícil situación creada por la falta de agua potable. Finalmente en 1810, un malón tehuelche arrasó con el Fuerte que por ese entonces se denominaba Candelaria.
Será recién después de la campaña de Julio A. Roca que se vuelve a poblar el emplazamiento con hombres blancos.
Años más tarde, Puerto San José cede prevalencia a Puerto Piramides, sin que quede en la actualidad señales de las primitivas edificaciones.
Como en todo lo largo de la costa patagónica, un problema fundamental para la instalación de población fue la falta de agua potable, ya que la salinidad de las aguas hacía casi imposible la permanencia de comunidades.
Las referencias más fidedignas de los comienzos de Puerto Madryn están dados por los relatos de los colonos que desembarcaron del Mimosa, nave que al arribar a las actuales playas de Madryn en septiembre de 1865, se encontró con chozas de madera construidas como refugio para mujeres y niños, constituido a la sazón por una comunidad de 41 mujeres y 61 menores.
Estos refugios fueron previamente cuevas que se tallaron en la tosca de los acantilados y rocas fáciles de trabajar.
Según los datos con que cuentan los historiadores, todo esto ocurría en la zona de Punta Cuevas,