A su regreso de Europa, Fr. Agustín se estableció en Curazao. Allí se encontró con muchos católicos, en su mayoría negros y mercaderes franceses, portugueses, italianos y españoles. En esta isla se encontraba el P. Miguel Alejo Schabel, jesuita de Praga, con quien no tardó en enemistarse. El P. Schabel lo acusó ante el obispo de Caracas de ser un jansenista y un propagador de esta doctrina. Dos años después el P. Schabel se fue a Holanda y Caicedo quedó como único sacerdote en toda la isla. Como conocía el flamenco, además del francés, portugués e italiano, se hizo amigo del gobernador holandés, que le dio su apoyo hasta el final. En 1715 Fr. Agustín fue nombrado prefecto apostólico de las islas y colonias holandesas. Caicedo fue un gran defensor del Archiduque de Austria, quien pretendió la corona española frente a Felipe V. Sus cartas fueron interceptadas y se ordenó, en 1714, un mandato de arresto. Por lo cual, no pudo regresar a territorio español y se vio obligado a vivir refugiado en las colonias holandesas. Desde ese momento se dedicó a la evangelización de todos los católicos de aquellas islas. Labor que continuó hasta su muerte en 1738.
En 1753 se encontraba residiendo en Curazao Fr. Miguel Grimón, agustino de la provincia de Nueva Granada, quien había pasado por allí con intención de seguir otro destino (que no especifica), pero al ver que no había ninguno ministro católico que administrara los sacramentos a los fieles, decidió quedarse y atenderlos hasta que llegase un sacerdote. Debió llegar hacia el 1750, pues dice llevar tres años en aquella isla. Por tal motivo escribe al obispo de Caracas, Francisco Julián Antolino, para que envíe un sacerdote, ya que la feligresía pasaba de 30,000 y se le hacía imposible atender a tanta gente. Lo invitaba a que visitara personalmente la isla, pues había hablado con el gobernador y éste le permitiría hacer la visita, además de recibirlo con todos los honores que se merecía. Esta petición la volvió a repetir en cartas sucesivas. Informaba que había construido una iglesia bastante grande con tres naves y cuatro altares. Para la construcción de esta iglesia habían ayudado hasta los fieles de las otras religiones (en su mayoría eran calvinistas), mandando sus esclavos o cooperando con dinero y materiales. En el día de la bendición asistieron el gobernador, su consejo y demás gente principal de la isla. Había realizado tres misiones, a la que asistieron los fieles de las otras religiones, esperimentándose tantas lágrimas como si fueran catholicos.
Sin embargo, los esfuerzos de su actividad pastoral se vieron truncados al poco tiempo y su vida terminó trágicamente. En 1756 las autoridades holandesas enviaron un sacerdote dominico, Fr. Pedro Winand Gambier, para suplir las necesidades espirituales de los católicos. Fr. Miguel fue expulsado y en la travesía hacia el puerto de Coro murió ahogado. Debido a que el padre dominico se comportó mal con los católicos, fue expulsado para Holanda hacia el mes de julio de 1757. Por mucho tiempo la iglesia permaneció cerrada hasta que un sacerdote diocesano, cura de Guama y Cocorote, vino a curarse en aquella isla y se ofreció a ayudar la comunidad católica.
| Agustinos en Puerto Rico | Agustinos en Santo Domingo |
| Agustinos en Cuba | Vicariato de las Antillas |