El convento mínimo de Conil (iglesia de Nuestra Señora de las Virtudes) pertenecía a la Provincia monástica de Sevilla. Se suele señalar como fecha de fundación el día de Pentecostés de 1567, por el duque de Medina Sidonia Juan Alonso Pérez de Guzmán, durante el segundo provincialato de fray Pedro de Melgar. El duque hizo donación de la imagen mariana (de mucha devoción en la comarca), así como de viñas y huertas, incluida la torre llamada del Ardal (según Montoya). Morales corrige, de acuerdo con un memorial del Padre Villamayor, y sitúa la fundación en la Ascensión de 1572 (tercer provincialato del Padre Melgar). Montoya le asigna 24 religiosos. La construcción de la mayor parte de iglesia y convento se remonta al siglo XVI, en tanto que otra parte fueron terminados en el siglo siguiente (con fray Luis Vázquez de Dueñas, profeso de 1605). Una importante remodelación tuvo lugar en la segunda mitad del siglo XVIII. Los frailes mantuvieron escuela de primeras letras para los niños de la villa. Durante el siglo XVIII, los mínimos fueron muy valorados en el pueblo como predicadores cuaresmales. Tuvieron que salir durante la invasión francesa en 1810, de modo que cuando regresaron hallaron que el convento había sufrido importantes daños. En 1835 eran sólo 6 religiosos.
Tras la exclaustración, la iglesia quedó como ayuda de parroquia de Santa Catalina de Alejandría, en tanto que el convento fue finalmente destinado a dependencias municipales.