Mir hat es im März/April am besten gefallen, da ist es mittags so warm, das man im Hemd rumlaufen kann, und abends in einer dünnen Jacke - es geht ein frischer Wind und verglichen mit dem Sommer ist die Luft klar und angenehm. Man kann auch viel Grün sehen, weil es ab und an mal ein bißchen regnet. :-)
Will man natürlich schwimmengehen und ist nicht abgehärtet (auch im Winter hat das Meer 14-17 Grad, fast Nordseetemperatur), dann ist womöglich der späte September/Oktober am besten geeignet, da ist das Wasser gleich warm oder wärmer als die Luft, es gibt Wolken und manchmal (warmen) Regen, so daß es nicht so heiß und trostlos ist.
Im Winter würde ich schließlich fahren, wenn man gerne lange Wanderungen unternimmt und/oder die Sahara für einige Tage besuchen will.