Djerba soll die geheimnisvolle Lotophagen-Insel aus den Irrfahrten des Odysseus sein, erste gesicherte historische Fakten gibt es aus dem 9. Jahrhundert vor Christus. In dieser Zeit gründeten die Phönizier auf der in der Antike Meninx genannten Insel eine Handelsniederlassung.

Große Mengen gefundener, zerstoßener Murex-Schneckenhäuser lassen darauf schließen, dass sie hier in großem Stil eine Purpur-Manufaktur betrieben. Dieser Farbstoff war zur damaligen Zeit sehr kostbar und wurde im gesamten Mittelmeerraum gehandelt.
Zur Zeit der Römer gab es 4 Städte auf der Insel, Haribus, Tipasa, Meninx und Girba, von der Letzteren leitet sich wohl der heutige Name Djerbas ab.
Damals kamen hier die großen Sklavenkarawanen aus der Sahara und dem inneren Afrika an, die Sklaven und Handelswaren wurden von der Insel nach Rom verschifft.
Die Römer bauten auch den ersten Damm vom Festland zur Insel, wahrscheinlich auf noch älteren Resten aus punischer Zeit, die heutige Dammstraße wurde auf den Resten der alten römischen Verbindung gebaut.
Der Niedergang des römischen Reiches war auch für Djerba mit einem allmählichen Niedergang verbunden. Es folgten die Überfälle der Vandalen (410 n. Chr.), der Byzantiner, der Araber (667 n. Chr.) und der Beni-Hilal-Nomaden im 11. Jh. n. Christus. Um 1135 gaben auch sizilianische Normannen ein zwanzigjähriges Gastspiel auf Djerba, sie wurden 1155 von den Almohaden vertrieben. 1284 geriet Djerba unter spanische Herrschaft, dieses Joch schüttelten die noch heute als aufsässig geltenden Djerbi um 1334 durch einen blutigen Aufstand ab
In der zweiten Hälfte des 15. Jahrhunderts begann unter den Hafsiden langsam wieder ein Aufstieg Djerbas, die Insel wurde zu einem berüchtigten Piratennest.
Zu einer (zweifelhaften Berühmtheit wurde der Korsar Dragut. Er baute die Festung Houmt Souk zur Verteidigung gegen die immer wieder angreifenden Spanier aus, verlor diese aber nach einem Großangriff der Spanier und Malteser, die mit 30.000 Mann anrückten. Dragut gab aber nicht auf und griff seinerseits die Flotte an, bei dieser Schlacht wurden 18.000 Spanier und Malteser getötet. Auf der Festung Houmt Souk waren 5.000 Mann als Besatzung zurückgeblieben, sie gaben nach einer Belagerung durch Dragut auf und wurden alle geköpft, zur Abschreckung ließ Dragut alle Schädel zu einer Pyramide auftürmen, dieses schreckliche Denkmal hatte fast 300 Jahre Bestand und wurde erst 1848 beseitigt.
Danach geriet Djerba unter türkische Herrschaft bis im Jahr 1881 die Franzosen die Insel übernahmen.