Gegründet 1969, bestand die Band ursprünglich aus Duane Allman (Gitarre), Gregg Allman (Gesang, Keyboard), Dickey Betts (Gitarre), Berry Oakley (Bass), Butch Trucks (Schlagzeug) und Jaimoe Johanny Johanson (Percussion). Die eigentlichen Allman-Brüder, Duane and Gregg, spielten zuvor in verschiedenen Bands, u. a. den Escorts, den Allman Joys und zuletzt Hour Glass. Als Hour Glass ihren Plattenvertrag verloren, gründete Duane die Allman Brothers Band.

1969 brachten sie ihr gelobtes, aber wenig beachtetes erstes Album heraus, The Allman Brothers Band. Das zweite Album Idlewild South (1970) war bereits ein Achtungserfolg. Das dritte Album Live at Fillmore East (1971) brachte den endgültigen Durchbruch. Wenig später starb Duane Allman an den Folgen eines Motorradunfalls.

Die Band beendete das mit Duane begonnene Album Eat a Peach. Chuck Leavell (Piano) wurde in die Band aufgenommen. Nach der Veröffentlichung von Eat a Peach starb auch Berry Oakley durch einen Motorradunfall, nicht weit von der Stelle, an der Duane verunglückt war.

Lamar Williams ersetzte Berry. Das nächste Album Brothers and Sisters erschien 1973. Es enthielt die heute bekanntesten Hits der Band, Ramblin' Man und Jessica. Das Live-Album Wipe the Windows, Check the Oil, Dollar Gas kam 1976 heraus.

Aufgrund persönlicher Differenzen driftete die Band auseinander. Gregg Allman und Dickey Betts starteten Solo-Karrieren. Gregg heiratete Cher, und das gleich zweimal. Drogenmissbrauch forderte seinen Tribut. 1975 entstand das unausgeglichene Album Win, Lose Or Draw. 1976 sah das Ende der Band, nachdem Gregg Allman in einem Drogenverfahren gegen einen Bandmitarbeiter ausgesagt hatte. Leavell, Johanson und Williams gründeten Sea Level, während Betts an seiner Solo-Karriere arbeitete. Es erschienen einige Alben mit bisher unveröffentlichten Aufnahmen.

1978 gab es eine Wiedervereinigung der Band ohne Chuck Leavell und Lamar Williams, mit Dan Toler (Gitarre) als neuem Mitglied. 1979 kam das Album Enlightened Rogues heraus.

Die 1980er waren für die Allman Brothers Band die mageren Jahre. Erst 1989 stellte sich der Erfolg wieder ein.