山下達郎、大貫妙子、村松邦男、鰐川己久雄、野口明彦の5人により、1973年に結成。

同年9月21日に文京公会堂で行われたイヴェント「CITY-Last Time Around-」に、大滝詠一やココナツ・バンクなどのコーラスとして山下、大貫、村松が参加し、この時期からライヴ活動を頻繁に行う。

1975年4月には、発足したばかりのナイアガラ・レコード第1弾アーティストとしてシングル「DOWN TOWN／いつも通り」とアルバム『SONGS』をリリース。

この頃、ドラマーの野口明彦が脱退し（後にセンチメンタル・シティ・ロマンスに加入）、後任として元村八分〜ココナツ・バンクの上原裕が、またこの直後に今度は元ごまのはえ〜ココナツ・バンクの伊藤銀次が加わり6人編成となる。

その後ベーシストの鰐川己久雄が抜け、寺尾次郎（現在活躍中のシンガー・ソングライター、寺尾紗穂の父）に交代し活動を続けるが、1976年4月1日の荻窪ロフトでのライヴをもって解散。

なおこの間、ライヴ以外にも、CM音楽をはじめ、ナイアガラ・レコードでのセッション（主に大滝詠一関係）や他のアーティストのバッキング＆レコーディング、コーラス（荒井由実、沢チエ、斉藤哲夫、ルネ・シマール、及川恒平、吉田美奈子、風など）などで活躍し、特に彼ら独特のアメリカ東海岸の流れを汲むサウンドやコーラスの手法は、同時代の他のアーティストとは一線を画するものとして注目される。

その後、特に山下や大貫の活躍と共に、シュガー・ベイブは再評価され、度々『SONGS』が再発されたほか、彼らのナンバーはEPOや桑名晴子、つじあやの、benzo、土岐麻子、ザ・キングトーンズなど多くのアーティストによって、カヴァーされているほか、『SONGS』はジャパニーズ・ポップスの定番アルバムとして今なお高い人気を誇っている。