In het Madrid van de jaren veertig. Juan speelt piano voor Pepita en haar podiumpartner Mario. Hoewel Mario Juan echt voor zichzelf wil stelen, is Juan niet geïnteresseerd en neemt Mario als troost zijn toevlucht tot een reeks geliefden. Wanneer hij van een jonge edelman houdt (en deze verlaat), wil de jongeman wraak.
Muzikant Adam Lemp en zijn vier even muzikale dochters, Emma, Ann, Kay en Thea, leven gelukkig samen. Elke dochter heeft een oprechte jongeman voor wie ze zorgt. De komst van een cynische, slordige jonge componist genaamd Mickey Borden zet het huishouden echter op zijn kop, en er ontstaan romantische en tragische complicaties.
1958: Newport, Rhode Island is het zomerse decor voor het jaarlijkse jazzfestival in dit kleine stadje aan de oostkust van de Verenigde Staten. Behalve een registratie van de optredens van muzikale grootheden als Louis Armstrong, Thelonious Monk, Mahalia Jackson en Chuck Berry, schetst 'Jazz on a Summer's Day' ook een tijdsbeeld van de stijlvolle Amerikaanse fifties.