Pasak paties J. Tallat-Kelpšos, Tallat-Kelpšų giminė kildinama iš senųjų totorių bajorų. Esą Gedimiinas iš Kazanės pakvietė Tallat statyti tilto, o 1495 m. Jurbarko žemių dotacijų knygose pažymėta, kad žemės priklauso Prūso I herbo Tallat-Kelpšai.
J. Tallat-Kelpša gimė 1888 m. gruodžio 20 d. Kalnujuose, prie Raseinių. Nuo 1905 m. mokėsi Vilniaus muzikos mokykloje, prof. Veinbreno violončelės klasėje. 1907 m. parašė muziką mitologinei A. Fromo – Gudučio dramai „Eglė žalčių karalienė“. Su šiuo kūriniu jis pirmą kartą pasirodė kaip dirigentas ir kompozitorius. 1909 m. Vilniuje J. Tallat-Kelpša prisidėjo prie pirmojo lietuviško spektaklio – Keturakio „Amerika pirtyje“ – 10-mečio minėjimo, pastatė ir dirigavo M. Petrausko operą „Birutė“.
J. Tallat-Kelpšos kūryboje svarbią vietą užima lietuvių liaudies dainų pritaikymas solo balsui su fortepijonu ir chorui. Kompozitorius siekė labiausiai išryškinti atskirų krašto vietovių būdingus dainų brupžus.
Jis vienas pirmųjų pradėjo kurit originalias lietuviškas solo dainas, romansus.
Mirė 1949 m. vasario 5 d. Palaidotas Vilniaus Rasų kapinėse.