Iako je isticao da djetinjstvo slabo pamti, nikada nije mogao da zaboravi koliko je teško živio. Nažalost, tako je i završio svoj život, a njegova supruga otkrila je potresne detalje o bijedi sa kojom su se suočili.
Kao dječak, Šaban je dobio dječiju paralizu.
-Mnogo sam igrao fudbal, mnogo sam skakao i odjednom su mi stale noge, prepričao je svojevremeno u intervjuu trenutak kada je bolest prekinula njegovo tek započeto školovanje. Proveo je nekoliko mjeseci u bolničkom krevetu, a onda ponovo prohodao i vratio se u klupu.
Šabanove muke počele su kada je otišao u JNA. Pobjegao je, što ga je skupo koštalo.
-Bio sam mlad, trčao sam za ženom. Htio sam samo da je vidim, pa da se vratim. Uhvatili me, otjerali na sud. Nisam imao advokata, otkud to sirotinji? Odredili mi po dužnosti nekog kapetana za branioca, a on ni riječ nije rekao u moju korist. Tužilac me napao, rek’o da sam nemoralan, da takvi ljudi ne treba da žive, da sam izdao zemlju…. Puklo mi nešto u glavi, skočio sam i povikao: Nemo’ da laješ! Ne možete vi mene da osudite, kol’ko mogu da izdržim!, pričao je on u intervjuu.
Kazna od tri godine produžena mu je na pet godina i završio je na Golom otoku. Muke koje je tamo doživio, kako je tvrdio, nikada nije zaboravio.
-Napravio sam grešku koju sam platio više nego što je trebalo, ali, sa druge strane, možda je tako Bog odredio. Na Golom otoku sam završio fakultet. Pročitao sam nebrojeno mnogo knjiga, naučio da sviram i pišem muziku. Tamo sam propjevao, pričao je.
Nakon robije je počeo da pjeva, a bio je i strastveni kockar.
Na jednom ciganskom balu upoznao je četrnaestogodišnju Milicu Simić, Romkinju iz Kragujevca, kojom se i oženio. Zajedno su pobjegli u Beograd.
Nije krio da je pred kraj života živio u siromaštvu, star i bolestan. Samo dva dana pred smrt, 8. juna 2008. Šaban Bajramović je rekao:
-Star sam, bolestan i siromašan i to ne mogu da promijenim. A kad bih se ponovo rodio, ništa ne bih mijenjao, opet bih pjevao. Četvoro djece i dvanaestoro unučadi sam izdržavao, pa sam morao sve da trpim. To pjevanje po svadbama me je i ubilo, rekao je kralj romske pesme.
Preminuo je u 73. godini života u niškom kliničkom centru od posljedica infarkta. Sahranjen je na niškom Novom groblju.
Snimio je 20 albuma i oko pedeset singlova, a napisao je i komponovao više od sedamsto pjesama. Njegovi ljubitelji ga opisuju kao izvanrednog pjevača vrhunskog kvaliteta, “pjevača iz srca i duše”. O kvalitetu njegovih pjesama donekle govori i činjenica da je njegovo izvođenje pjesme “Đelem, đelem“ izabrano za himnu svih Roma svijeta.
