Припевът на песента повтаря репликата „Не искам твоите остатъци“, изразявайки отхвърлянето на певеца на остатъците от минали отношения и тяхната решимост да създадат ново и пълноценно бъдеще за себе си.
Текстът също рисува картина на емоционалното пътуване на певицата, докато се примиряват с края на връзката. Те описват, че се чувстват като "призрак" в живота си, борейки се да намерят своето място в света без бившия си партньор.
Въпреки болката и несигурността, песента внушава усещане за устойчивост и надежда. Певецът признава, че те може би все още са преследвани от миналото, но изразява решимостта си да продължат напред.
Като цяло "Your Leftovers" е трогателна песен за любовта, загубата и търсенето на ново начало. Той улавя суровите емоции и предизвикателствата, които идват с преминаването от важна връзка.