Текстът на песента подчертава емоционалния смут и вътрешния конфликт, който мъжът преживява. Той признава, че все още мисли за бившата си "всяка нощ и ден" и че "не може да не се чуди" дали тя също мисли за него. Той признава, че трябва да продължи, но се оказва неспособен да го направи, тъй като сърцето му все още е свързано с нея.
Припевът подчертава неспособността на мъжа да отвърне на любовта, която някой друг му предлага. Той пее:„Не мога да те обичам обратно, въпреки че се опитваш много“ и „Все още се държа за призрака на това, което имахме“. Това предполага, че той не е емоционално готов за нова връзка и все още е погълнат от чувствата си към бившия си партньор.
В цялата песен мъжът изразява копнежа си по миналото и желанието си да бъде отново с бившата си. Той пее:„Иска ми се да се върна назад и да отменя всички неща, които направихме“ и „Иска ми се да те държа отново в ръцете си“. Това предполага, че той съжалява за раздялата и се бори да приеме реалността на тяхната раздяла.
Като цяло, "I Can't Love You Back" е трогателна песен за разбитото сърце, загубата и предизвикателствата да преминеш от предишна връзка. Той улавя емоционалния смут и уязвимостта на някой, който все още се бори с последиците от раздялата и не може да намери отново любовта.