Малка група вавилонски евреи останаха във Вавилон след персийското завоевание и по-късно изиграха важна роля в развитието на еврейската култура и религия по време на периода на Втория храм. Вавилонският Талмуд, един от най-важните текстове на еврейския закон, е съставен във Вавилон през това време.
През 7 век сл. н. е. Вавилон е завладян от арабските мюсюлмани и става част от ислямския свят. Градът продължава да запада и до 10 век е до голяма степен изоставен. Днес руините на Вавилон се намират близо до град Хила в съвременен Ирак.