Смята се, че фразата произхожда от Съединените щати през 19-ти век, когато шерифите са избрани длъжностни лица, отговорни за правоприлагането в съответните окръзи. Когато бъде избран нов шериф, те често назначават свои заместници и правят промени в начина, по който се прилага правоприлагането. Това може да доведе до значителни промени в местната общност, тъй като новият шериф може да има различен подход към правоприлагането или може да даде приоритет на различни въпроси от предишния шериф.
С течение на времето фразата „нов шериф в града“ започна да се използва по-широко, за да се отнася до всяко ново лице на власт, което води до промени или има значително влияние върху техния район. Сега често се използва в различни контексти, като политика, бизнес и спорт.