大都也在同年落成，忽必烈统一天下，便将上都作为避暑的行都﹐春去秋还，形成两都制的格局。元朝皇帝在上都期间，政府诸司都随往，以便处理政事。元帝除在这里狩猎行乐，处理朝政之外，还接见蒙古诸位王公贵族，并举行祭天大典。故此上都城内汉家宫阙与蒙古毡帐并存，并行不悖，相映成趣。
元末红巾军事起，各地义军纷纷起兵相应，一时间风起云涌，元军疲于应付。在元顺帝至正十八年（公元1358年）农历十二月，红巾军分道北伐﹐中路关先生﹑破头潘所部一路过关斩将，竟然了攻陷上都，焚烧宫殿，搜夺财宝，大掠七日后才撤离。自此，元上都地位一落千丈。
明洪武元年（公元1368年）正月，朱元璋在南京称帝，建立大明王朝，并派遣徐达率军北伐，同年七月，元顺帝从大都逃往上都。次年，明朝大将常遇春、徐达率领的中路大军攻克元上都。至此元帝国又开始了逐水草而居的游牧生活，史称北元。
明洪武二十九年（公元1396年），朱元璋将元上都正式设开平卫指挥使司，作为宁王朱权就藩之地大宁卫的侧翼保障，然后大力经营，加强屯守，并修缮城垣，与大宁卫并称塞外强镇。