1954年4月开始，中共中央讨论了撤销大行政区的具体问题，6月通过撤销大区的最终决议。8月17日，高岗自杀身亡。至1954年底，五大行政区先后撤销。由于大区机构非常庞大，撤销后最直接的问题就是几万名干部如何安置。大区高级领导人大部分进入中央任职并且受到重用，普通干部在本地机关和职能、业务部门消化。东北因为出了高岗，高级干部受到株连较多，主要领导几乎全部撤职或降级下放，华东少数干部受到处分。
大区撤销是1954年中国政治体制转向集权的一个部分。1954年9月，第一届全国人民代表大会召开，制定和颁布了《中华人民共和国宪法》，基本框架模仿苏联宪法，明确规定了过渡时期的总任务和建成社会主义社会的总目标。《共同纲领》完成了临时宪法的使命，全国政协也不再是代行人大职能的最高权力机关。大区撤销标志着地方权力收归于中央，第一届人代会标志着中央权力收归于中共。
1956年，在社会主义改造基本完成之际，毛泽东做了《论十大关系》的报告，其中谈到“处理好中央和地方的关系”。“拿我们自己的经验说，我们建国初期实行的那种大区制度，当时有必要，但是也有缺点，后来的高饶反党联盟，就多少利用了这个缺点。以后决定取消大区，各省直属中央，这是正确的。??为了建设一个强大的社会主义国家，必须有中央的强有力的统一领导，必须有全国的统一计划和统一纪律，破坏这种必要的统一，是不允许的。同时，又必须充分发挥地方的积极性，各地都要有适合当地情况的特殊。这种特殊不是高岗的那种特殊，而是为了整体利益，为了加强全国统一所必要的。”
（参考资料：杨奎松《建国初期中共干部任用政策之考察》，范晓春《中国大行政区研究》，王海光《高饶事件再解读》，杨尚昆《回忆高饶事件》，中央文献出版社《邓小平传》《习仲勋传》，《叶子龙回忆录》）
