しかし、2001年の中央省庁再編という巨大な行政改革の波が、この最強のポストに終わりを告げる。行政の効率化と縦割り打破を掲げた橋本龍太郎内閣の改革案により、自治省、郵政省、総務庁の3府省庁が統合され、巨大省庁である総務省が誕生した。
この統合劇の舞台裏では、壮絶なナワバリ争いと権力闘争が繰り広げられた。旧自治省側は地方財政権の独立性を守るべく激しく抵抗したが、情報通信行政を握る旧郵政省、行政監察を担う旧総務庁との合体により、自治大臣の権限は「総務大臣」へと引き継がれることとなった。統合によって発足した総務省は、巨大化した反面、旧省庁間の内部牽制が働く複雑な組織体へと変貌を遂げたのである。