不一定非要拆除,未取得建设工程规划许可证件或者违反建设工程规划许可证件的规定进行建设的建设者,且只有当违法建设达到“严重影响城市规划”的程度时,才能作出限期拆除的处罚
法律依据
《中华人民共和国城市规划法》第四十条规定