违法拆除违法建筑要赔偿。

根据相关法律法规，只要是物，就存在所有权，即使是违章建筑，也不能否定违章建筑物的权利人对建筑材料的所有权，也就是说行为的违法性不等于财产的非法性。建造行为是违法行为，但认定是否为违章建筑是行政部门的职责，强行拆除违章建筑也是执法部门的职责，其他任何单位或个人不能擅自拆除，因此应予以赔偿。