视具体情况而定。如果双方是在一个地方，那么是要收回的。公共租赁住房的所有权人及其委托的运营单位向不符合条件的对象出租公共租赁住房的，由市、县级人民政府住房保障主管部门责令限期改正，并处以3万元以下罚款。
《公共租赁住房管理办法》第七条第七条　申请公共租赁住房,应当符合以下条件：
（一）在本地无住房或者住房面积低于规定标准；
（二）收入、财产低于规定标准；
（三）申请人为外来务工人员的,在本地稳定就业达到规定年限。
具体条件由直辖市和市、县级人民政府住房保障主管部门根据本地区实际情况确定,报本级人民政府批准后实施并向社会公布。