有必要的时候就要回避的。根据法律规定,主要是针对法院、检察院、侦查人员的回避要求,一般是1、案件当事人或者其亲属;2、与本案有利害关系;3、担任过本案的证人、鉴定人、诉讼
法律依据
《中华人民共和国刑事诉讼法》第二十九条、第三十一条