Affaire — имя существительное, отрицание rien к нему слабо применимо, я бы поставил aucune! Или общее, но с дополнительным смыслом — jamais и т.п.

Avoire à faire qqch — вполне устойчивое выражение, «что-то делать», то есть всё вместе — «не хочу иметь ничего общего с этими людьми».

Нет разве?