Нет.
Жена - это твой осознанный выбор и ты дал обещание любить и заботиться о своей жене и в горе и в радости. Измена не входит в понятие "заботиться"