あなたが離婚に合意しない場合、最終的には相手が離婚の調停や裁判を起こすことになると思います。
　裁判になると、ご質問のケースでは相手がいわゆる有責配偶者に該当すると思われます。
　判例によれば、特段の事情がない限り、原則として、有責配偶者からの離婚請求は認められません。ただし、あなたの主張を証拠によって裏付ける必要がありますので、慎重な対応が必要です。
　また、見方を変えれば、相手や不倫相手に対して慰謝料などの損害賠償を請求するといった対応も可能です。
　いずれの対応においても法的知識が必要になりますので弁護士にご相談されることをお勧めします。