结婚时男方给女方家在一起有12万彩礼,给的时候女方承诺以后会带回来,这些彩礼是男方借亲戚的钱，现在因为一些事亲戚催还账，于是向女方家借了10万，男方觉得不用还用彩礼钱抵消，但是女方不同意，现在夫妻两就此事闹矛盾，男方觉得女方家人不近人情，该如何解决，求教