货到付款，拒收但是没有联系到卖家怎么办？

我在某鱼上买了个二手机，与商家说明了如果不满意的话就可以退货，是货到付款，到货之后发现手机没电，开不了机，但是又联系不到商家叫他验收，某鱼上显示的是那个商家违反规定被封号了，然后我打订单号上的电话显示的是空号，我并没有付款，快递员说等三天后就显示拒收就好了。我很疑惑的是如果没有联系上商家的话就算退货不成功吗？那这要怎么处理呢？是我照着之前的金额付给快递员吗？

-----------------------------