我该怎么办，大家帮我想个办法

庐州月000

今年5月份在不撸帝上聊了一个附近的，相互加了QQ聊了大概有两个月左右，7月份第一次见面是在我家，就看了一会电视、玩了几把王者，就结束了。见面之后他在QQ上和我说要处bf，我说行，那就处吧。每次问他做什么工作、什么地方上班、住什么地方，通通都是保密，到现在他的情况是一无所知。想约他见个面，到了约定的时间就各种理由推托不见。联系方式只有QQ，想加他微信或者电话号码通通都是保密。因为从五月份开始到现在，只见过一次面，还是七月份第一次见面的那次。前两天我说我们不合适，以后彼此不要联系了，结果他说:你要敢抛弃我，我就敢堵你家门口，反正我去过你家，知道你家地址。看到这个帖子的朋友帮我想想办法，我该怎么办。我之所以说不合适，可能大家觉得我自私或者完全为了性或者其他，但我以上说的没有一句假话。我认为这样处朋友真的没什么意义了。但又怕他真堵我家门口，现在都想把房子卖了，从新买房搬家了。