如果有人造谣诽谤无中生有，说你跟这个又跟那个？

谁主张谁举证，没有证据，难以维权，不仅仅适用于说你的人，而且包括您说他人同样要有证据

身正不怕影子斜，它说它的只要你没做就好了

这个你是亲声听到还是别人给你说的呢。如果是自己听到的你可以找个时间告诉他一声，不要招摇，要不能就要你坐牢。还有就是听别人说的，这是有可能别人想挑破你们夫妻之间的感情才这样做的。

走自己的路让别人说去吧，别人的嘴怎么能管得了，实在气的难过，就找个机会去理论一下，看看有效果么，天下自有公道，谁的为人谁又不清楚呢，开心过好每一天，是对那些造谣人最好的报答。本回答被网友采纳

造谣诽谤属于侵权的行为，若你有确凿的证据，对你在声誉上和精神上有严重的影响，你可向当地的人民法院诉讼。