经过第一次的对话，桓玄十分开心自己又结识一位好友，只是，他想，他和羊孚的程度应该不仅仅只是好朋友。对于桓胤，桓玄明白他的恬淡，他想让他能以自己喜欢的方式生活下去，所以在政事上，他已经不指望他能成为他的左右手。
后来，双方的往来次数逐渐增多，桓玄对他打开心胸，说了很多。一次，聊得开心，桓玄让手下回家打个报告，就在羊孚处过夜了。
如果是作为自己今后成事的心腹，除了他，桓玄还想到的就是卞范之，范之现在也已经不再荆州了，他在桓玄在任义兴太守时做了丹阳丞，现在又转为始安太守。桓玄此人还是有恋旧情节，他更信任旧人，除了自己认识的旧人，还有些就是父亲留下来的旧人。
文人谋士如此，武将亦是。桓玄另外谋求的武将是郭铨，此人现在是益州刺史。淝水之战前后，他都是跟着桓冲或是桓石民抗击北来侵略，战功颇丰。以桓玄的威望，还不能让此人屈服，不过，接下来发生了一件事。
朝廷征召益州刺史郭铨进京就职，这时犍为太守卞苞劝他凭借在蜀地的威望谋反。郭铨对这个建议大概是没反应过来或者只是置之一笑。
但是，这个消息却是传出去了，传这个消息的是桓氏家族在益州安排的密探，桓玄收到消息后考虑再三。他似乎不想再过安稳的日子了，就想着让郭铨乱一乱也好。
这是桓玄难以决定，本来想找仙期等人商议，可是，最后鬼使神差地就告诉了羊孚，羊孚劝道：“郭铨本是桓家提拔上来的人，他反，对卿有害无益，如果卖他个人情，今后也方便很多。”
桓玄问：“那此事该如何做？”
羊孚道：“荆州黑脸。”
桓玄会意。于是，桓玄就把这件事告诉殷仲堪，仲堪听闻，就派人将犍为太守卞苞斩首。朝廷听说此事，认为殷仲堪没有事先发现，就把他的他军号从四品的振威将军降为五品的鹰扬将军。即便如此，仲堪对桓玄还是感恩戴德。
作为当事人的郭铨此刻也是进退两难，估量着自己，造反的成功率极低，再说他本身对这种极高的权力没什么**，而朝廷对自己的惩罚还没有下来，他也是惴惴不安。此时，桓玄向他伸出橄榄枝，修书一封与他，先诉说两家情谊，又说了他知道郭铨忠义，自己会替他说几句好话之类的。
郭铨感激不尽。
桓玄又请求殷仲堪能替郭铨说情，毕竟他也无谋反之心，他的建议是把郭留在荆益二州。除此，近几年建康那边在任的桓氏子孙逐渐增多，桓玄在那边走点关系问题也不大。
几番周转，朝廷的诏令下来，对桓玄来说是喜忧参半。喜是郭铨得以留在荆州做军官，不过还是在殷仲堪的监督之下。
另外，对桓玄来说十分不利的是新任的益州刺史毛璩。当初，桓玄之父桓温平定蜀地才有今天的大益州，不过，这个地方依旧人心不稳，从这件事就可以看出了。而朝廷经过考虑，不能再让桓氏提拔的人掌管益州，就派了毛璩。
毛璩曾经担任过谢安参军和死马恬幕僚。这个死马恬算是司马氏中有胆识的子孙，他是唯一敢弹劾桓温的人，桓温也曾说过：“这小子真是让人敬佩啊。”现在，恬虽然已死，但他的儿子们依旧是朝廷中的宠贵。
如此看来，这毛璩应该是站在自己的对立面的，事实也确实如此。桓玄也担心，就在益州安排了更多桓氏的亲信之人，静观其变。
经过这么些事，桓玄和殷仲堪的关系倒进一步加深了。
一次，桓玄又是和殷清谈，互相攻难两回后，桓玄竟不能再进行反驳，他只得叹息一声：“这几年来我才思减退了。”
殷仲堪笑笑，安慰他：“这是灵宝理解力逐渐提高了。”
只是，两人都感觉暗中的嫌隙也在渐渐滋生。近几年来，桓玄在荆州的势力有所上涨，加上门第优势，百姓、官员对他的敬畏甚至超过殷仲堪。