后来，唐伯虎在青楼中认识了官妓沈九娘。
九娘很敬重这位才子，为了使唐伯虎有个绘画的良好环境，她把妆阁收拾得十分整齐，唐伯虎作画时，九娘总是给他洗砚，调色，铺纸，唐伯虎有了这个好伴侣，画艺愈见精到。
他画的美人，大都是从九娘身上体会到的风姿神采。
九娘见唐伯虎不把她当作官妓看待，就益发敬重他了。
天长日久，两人产生了爱情，成了夫妇。
过了两年，九娘生了个女儿，取名桃笙。
唐寅失意之余游历闽、浙、赣、湘等地，企图在山水之间寻求心灵的解脱。
他游历回家后又得了重病，医治休养了很久才渐渐好起来。
随后，他的弟弟唐申也跟他分了家，他的生活越来越困顿。
不久，唐伯虎也因为一些事与文征明也失和，他彻底成了孤家寡人。
他生活拮据，只能靠卖字卖画为生。
可是每当卖来了钱他就纵情于酒色之间，其孤独落寞，令人惋叹。
后来唐伯虎在苏州看上了一处废弃的房子，这处房子非常僻静，唐伯虎就打算买下来。
可是他没有钱，就以自己的藏书作为抵押借来钱买下了这处房子，修缮之后，名为“桃花庵”，后来经过两年多的卖字卖画才还清了借款。
在“桃花庵”里，唐伯虎颇感到一些惬意，他写下了这首千古流传的《桃花庵歌》：
桃花坞里桃花庵，桃花庵下桃花仙。