此后，王阳明被贬谪到贵州省贵阳府龙场驿担任驿丞。时年，王阳明三十五岁。当时，父亲龙山公还在礼部侍郎任上，也在北京。听闻王阳明被贬谪到龙场的消息后，龙山公非常高兴，对他人说：

“吾子得为忠臣，垂名青史，吾愿足矣！”

正德二年（1507年），王阳明三十六岁，踏上了前往龙场的漫漫长路。刘瑾仍不放过他，派了两个心腹一路尾随，密切观察他的言行举止。王阳明到达杭州府的时候，赶上酷暑，再加上他旅途劳顿，最终病倒了，只能暂住在胜果寺内休养。