南朝宋南阳涅阳(今河南邓州东北)人,字元幹。少有大志,曾谓“愿乘长风破万里浪”。文帝时,屡立战功。元嘉三十年(公元453年),太子刘劭杀文帝自立。他任南中郎咨议参军,随刘骏(孝武帝)出兵讨伐。孝武即位,他为左卫将军,累迁豫州刺史监五州诸军事。大明三年(459年),参加平定据广陵抗命的竟陵王刘诞之乱。前废帝时,任雍州刺史。