，由于不断立功，累次升迁做到了中郎将。但卫绾除了忠厚谨慎以外，没有其他长处。景帝做太子时，曾经请皇帝身边的近臣饮宴，而卫绾称病不肯到场。文皇帝临死前嘱咐景帝说：卫绾是个忠厚的长者，你要好好待他。
等到孝文皇帝去世，景帝即位，一年多没理睬卫绾，卫绾仍然每天都兢兢业业，谨慎尽责的处理工作。
汉景帝临驾上林苑，让中郎将卫绾陪同共乘一辆车，回来后问卫绾：知道我为什么要你陪我同乘一辆车吗？
卫绾说：我从一个小小的车士，有幸逐渐升为中郎将，自己不知道这是什么缘故。
景帝又问：我做太子时，邀请你参加宴饮，你为什么不肯来呢？
卫绾回答说：臣死罪，确实是生病了！
景帝赐给他一把剑。卫绾说：先帝曾经赐给我六把剑，我不敢再接受陛下的恩赐了。
景帝说：剑是人们所喜爱之物，往往用来交换买卖，你难道把它们保留到现在吗？
卫绾说：全部都还在。
皇帝派人取来那六把剑，宝剑完好的在剑鞘中，还不曾佩戴过。汉景帝很是感叹，对卫绾另眼相看。
每当属下郎官犯有过失，卫绾经常承担罪责，不和其他将官争辩。有了功劳他常常让给别的将官，汉景帝认为卫绾为人忠诚，没有恶念，为官也清廉。便任命他做了河间王的太傅。
吴楚七国之乱，汉景帝又任命卫绾为将军，率领河间王的军队攻打叛军，立有战功，又升卫绾做了中尉。三年后卫绾再次立功，被景帝封为建陵侯。
冯唐因敢于直谏，受到了孝文皇帝的重用。而卫绾因忠诚厚道而步步高升。
