魏征曾经在太子建成手下干过事，玄武门之变后，有人向秦王李世民告发魏征曾经劝说建成杀害秦王。秦王听了，立刻派人把魏征找来。魏征见了秦王，不慌不忙地说：“可惜那时候太子没听我的话。要不然，也不会发生这样的事了。”李世民听了，觉得魏征说话直爽，很有胆识。
唐太宗即位以后，把魏征提拔为谏议大夫（官名），还选用了一批建成、元吉手下的人做官。唐太宗不记旧恨，选用人才，而且鼓励大臣们把意见当面说出来。在他的鼓励之下，大臣们也敢于说话了。特别是魏征，对朝廷大事，都想得很周到，有什么意见就在唐太宗面前直说。唐太宗也特别信任他，常常把他召进内宫，听取他的意见。
后来，魏征提的意见越来越多。他看到太宗有不对的地方，就当面力争。有时候，唐太宗听得不是滋味，沉下了脸，魏征还是照样说下去，叫唐太宗下不了台阶。
有一次，魏征在上朝的时候，跟唐太宗争得面红耳赤。唐太宗实在听不下去，想要发作，又怕在大臣面前丢了自己接受意见的好名声，只好勉强忍住。
长孙皇后知道后，回到自己的内室，换了一套朝见的礼服，向太宗下拜。说：“我听说英明的天子才有正直的大臣，现在魏征这样正直，正说明陛下的英明，我怎么能不向陛下祝贺呢！”李世民如梦初醒，后来，他不但不记魏征的恨，反而夸奖魏征说：“人家都说魏征举止粗鲁，我看这正是他可爱的地方呢！”
公元*3年，直言敢谏的魏征病死了。唐太宗很难过，他流着眼泪说：“以铜为镜，可以正衣冠；以古为镜，可以知兴替；以人为镜，可以明得失，魏征一死，我就少了一面好镜子了。”