当时，朝廷每议大事，李景隆都位于班列之首。
当然了，在那里站着当摆设的可能性更大，永乐二年，周王朱橚上疏揭发李景隆，称他在建文年间曾“至邸受赂”。
刑部尚书郑赐也dàn hé李景隆“包藏祸心，蓄养亡命，谋为不轨”。
明成祖不予追究，后来，成国公朱能、吏部尚书蹇义、六科给事中张信等大臣再次dàn hé李景隆，称他与弟弟李增枝阴谋叛逆。
明成祖遂削去李景隆的功臣勋号，不许他上朝面君，以国公之爵赋闲在家。
不久，礼部尚书李至刚上疏奏道：“李景隆在家中接受家人跪拜，如君臣之礼，大逆不道。李增枝多立庄田，蓄养数百奴仆，意怀叵测。”
明成祖遂褫夺李景隆的爵位，将他与李增枝以及妻、子数十人一同软禁于家中，并抄没其家产。李景隆曾绝食十日，但却始终未死，至永乐末年方才去世。
李家自此也就没落了，流落到了南京，日子过的很惨。
只不过李家也是有狠人的，正统年间，朝廷允许李家重启门第，到了弘治年间，李璇为南京锦衣卫世指挥使，奋斗了两代之后，嘉靖十一年诏封为临淮侯。
后面两代也得到了重用，屡典军府，提督操江，佩平蛮将军印，镇湖广。
传到这一代临淮侯李言恭这里，守备南京，入督京营，累加少保。
临淮侯的儿子李喜朝，毕业于皇家讲武堂，是学宫的老人，参加过西北对瓦剌之战，是军方新鹰派的领军人物之一。
临淮侯也会主战派之一，李喜朝豪言建功以血祖罪。马上封侯，光耀门楣，拿回李家的公国爵位。这一次皇上把临淮侯召进宫参加廷议，这意思再明显不过了。