三年春二月，有星孛于西北。冬十一月壬辰朔，有日食。
起初霍光与上官杰相亲善，霍光每当休沐出宫，上官杰常代霍光入宫处理国事。霍光之女为上官杰之子上官安的妻子。生有一个女儿，年方五岁。上官安希望通过霍光将她纳入宫中。霍光以为年纪尚幼没有答应。盖长公主有面首河间丁外人，上官安素与丁外人相善，他对丁外人说：“我有女儿容貌端正，如能通过长公主得以入内为后，以我父子在朝中的地位，何事不能成功？汉家故事，常以列侯娶公主。事若成功，足下何忧不能封侯呢？”外人心下大喜，将这事告诉了长公主，长公主也以为有道理，就说服皇上下诏召上官安之女为捷纾。上官安为骑都尉。
四年春三月甲寅，立皇后上官氏，赦天下。
西南夷复反。遣水衡都尉吕辟胡将益州兵征讨。辟胡逗留不进，蛮夷遂杀益州太守。并乘胜与辟胡交战，士卒战及溺死者四千余人。冬，遣大鸿胪田广明领兵出击。
廷尉李种坐故纵死罪，弃市。是岁上官安为车骑将军。
五年春正月，追尊皇上外祖赵父为顺城侯。顺城侯有姊赵君姁，赐钱二百万，以及奴婢邸宅以充实其家。诸昆弟皆以亲疏受赏赐。
一日，有一男子乘黄犊车旨北阙，自称是卫太子，官府上报朝廷。下诏令公卿将军中二千石以上官员分别前去识认，长安中吏民聚观者数万人，右将军勒兵阙下，以备非常。前来辨认的丞相御史及中二千石以上官员，无人敢于确认。京兆尹不疑后到，叱从吏收缚。有人说：“是非未可知，且静下心来看看真伪再说。”
不疑说：“诸君又何必害怕是不是卫太子？过去蒯聩违命出奔，其子公子輙闭而不纳，春秋也以为他做的对。如今卫太子得罪先帝，只是逃走而没有当时死去，如今自来旨阙，这是罪人，为什么不能抓捕他？”于是将他送于诏狱。天子与大将军霍光听说后，不约而同的夸奖说：“公卿大臣，就该用这些通经术明大义的人。”于是雋不疑名声重于朝廷。公卿在位者都自以为不如雋不疑。后来经过廷尉验治，果然审得奸诈。该人本是阳夏人，姓成，名方遂。住在湖边。以卜筮为业。有故太子舍人找他求卜，无意间说他长得像故太子，方遂心利其言，希望能借此一求富贵。坐诬罔不道，腰斩。
夏六月，封上官安为桑乐侯。上官安日以骄淫，在殿中受赐，归来就和门客吹嘘说：“和我的女婿饮酒，真的是天大的快乐。”其子病死，仰而骂天，其顽孛如此。罢澹耳真番郡。
秋，大鸿胪广明，军正王平，攻打益州，斩首捕虏三万余人。获畜产五万余头。
谏大夫杜延年，见国家承武帝奢侈师旅之后，多次对大将军霍光说，年来灾异频现，粮食产量大为减少，因战乱出现的流民都还没有归乡，应该修孝文之政，以示简约宽和，顺天心悦民意，国家才能昌盛。霍光深纳其言。杜延年，是故御史大夫杜周之子。
六年春二月，诏令有司向郡国所举贤良文学问询民所疾苦，教化之要。大都回答愿罢盐铁，酒榷，均输官。不要再与天下争利。示以俭节然后教化可兴。桑弘羊以此是国家大业，是用来制四夷，安边足用的根本为理由与之辩论，于是盐铁之议兴起。
起初，苏武在匈奴，因为不肯归顺，被迁徙到北海边上牧羊。没有粮食，就在地里捕捉老鼠，采集野菜的根茎生存，坚持持大汉的节杖牧羊。不论卧起，节杖都不离手，以至于节杖的装饰都脱落了，只剩下一根白干。苏武在汉的时候，与李陵都是侍中。李陵降匈奴，好久都不敢去见苏武。过了很久，单于使李陵至北海边见苏武。为苏武置酒设乐，因对苏武说：“单于听说李陵与先生私交甚厚，故使在下前来说服先生。说实在话，先生终是不得归汉，何必空在这苦寒之地受罪呢。再说了，先生的信义，除了换来身心的痛楚之外，又有谁能够知道呢？先生兄弟二人，前不久相继坐事自杀，我来的时候太夫人已是不幸去世，而先生的夫人因为年少，听说早已改嫁了。只有你的女弟二人，听说育有两女一男，如今又过去了十余年，其存亡已不可知。人生如朝露，先生何必长久地自苦如此。想我李陵刚降过来的时候，也是忽忽如狂，自痛负汉。再加上老母被囚禁在狱。先生不愿投降的决心，又怎么能比得过李陵？而且当下陛下春秋高，法令无常，大臣无罪夷灭者十余家，朝中安危不可知，先生试想，你做这一切都是为了谁呢？”
苏武回答说：“苏武父子没有什么功德，都是因为陛下才有所成就。得以位列将爵通侯。兄弟亲近，常愿肝脑涂地以报恩德。今得杀身自效，虽斧鉞汤镬加身，也是我心甘情愿的。臣事君，就如同儿子侍奉父亲，子为父死无所恨，希望你不要再多言。”
李陵与苏武聚饮数日，又说：“希望先生能听李陵的好言相劝。”
苏武说：“自分已死好久了，大王一定要苏武投降，请毕今日之欢，让苏武效死于前。”
李陵见其至诚，喟然叹息说：“真是义士啊，李陵与卫律之罪，可说是上通于天啊。”因泣下沾襟，与苏武别去。临行，赐苏武牛羊数十头。后来李陵再次到北海边见苏武，告诉苏武武帝晏驾的事，苏武南向号哭呕血。及壹衍鞮单于立，其母阏氏不正，国内乖离，常恐汉兵袭击，于是卫律为单