孔子感到十分为难，因为他的父亲虽然属于高级别的士，但是离世甚久，他也没有继承父亲的位置，因此搞不清自己还能不能被当做士人对待；最重要的是，他当时还处于大丧期间，身上还穿着孝服。
孔子思前想后，咬牙跺脚道：“去了再说吧！”
孔子踯躅徘徊、一步三停来到季平子府前，猛一抬头，就看到那个一生与他为敌的家伙——阳虎。阳虎年龄比孔子大上几岁，当时只有二十出头；他身材过丈，容貌俊朗，这两点都与孔子相仿。孔子初见他时还以为看到了数年未见的哥哥，阳虎也以为见到了自己的兄弟阳越。
但是确认过眼神后，两人都知道自己认错人了。阳虎伸手拦住孔子，清清嗓子，傲慢地说道：“你来干什么？这里又不是哭丧的地方！你还是快些回去吧，免得传染晦气！”
孔子只得低下头，忍住巨大的屈辱愤然离开季府，两人第一次见面就结下了一生的仇怨。孔子回到家中一宿未眠，第二天也只得继续过着求学求食的、世上最底层的艰难生活。
前面说过，贵族对子弟的教育（礼乐射艺书数六艺）一般交给兄弟叔侄完成，属于内弟子式的教育。但是后来，贵族懒惰堕落，兄弟叔侄都教不好学生，结果六艺便从每位贵族子弟的必修课变成了一师难求的奢侈教育。于是私学孕育而生，贵族只好把子弟送入私学进行教育；加之普通人家为了使子弟将来能够进入上层社会，也会将孩子送进私学。私学于是日益壮大，越发盛行。
孔子在私学馆找到了一份差事，边学习边教课。二十岁那年，孔子终于学成六艺。孔子的求知欲是无限的，他学完周礼后决定再到宋国去学习殷商古礼。
孔子在宋国见到了年事已高、已经准备告老还乡的向戌。由于当年诸侯夺取偪阳就是为了把它送给向戌（向戌不敢接受，这才交给宋国公室），孔纥的英勇行为又极大地振奋了联军士气，因此向戌对孔纥的印象十分深刻。向戌惊喜万分，兴高采烈地接待了老勇士的儿子，向孔子讲述了孔纥的英勇行为，又对孔子学习古礼大开方便之门。
在学习期间、在向戌的撮合下，孔子娶了亓官氏的女儿为妻，两人婚后便回到鲁国。当时宋国正好有支使团准备到鲁国进行访问，向戌特地嘱咐正使一定要向鲁昭公举荐孔子。于是鲁昭公通过宋国人的嘴才知道本国竟然有位年轻有为的圣人之后。
不久孔子的独生子出生，鲁昭公特地派人给孔子送去一条肥硕的鲤鱼以表祝贺，孔子当即为儿子起名“孔鲤”。
鲁昭公心不在国事，始终没有启用孔子；季平子却捷足先登，他把孔子召到身边，给了他一个家族财会的职位。孔子出色地完成了本职工作，但是他一直被人告黑状；季平子后来又命他掌管家族畜牧事务，孔子完成的同样出色。
孔子大概在三十岁（鲁昭公十一年到二十一年）以前一直在季氏家中供职。在此期间，他真正了解到了在街头巷尾永远无法被人所知的、鲁国高层间的明争暗斗和家臣之间是如何勾心斗角的。
孔子心里批判士大夫们的“不忠”，行动上则表现为对任何家臣都敬而远之，绝不加入任何人的小圈子。
季平子家族就是个小公室，家臣就是卿大夫；孔子相当于掌管财务和畜牧业的大臣，每一分权力都能带来利益。于是职位低的人巴结他，职位高的人拉拢他，都想从中分一杯羹。孔子对这种情况是统统予以回绝的。他当了一些人的财路，那些就在季平子耳边说他的坏话。
季平子不得不免去孔子的职务，命他去管理畜牧业，又命阳越代理财务工作。孔子坚持要求对他的工作进行审查，季平子从叔孙婼那借来几位审计人员（季平子不信任自己的家臣），审了半年，结果毛儿也没审出来。
孔子证明了自己的清白，不久便辞职了。
孔子从来没有满足成为一个家臣，他当下的愿望是开办学堂，教导士人遵守周礼，以拯救这个世风日下、物欲横流的堕落社会。
在孔子辞职前的鲁昭公十七年（bc525）秋，郯国君主到曲阜访问，郯国人姓己姓，国家始建于夏代，是个充满了历史神秘感的国家。
鲁昭公设宴款待来宾。席间叔孙婼问郯子：“听说少昊氏以鸟类的名称做为官名，请问是为什么呢？”
郯子是位学识渊博的人，他对本族历史如数家珍，于是说道：“少昊氏是寡人的祖先，那些事我当然知道。从前，黄帝接受天命时天上布满祥云，因此黄帝以云纪事，所有的官职都以云命名。炎帝以火纪事，所以官职都被冠以火字。共工氏以水纪事，太昊以龙纪事。我的祖先少昊即位之时，有凤鸟在天上盘旋不离，于是以鸟纪事。
“其中凤鸟为历正，掌管历法；玄鸟为司分（春分、秋分）；伯赵为司至（夏至、冬至）；青鸟为司启（立春、立夏）；丹鸟为司闭（立秋、立冬）；祝鸠为司徒；鴡鸠为司马；鸤鸠为司空；爽鸠为司寇；鹘鸠为司事。五种鸠为司民官，五种雉尾五工正。但是从颛顼开始，君主就放弃了此种纪事方式，而改为其他名称了。”
在场者大开眼界、无不啧啧称奇。叔孙婼回去将此事告诉了家众，家众中有人与孔子来往密切，于是又告诉了孔子。
孔子大喜，他匆匆忙忙赶到郯子下榻之处，恭敬虚心地向郯子请将关于少昊氏遗风遗俗