到了新家后李客一家的心情别有一番滋味。首先是忙了好几天才算安顿下来。在碎叶时李家算是当地大户，而且碎叶的官爵宗族等级制度不甚明显，所以有钱就可有势，于是就有了较高的社会地位，而回到内地就不同了，内地将商贩视为下九流，地位极为低下，所以光有钱也是吃不开的。而且又是初来乍到，从生物界天生爱欺生的普遍现象来看，连要饭的乞丐有时都要在他们面前充一充“地主”的姿态，实在时常令人气有不顺，总觉得低人一等。
好在李宅座落在一处较为僻静的山坡上，而且淹没在一大片钻天的碧竹林里，几乎就要与世隔绝了，如此一来想要避免过多地与人接触倒也并非难事。
奔波了多年，赚下了难以计数的家产的李客，在完成这一回迁内地的伟大壮举后，终于觉得浑身都没劲了，一点都不愿再动了，只愿就此隐居下来，放松自己，安度余生。此时他才三十刚刚出头，也算是个早熟早老的人物。
当然，李家也有不知愁滋味的人，那就是李白兄弟几个。犹其是李白，天生好动，一到新家他就把整个大宅子的角角落落都跑遍了。并且他还爱出去，老缠着都尔汉带着他满山转。
李客很重视儿子的教育，到漳明没多久就想办法将两个儿子送去了附近的象耳山丘夫子处学习。
丘夫子是一名颇有名望的隐士，居住在象耳山，以做学问教授学生为业，学识相当渊博。其人年约五十，身材较高瘦，整日里戴高冠穿玄袍，一张脸几乎从来见不到笑容，一双深不可测的眼睛看了就让人感到紧张。
初次见到丘夫子，丘夫子道：“此二子曾读何书？”
李客道：“曾读六甲，又曾读过《子虚赋》。”
丘夫子指着李白道：“此小儿亦读过《子虚赋》？”
李客点头道：“随其兄一起读了读罢了。”
丘夫子对李白道：“你且背一段我听听？”
李白年小，从未见过这等阵势，又深知自己根本就背不了几句，再又想到马上就要远离父母到此处学习了就心里又是难过又是害怕，便小脸胀红，张口结舌，原本能背几句的现在却一个字也背不出来。
李东到底年长三岁，便挺身而出道：“先生我会！”便将那《子虚赋》从头背了起来。背得二三百字时丘夫子便道：“罢了吧。”
李东停下了，得意洋洋地望了一眼父亲，李客向他微笑着点了点头以示夸奖，对丘夫子道：“小儿资质拙劣，请夫子多多教导！”
李白的眼泪刷地滚了下来。丘夫子又道：“你几岁了？”
李白未敢吭声。李客道：“夫子问你呢，快说你几岁了？”
“六岁……”李白怯生生地说。
丘夫子说：“你可会认字？”
李白点了点头。
丘夫子又问：“会认多少？”
李白用蚊蝇一般的声音说道：“《六甲》……”
李客陪笑道：“小儿此前均由晚生粗浅教读，见笑见笑！”
丘夫子便点了点头，道：“我便收下了这两个孩子作学生，如无他事你就安排下山去吧。”
李客拜谢，命人将钱粮米物抬入后厅，向两个小儿嘱咐一番后便下山去了。目送父亲离去，李白悲从心中来，不觉又大哭了一场。丘夫子也不理他们，自去后厢房了。
留下来伺候李白兄弟俩的是都尔汉，见李客走了他倒挺放松挺高兴。他挑着行李随一个妈子到了一间空置的小房间内，上上下下一收拾，便收拾了一间有着两床一桌的卧室出来。
到了这边得守这边的规矩，这边虽然没有了使人见着就紧张的老爷，但此处也远没有都尔汉想象中的那样自由。他被告诫数遍，不得在此院中同任何一名学生恣意玩耍，不得随意走动，不得喝酒、不得喧哗等等等等，比在家里更麻烦了。好在此处并不限制他这种人的出入，所以他倒可以乘小少爷读书时跑出去玩玩。
第二天正式入学堂拜孔圣人像时李白才发现，象他们这样大大小小的学生足有二十多个，个个神情严肃倨傲，看得李白的心紧了又紧，心中似有十二万分的恐惧、十二万分的自卑、十二万分的伤心。
在场的学生最小的也大了李白两三岁，所以理所当然地李白称每一位同学为师兄。夫子为他们引见时李白哥儿俩向每一位师兄都行了跪拜礼，然后安排李白于前排的书案后跪坐在蒲团上，安排李东坐在了李白后两排处。
书先从六甲读起，又读《子虚赋》等。二十多个少年捧着书，正襟危坐，摇头晃脑朗朗而读。也有早已背熟了的，就将书往桌上一扣，闭着双目背诵，甚是潇洒自如。
书院分大学和小学，小学学六甲五方书计之事，大学学礼乐诗赋等等。李白兄弟刚入山便先学小学，由师兄点拨教导，很快，李东便以博学强记而入了大学，而李白仍在小学学习。这种情况一直持续了二年有余。
要说六甲五方书计之类的东西李白早在五岁之时便已学过了，但他一直未能背得滚瓜烂熟，未能随问随答，以至直到八岁他还被逼得仍学这些东西。如此枯燥无味的学习李白自是早已不耐烦了，一看见六甲他就头疼，他宁可将精力与时间都投入到大学的课程里。哪怕是旁听或者偷学。但如此又总是招来夫子与同学们的教训与讥嘲，总说他走还不成还要学跑？气愤自卑之下李白便不想再读个什么书了，便整日的满院子玩，院子里玩腻了便跑出去玩，将所有的烦恼尽都化在了青山绿水土沟沟里。