困扰孩子们的另一个问题是：不管他们走到哪里，他们总是戴着巴菲特儿子或者女儿的帽子。世人在看待他们的成绩时，更多的是看到巴菲特子女的成绩，而不是苏珊、霍华德或者彼得的成绩。伴随着这种想法会产生很强烈的挫败感，甚至可以引起子女对父母的憎恨。与其他富豪不同的是，巴菲特十分理解孩子们这样的心情。
孩子们小的时候，巴菲特并没有过多要求，而是让他们做自己喜欢做的事情，玩泥巴，侍弄花草，听音乐，唱歌，看摄影作品，在田野里疯跑，都是孩子们生活的内容。他所做的就是尽量使孩子们快乐，让他们有更多的选择余地。巴菲特也从来没有要求过他们必须成为企业家，而是让他们选择他们自己喜欢的事情。后来，儿子霍华德成了摄影师，小儿子彼得成了音乐家，女儿苏珊虽然是家庭主妇，但也绝非什么事情都不做的阔太太。他们在自己的岗位上做得很快乐。
儿子霍华德做生意失败后，开始巴菲特并不想帮他，因为自己栽倒了就要自己站起来，可是经不住妻子的再三劝导，巴菲特还是给儿子霍华德买了家农场，但霍华德必须按期缴纳很高的租金，否则农场立即收回。巴菲特问霍华德敢接受吗？霍华德接受了。几年后，霍华德的农场蒸蒸日上，并不断涉足不同行业。后来，霍华德发现经商并不能使他快乐，在生意的高峰时期放弃了经商，一心做起了摄影，现在干得也不错。
在巴菲特自己看来，他之所以取得一些成就，很大程度上因为他勤于思考，总结了一些规律。所以，他经常告诫孩子们要有思考的习惯，并在勤于思考中学会善于思考。几年前，霍华德在农场站住脚后，不断捕捉市场信息，思考总结，生意做得越来越好。在他的摄影事业中，勤于思考也让他受益匪浅。小儿子彼得也经常在寂静的时候思索创新，寻找灵感，创作了许多动人心弦的音乐作品。苏珊也喜欢思索自己感兴趣的事。
当巴菲特宣布捐出85%的财富后，《纽约时报》问巴菲特，这是否意味着他的孩子们失去了一切。对此，巴菲特是这样看待的：“活着，快乐最重要，亿万财富不会给人能力和成长，反而会消磨你的激情和理想。从一定意义上讲，金钱只是一串数字，只有乐观、自信、勇敢、勤于思考的性格才能收获快乐而丰富的人生，因此，可以说，我已经把我最珍贵的财富都赠送给了我的孩子们了。”
不仅仅巴菲特支持自己的孩子在各行各业经历，他还时常骄傲地夸赞自己的孩子做得比老爸要好。这在霍华德的心里是“最喜欢听到的话”。幸运的是，巴菲特对于子女事业的支持并没有让自己的孩子离开自己。最后他的三个孩子和父亲走到了一起，他们在父亲的帮助下成立了以自己为名的慈善基金，开始巴菲特家族的集体慈善事业。苏珊的慈善基金会关注女性生育健康和家庭规划；霍华德的基金会已经向数十个国家进行捐款以保护当地的贫困者；彼得的基金会则将帮助的重点放在了人权上面。
