从懂事的那一刻起，年幼的罗杰斯就开始有了赚钱的决心，而母亲恩奈斯汀·巴巴拉·布瑞威尔（Erne-stine Barbara Brewer Rogers）先后诞下的四个弟弟过早地终结了他被人呵护的无忧岁月。还在罗杰斯两岁时，弟弟迪克（Richard Brewer Rogers，昵称迪克）的出生就注定了罗杰斯从此要担当起大兄长的责任。
一直盼望着能有个闺女的恩奈斯汀一共为夫家诞下了五小虎将，罗杰斯排行老大。大弟弟迪克在他两岁时出生；五岁时，他在外婆家听说了二弟马布瑞（Ernest Mabry Rogers）的来临；次年11月，三弟布罗敦（Broughton Wilkinson Rogers）落地；到了罗杰斯就读亚拉巴马州德莫普利斯高中（Demopolis High School）时，幼弟史蒂文（Basil Dougles Steven Rogers）来到了人间。
在孩子们的眼里，母亲恩奈斯汀精力充沛，好奇心强烈，新点子层出不穷；但面对着五个生龙活虎、永不言累的调皮鬼，这位在独生子女环境中长大的"掌上明珠"显然需要帮手，她采取了"放养"原则，或者直接将照看弟弟的繁重任务交给长子-小詹姆斯·彼兰德·罗杰斯（James B. Rogers Jr.），但周围人似乎更乐于叫他吉姆·罗杰斯。
