这个小镇就是艾弗森成长的地方，也是现在很多25岁左右的NBA球员的成长环境，甚至可以说很多美国穷孩子都生活在类似的地方。那个时候，艾弗森是14岁左右，他的母亲安妮先是一家公司的打字员，然后在一家杂货店做收银员，再就是到船坞打工，就是在那里，她碰了艾弗森的继父弗瑞曼，他抚养了艾弗森和他的两个妹妹。
从79年到90年，弗瑞曼一直在贩卖可卡因，所以他总是在监狱之间进进出出。但就艾弗森来说他并不以继父的坐牢为耻，因为他总是试图把食物放在他这个家庭的桌子。弗瑞曼也不像大毒枭布朗那样玩得很大，去追求辉煌的美国梦，他只想在水面漂着。
看看他的母亲，看看继父弗瑞曼，看看周围的那些人，艾弗森逐渐开始明白一个道理:体育将是他唯一的一条出路。这是艾弗森的想法，也是母亲安妮长期以来一直坚信的信条。
在美国，有很多很多体育明星的出身都是贫苦的，但是他们的母亲都没有放弃对孩子的教育，让他们尽可能地接受知识，即使在他们功成名就之后，他们的母亲仍然会督促他们完成学业。NBA的微笑刺客托马斯就是一个例子，后来在NBA成名后，他依然在母亲的督促下完成了因为打球中断的学业，拿到了法学学位证书。
但是安妮并没有这么做，即使在艾弗森干出点名堂之后，她从来都没让儿子回头再读一些书。她知道自己的孩子天生就是干体育的料。当街开始谈论她的孩子的时候，她就笃定地认为她孩子的命运已经被注定，她不打算拒绝这种命运。事实，安妮一直在感谢帝为她和她的孩子提供了这么一个安排。
NBA很多球员的出生和成长环境都同艾弗森相似，处在一种困苦的生活状态之中，但如果仔细追究他的生活背景，还可以用丛林来形容。
而他的这种坚强从小就在球场表现出来。他们家一个叫哈伯的邻居后来回忆说，阿伦四五岁的时候小得就像橄榄球一样，但他却和一帮大孩子在那里玩橄榄球，而且表现得异常勇敢。
“这个极小的孩子向前冲，尽管脚步有些不稳，但一直在奔跑，让那帮大孩子沮丧。他们就去追艾弗森，等到追之后，就揍他，揍得很狠，经常把他往屋子的墙掼。“哈伯回忆说，“有的时候，我能够在脚下感觉到隔壁房子的震动...但这个被揍的孩子总会站起来，被打倒，站起来，再次被打倒，再次站起来...他会不屈地站起来，晃着他的脑袋，不让那帮孩子看到他在摇晃。然后，他又会像之前那样不停地奔跑，切入，再奔跑。”