小沃森出生于1914年，小汤姆的名字终生都跟随着他，即使他成了年近80岁的老头，仍然被叫做小汤姆。由于从小顽皮捣蛋，被人称作“可怕的汤米”。12岁那年他买了一瓶黄鼠狼臭腺。当全校全体集合时，他手持臭腺瓶，跑向主通风管道。整个楼层臭气熏天。他创造了自己学校生活中最辉煌成功的一刻。结果被迫暂时休学。这家伙居然用了六年，换了三所学校才将高中念完。上大学，也完全是有钱有势的双亲在布郎大学校长身上施加了压力。 小沃森对父亲所经营的IBM没什么好印象。小时候参观工厂，最深刻的就是浓烈的烟雾、噪音以及刺鼻的金属味。1937年，小沃森前往IBM销售学校，熬了两年坚持到学业结束。小沃森成了正式销售员。但大部分时间和精力都花在飞行和泡妞上。他的风流韵事在公司内沸沸扬扬。但他有股倔劲：“我不能让IBM支配我的生活。”
二战爆发使使小沃森有了解脱的机会，他加入了国民警卫队。他依然胆大包天，一次志愿担任飞行观察员，穿过敌人炮火飞向缅甸。结果起了浓雾，他们什么也看不见。从高度计来看，他们应该已经撞山坠毁了。军队生涯，使他摆脱了父亲的阴影，有了自信心。他终于拿起电话，告诉父亲，他将回到IBM。这当然是老沃森盼望了多年的心愿。他当起推销员，得到了极其轻松的华尔街业务区，结果到1月2日，就完成了全年的销售额度。
老沃森很怀疑那些以真空管和电子零配件装成的庞然大物，丑陋又难过，而且由很多吱轧作响的机械构成，听起来象满满一屋子的人在织布一样。他甚至断言：“世界市场对计算机的需求大约只有5部。”父子俩发生了激烈的争执。有一次，他在机场跑道上和父亲发生冲突，最后大声说：“他妈的，你能永远不离开我吗？”
小沃森成为IBM第二号人物后，当即对研究机构进行革新。在公司发展方向上实施了带根本性的改革。1950年5月，任命麦克道尔为实验室负责人，大量招聘电子技术方面的人才。而“国防计算机”的研制正是小沃森率领IBM进入电子技术的一次冒险，是公司发展方向的彻底革命。1951年，IBM开始决定开发商用电脑，聘请冯·诺依曼担任公司的科学顾问，1952年12月研制出IBM第一台存储程序计算机，也是通常意义上的电脑，它叫IBM 701。
1952年大选前夕之夜，兰德将一台Univac电脑提供给哥伦比亚广播公司预测结果。电脑作出了艾森豪威尔以微弱优势获胜的预测。那一次，Univac大出风头，被称为“无与伦比的电子大脑”。当然，受刺激最大的还是小沃森。
1953年4月，IBM纽约总部终于迎来辉煌，150位全美最出色的科学家和商界领袖参加IBM-701国际计算机的盛大典礼。1956年，4年一度的大选降临，电视上再也见不到Univac电脑，而尽是IBM的标志。此时，IBM已经占领了约70%的市场。
