所有犹太人被迫搬入贫民区。包括维森塔尔和他妻子在内的肢体健全的人都被迫进行劳动。1942年夏天，那些年纪太大或患病而不能工作的人被赶到了一起。一天晚上，维森塔尔工作回来发现房子的门开了，他那体弱的母亲不见了——被赶到开往贝尔赛克灭绝营（Belzec extermination camp）的火车上。
他从没发现母亲的死亡或是母亲的坟墓，因为连母亲的一张照片都没有而倍感失望。他解释道：“我从贫民区被带去集中营时，我把所拥有的东西都带上。没有留下任何来自家里和家人的物品，甚至连一块手帕都没留下，我愿意用所有东西来换母亲的一张照片。”
1942年10月，维森塔尔和妻子被送入靠近利沃夫的亚诺万斯卡（Janowska）集中营，但几周后又被转送到附近的小型劳改营，安排做铁路维修工作。妻子塞拉给黄铜和镍抛光，维森塔尔负责画广告牌，把苏联标志替换成纳粹党十字记号。
1943年初，德国监工阿道夫·科若特兹（Adolf Kohlrautz）提供了伪造的身份证明文件，在波兰游击队的帮助下，金发灰蓝眼睛的塞拉从劳改营被偷放出去。
一年后维森塔尔逃了出来，并一度在波兰地下军的帮助下躲藏起来。1944年6月，在利沃夫一个房子地板下的一次搜捕中，他被发现并俘获。他被殴打并送回亚诺万斯卡集中营，他曾在这里试着用刀片割腕自杀。
在医院治疗了五周后，维森塔尔又在不同的集中营里发生了超过两次自杀未遂和绝食。1945年2月，他被押解到靠近林茨的毛特豪森（Mauthausen）集中营。这个集中营规模更小，仅有35万受害人曾进入这里，但却是最残酷的集中营之一。维森塔尔到达这个集中营时，里面的毒气室正放满毒气；烟雾昼夜不停地从火葬场的烟囱冒出来。
因为生病而不能工作，维森塔尔被安置到死囚区，在那里的整个三月，1500个囚犯中死去930人。一个审头（Kapo）守卫发现了维森塔尔会绘画，就给他多点食物，还给他绘画材料让他为其他守卫制作礼物。
维森塔尔也秘密地画了一系列可怕的集中营漫画。1945年5月，美军解放了集中营后，维森塔尔的漫画《KZ毛特豪森》出版。
可能是维森塔尔在毛特豪森集中营的经历塑造了他的看法和影响了他的战后职业。成为幸存的犹太人中的一员这个事实让他承担起对那些死去的犹太人的义务感。
因此他志愿给美国战争罪行部队提供服务——为他们提供了91个二战罪犯的名单。他还小心谨慎地记录下两名为人宽宏大量的德国人姓名，其中一人是阿道夫·科若特兹。
几天后，维森塔尔居然加入了战争罪行部队，此后不久，在美国朋友的帮助下，他找到了妻子塞拉并团聚了。在18个月内他创立了档案中心，并开始紧急地找到美国地区的集中营幸存者，在他们分散到世界各地前向他们收集证据。
巴勒斯坦犹太代办处（Jewish Agency）列出的“要犯名单”的名字是阿道夫·艾希曼（Adolf Eichmann）。维森塔尔听说了艾希曼在奥地利的谣闻后，去到了阿尔陶塞（Altaussee）的乡村，那里住着艾希曼太太和她的三个孩子。然而，维森塔尔发现艾希曼太太宣称艾希曼在1945年的布拉格战斗中死去了，而后1947年她又试图宣布他死亡。
1945年6月，维森塔尔得知，有人曾在阿尔陶塞目击艾希曼，他不接受艾希曼太太的话，并成功阻止了薇拉·艾希曼（Vera Eichmann）的死亡申请书。
维森塔尔害怕死亡宣告会终止搜寻行动，几乎可以肯定的是由于他的坚持不懈，犹太人（Israel）从1947年开始全力建立一个新国家，1957年重新开始搜寻二战罪犯。
1953年，由于艾希曼的唯一娱乐方式是收集邮票，正是维森塔尔发现了艾希曼逃去了阿根廷（Argentina）。巴伦·马斯特（Baron Mast）是一名同类的集邮家，给维森塔尔看了一封信，这封信来自在布宜诺斯艾利斯（Buenos Aires）的前纳粹国防军（Wehrmacht）朋友。
写信的人在信中说他已经与来自他们军团的熟人会面，还继续说：“想一下我还见到谁了？就是那个曾管辖犹太人的‘可怕的粗人’——艾希曼。他住在布宜诺斯艾利斯附近，在一家水务公司工作。”
维森塔尔把此事告诉了维也纳的以色列总领事（Israeli Consul General）。五年后，以色列情报部门（Israeli Intelligence Service）——摩萨德通过法兰克福检察官（Frankfurt Prosecutor）弗里茨·鲍威尔（Fritz Bauer）得知艾希曼确实是在阿根廷，1960年摩萨德特工秘密地把他从阿根廷带到以色列。艾希曼在以色列接受审判和被处以绞刑。
除了艾希曼的案例，维森塔尔最引以为豪的成就以及最认真负责的是将弗朗茨·斯坦戈尔绳之于法。斯坦戈尔是特雷布林卡灭绝营（Treblinka extermination camp）的司令官，纳粹领导称赞他为“波兰最好的集中营司令官。”
特雷布林卡灭绝营（Treblinka）在斯坦戈尔管辖，80万名囚犯被毒死，留下25辆铁路货车之多的女人头发，14.5万千克金婚戒，100辆货车之多的鞋子，几千条珍珠项链以及数百万美元。
