不到岳飞墓，大概不会感受到什么叫作“遗臭万年”，什么叫作“人从宋后羞名桧，我到坟前愧姓秦”。1983年，邓小平带着外孙和外孙女来到岳王庙游览，站在被铁栅栏围着的铜像前，他沉思了一会，将自己的孙子和孙女拉到面前，语重心长地指着前面那几个奸臣雕像说：“英雄永远为后人所纪念，坏人永远为后人所唾弃。”岳飞是中国世世代代百姓心目之中的英雄，而害死他的那些人，死都不足以浇灭人们心中的怒火，他们的像不仅仅要长跪在岳飞墓前，还被游客们唾弃了几百年。
在日本间谍曾根俊虎的日记之中，曾经记录了一件事情。清朝时期，曾根俊虎在当地人的陪同之下来到岳飞墓参观，他对岳飞的事迹十分了解，还在岳飞墓前祷告：“君若有灵，辅我微忠，振兴亚洲！”（挺大言不惭的）后来他出门看到了跪在那里的四个跪像。曾根俊虎并没有多大的兴趣，看了两眼就想要走人。而同行者立刻拦住了曾根俊虎，对他说：“秦桧贼害我岳爷爷，遗臭万年。见此国贼而不溺之者必是不忠之人。”于是曾根俊虎就入乡随俗，准备在秦桧身上撒泡尿，因为没有尿意，就对着秦桧的头踹了一脚。
曾根俊虎这件小事告诉我们，从古代开始，秦桧这些人的雕像，一直被游客拿来泄愤，就算是现在有栅栏将这些雕像围住，游客们依旧有一些“不雅”行为，雕像后还挂着块“禁止吐痰”的牌子。这样我们也就比较好理解了，因为揍“秦桧”成了约定俗成的习俗，从元朝开始，这些雕像经常损坏，换了一波又一波，个数也不尽相同。
1475年，元朝浙江布政使周木对岳飞十分景仰，一提到秦桧就气得牙痒痒，总觉得秦桧这么轻轻松松死掉太便宜他了，于是在修整岳飞墓的时候，还叫人用铁铸成了秦桧和妻子王氏的跪着的雕像，让他们永生永世在岳飞墓前面忏悔。
1513年，因为原来的铁像损坏严重，新上任的浙江都指挥使李隆重新修筑了三个铜像，分别是秦桧夫妇和万俟卨。万俟卨此人是谁呢？他中举人之后曾任湖北提点刑狱，依附秦桧，借由秦桧的力量步步升职。在岳飞被冤一案之中，他受到秦桧的指使，诬陷岳飞谎报军情和逗留淮西等莫须有的罪行，岳飞被害他也是凶手之一。
这三个铜像仅仅跪在那里八十年，就被老百姓们打烂了。
到了1594年，浙江按察副使新官上任，想到百姓们没秦桧揍了，他深感遗憾，马上造了四个铜人，重新跪到秦桧面前，这新增加的人就是张俊。
张俊是岳飞的老领导，原本也是很欣赏岳飞的。但是后来岳飞军功渐高，张俊越来越嫉恨他，特别是他手下的张家军常常被人拿来和岳飞的岳家军对比，自然，在百姓心中，岳家军已经成为了一面无法撼动的旗帜。张俊心眼很小，不能接受自己的部下比自己混得好，加上他十分贪财，轻易就能被人收买，于是在秦桧等人陷害岳飞的时候，他也顺势插了一手。他比秦桧等人更加可恶，因为岳飞对他曾经真诚以待，在发现张俊对他冷淡之时，岳飞还曾写过一封信想要缓和两人的关系，没想到竟然最后竟然被他所害。
1590年，新上任的浙江巡抚王汝训做了一件非常奇怪的事情，他将秦桧妻子王氏的跪像扔到了西湖里面，并且将秦桧和万俟卨的跪像搬到了岳飞庙里里面。王汝训对外说是王氏没有资格跪在岳飞面前，但当时百姓认为，王汝训和王氏同宗，不愿意姓王的跪在岳飞前世世代代遭人唾弃，于是就将王氏的跪像扔湖里了。王汝训自作聪明的做法立刻引起众怒，百姓们群起而攻之，把王汝训吓得半死，马上收拾东西跑了。后来是浙江一位盐商马伟自己出现重新铸造了张俊和马氏的跪像，才算平息众怒。
1604年，浙江布政使范来自己出钱重新铸造铜像。
1608年，刚刚过了四年，浙江布政使范来看到岳飞墓前的铜人已经坏的不成样子，有出钱重新修了4个铜人。
到了这个时候，岳飞的墓前最少跪着的是两个人——秦桧夫妇，最多的时候跪着四个人——秦桧夫妇、万俟卨、张俊。
到了清朝初年，有人又在这四个铜像旁边增加了一个新的铜人——罗汝辑。罗汝辑这个人在史书上记载不多，他依附秦桧，在诬告岳飞之时，他也是帮凶之一。
雍正年间，浙江总督李卫也重新铸造了铜人，只不过没有铸造罗汝辑，所以数量还是恢复到了四个。
这就是岳飞墓前几个铜人的来历，这些铜人世世代代遭人唾弃。有文人曾感慨铜、铁何其无辜，要替这些人遭罪。其实历史上这五人的结局都比较好，死的时候都没有遭多大罪。
岳飞被“莫须有”罪名害死之后，秦桧还在官场上混了好几年，甚至在临死前还在陷害忠良。秦桧是病死的，赵构听闻他不行了还去看望了他，死后还加封他为建康郡王，他的儿子还被封了官。至于王氏的结局如何，看秦桧的儿子这样的结局，可以想象王氏生前也是享尽荣华富贵。
万俟卨75岁才去世，后来他和秦桧争权，不敌秦桧遭到了罢黜，算是过了一段失意人生。后来秦桧死了，他又被召回去继续升官发财。只不过他一生都坚持议和，顶着一身骂名老死。
罗汝辑在岳飞死后也过得不错，死后被封了新安郡侯，只是后来后人将他列入了“奸佞传”之中。张俊晚年富可敌国，他将所有的银子全都铸造一起，重一千两，叫它“没奈何”，意思是小偷也带不走。他一辈子自在逍遥，据说他后来请赵构吃了一顿饭，菜来来回回上了几百道。张俊死了之后，赵构还亲自送葬。
看到这些人过得这么好，想到岳飞英年早逝，也能理解为什么人人都对着这几个跪像撒气了。