与个人所得税不同，遗产税是建立在财产基础之上的。自由派人士称它为“财产税”。他们指出，政府有权利在那些拥有巨额财产的富人去世后，将他们的财产充公。毕竟，生活在美国获得的特权是使他们富有的前提条件。所以一旦这些富人去世，他们必须将大部分的财产交给政府，而不是将其财产留给自己的后代。
这种想法将财富与幸运等同了起来。以这种模式思考的人会认为，幸运是解释富人与穷人之间差异的最充分的理由。就连巴菲特也将自己大部分的成功归于幸运。他说能够出生在美国这样一个国家，他是幸运的，但更幸运的是“我拥有与生俱来分配资金的天分”。
相反地，保守派将遗产税称为“死亡税”(death tax)。他们反对政府在某人死后将他们的财产充公。他们指出，财产是纳税后的所得，一而再，再而三地对财产征税是错误的。保守派强调，遗产税打压了努力工作以及节俭的积极性，而鼓励了浪费和挥霍的行为。毕竟，如果你已经知道在自己死后，政府会拿走你留下的大部分财产，那为何不在生前就任意挥霍掉呢？为什么要参与投资，挣更多的钱呢？明明知道不能将财产留给自己最爱的人，那存着还有什么意义？
另外，保守派指出财产并不总是流动的。一个人拥有巨额财产，并不意味着他们会将钱都藏在家里的保险柜里，也不会都存在当地银行的账户里。其中一些钱可能用于买股票和证券，而更大一部分则可能投资在硬资产上，用于经营生意。将这些财产都上缴会使企业倒闭，因为他们必须卖掉硬资产，用得来的现金支付政府税收。可以毫不夸张地说，一个人可能会卖掉一家知名农场来支付遗产税吗？保守派认为允许这些人的后代继承先辈的生意是更明智的选择。毕竟，这样一来政府就能不断获得企业所缴纳的所得税。
诺贝尔奖获得者弥尔顿·弗里德曼是遗产税的强烈批判者。他称其为一种不道德的税，认为它惩善扬恶、打压节俭、鼓励挥霍。他甚至质疑遗产税作为政府税收来源的价值。他指出政府每年收集税收的花费比税收带来的收益还要多。这是因为遗产策划师为他们富有的客户提供了很多避税的巧妙方法。弗里德曼坚信撤销遗产税——以及它所带来的一些漏洞——政府会获得更多的净税收。
60 Plus Association协会的发言人歌手派特·布恩（Pat Boone），也在《华盛顿邮报》上公开指责巴菲特个人就是遗产税的受益者。他指出，伯克希尔旗下的一家附属公司就是靠卖遗产税保险获得利润的。这种保险政策使那些遗产继承人相信只要花钱就可以避免资产清算。而且，一项估计证明“有10%的寿险营销是与遗产税计划相关的”。
很多巨富阶层的成员，其中包括巴菲特、乔治·索罗斯（George Soros）以及威廉·盖茨（比尔·盖茨的父亲）都反对布什政府2001年试图撤销遗产税的决定。盖茨出席国会并表达了对撤销遗产税将减少慈善捐赠的忧虑。他指出，如果没有遗产税，那人们就不需要利用捐赠财产来逃避纳税了。
尽管将慈善捐赠和避税相联系是缺少证据的，但大家都心知肚明，在死去之前将财产捐出无疑是一种逃避遗产税的方法。2004年《华尔街日报》提醒巴菲特，如果他真的觉得遗产税是必要的话，那他应该确保他的钱都会落到政府手中。该报甚至要求巴菲特不得钻遗产税的漏洞，在他去世之前不得将钱捐给任何基金会。但是，大家都已经知道，巴菲特还是捐赠了310亿美元给比尔与梅林达·盖茨基金会，还捐了另外60亿美元给他的孩子们经营的基金会。巴菲特不会一次就捐出所有的钱，他每年会捐出总财产的5%。如果巴菲特在将财产全部捐出前去世，政府就会将剩下的财产充公。
巴菲特坚持富人应该缴纳更多的税，那为何他选择将这么多的钱捐给各种基金会，而不是让政府在他去世后拿走他大部分的财产呢？唯一可以解释这一举动的原因就是，巴菲特认为这些基金会比政府更能善用这些钱。
包括巴菲特在内的很多巨富都支持遗产税，但是他们却一直利用法律的漏洞，来避免在他们去世后被政府收走自己的财产。这难道不是相互矛盾的吗？或许我们可以用既内疚又无私来解释这些巨富们的心理。对于拥有这么多的财富他们感到很内疚，但是他们又不信任政府会善用他们的钱。然而正如保守派所指出的那样，没有遗产税照样可以达到同样的目的。这些有内疚感的人将钱给谁是他们的自由，甚至交给政府也可以。但是政府不能强迫每个人都这么做。
