Article Fiscalité - Les controverses sur la pertinence de l'ISF...

Les controverses sur la pertinence de l'ISF

Alors que différents candidats à l’élection présidentielle proposent de revoir la fiscalité des plus riches, on peut s’interroger sur la pertinence d’un impôt sur le patrimoine tel que l’ISF. Passage en revue des arguments « pour » et des arguments « contre »…

Les arguments opposés à l'ISF
L'ISF est fréquemment qualifié d'« impôt idéologique » par ses détracteurs et parfois rebaptisé
« Incitation à Sortir de France ».

Sur le fond

Les « impôts sur la fortune » ont été abolis dans plusieurs pays développés et sont inexistants dans la plupart des autres. La suppression de l'impôt sur la fortune a été notamment décidée dans les huit autres pays de l'Union européenne où il était en vigueur en 1994, l'Espagne ayant, par exemple, supprimé son équivalent (El Impuesto sobre el Patrimonio) avec effet rétroactif au 1er janvier 2008). Par ailleurs, cette singularité contribuerait au départ de fortunes nationales vers des pays à la fiscalité du patrimoine moins lourde (Suisse, Luxembourg, Belgique, Italie, Grande-Bretagne notamment...). Ce phénomène d'expatriation fiscale a concerné selon une étude du sénat 843 redevables et 2,8 milliards d'euros en 2006, en nette augmentation sur les années précédentes (368 en 2003). Un autre rapport pointe la sous-estimation des chiffres de l'administration fiscale ainsi que les pertes indirectes pour l'économie française : « Dans tous les cas, les délocalisations des redevables à l'ISF constituent une perte de dynamisme pour l'économie française : plus jeunes que la moyenne des redevables à l'ISF (qui est de 66 ans), tout en étant expérimentés (fourchette des 45-55 ans), nettement plus riches que la moyenne des redevables à l'ISF, ces contribuables, parmi lesquels les dirigeants d'entreprise sont très nombreux, ont eu depuis six ans à leur disposition 10 à 15 milliards d'euros de capitaux qu'ils ont pu investir ailleurs qu'en France. ». Dans un reportage sur l'ISF, l'émission télévisée Capital estime elle qu'un tiers des multimillionnaires français s'expatrient. De plus ces estimations ne comptabilisent pas les Français déjà expatriés qui renoncent à rentrer en France après avoir réussi financièrement à l'étranger.

Compte tenu des autres aspects négatifs (en particulier l'expatriation fiscale), l'impôt aurait au final un rendement net négatif. Ainsi, selon l'économiste Patrick Artus, il « coûterait deux fois en TVA non perçue ce qu'il rapporte ». L'Institut Montaigne insiste également sur les coûts directs et indirects de l'ISF pour l'économie française : il estime à 130 milliards d'euros le montant des capitaux qui ont quitté la France pour éviter l'ISF entre 1997 et 2006 et plus de 200 milliards depuis la création de cet impôt. Pour un bénéfice de 3,8 milliards d'euros par an, l'ISF entraîne également selon l'Institut Montaigne des pertes fiscales cumulées de 15,9 milliards d'euros. De fait, ces pertes auraient pour effet indirect d'augmenter les autres impôts, puisque les organismes publics ont besoin d'un certain niveau de recettes pour financer leurs dépenses. Selon Christian Chavagneux, rédacteur en chef d'Alternatives Economiques, l'ISF en entraînant l'expatriation fiscale génère un manque à gagner estimé à 10 % des recettes fiscales annuelles pour l'État français. Selon l'Ifrap, l'ISF aurait entraîné 200 milliards d'euros de fuite de capitaux au minimum depuis sa création jusqu'à 2007 ; elle quantifie à 0,2 % de PIB le manque à gagner de la croissance française causée par cet impôt qui provoque l'expatriation fiscale des Français les plus aisés. Dans une étude détaillée parue dans la Revue de droit fiscal du 5 avril 2007, Éric Pichet estime quant à lui que le manque à gagner pour l’Etat en recettes fiscales annuelles à 7 milliards d'euros, soit le double des recettes de l’ISF en 2007 (3,5 milliards d'euros).

Les déclarations de patrimoine seraient « attentatoires à la vie privée » selon l'ancien ministre Michel Poniatowski, qui estimait anticonstitutionnelle une exigence de déclaration de toutes les résidences d'un particulier. Le redevable est, en effet, contraint d'évaluer, avec un certain détail, l'intégralité de ses biens, y compris bijoux, mobilier, garde robe, etc. En outre la taxation commune des concubins mais pas des colocataires suppose que l'administration se mêle des aspects les plus intimes de la vie des personnes qu'elle peut avoir à contrôler. L'avocat Jean Annarella déclarait pour sa part que « L’impôt de solidarité de la fortune n’est pas un impôt, c’est un outil de contrôle ! ». Le journal Mieux vivre votre argent, dans un article sur le « traquage » des contribuables par le fisc, estimait que l'ISF est un moyen pour le fisc d'obtenir des informations auxquelles il n'aurait pas accès normalement.

L'ISF ferait « double emploi » avec les droits de succession (qui est aussi un impôt sur le patrimoine) ainsi que la taxe foncière pour les biens immobilier, selon certains théoriciens de la fiscalité (voir impôt et patrimoine). Par ailleurs, les biens ont aussi été taxés quand ils ont été acquis, par l'impôt sur le revenu ou les droits de succession.

Parmi les considérations qui avaient fait adopter l'impôt sur la fortune figurait la recherche d'incitation des Français à « rentabiliser » leur capital laissé en friche : résidences secondaires ou tertiaires, ou encore celles utilisées simplement quelques semaines ou jours par an en tant que « pied à terre » ; or, ce but qui n'a pas été atteint par l'ISF, tenterait, aujourd'hui, de l'être par une nouvelle taxe, la taxe annuelle sur les logements vacants dans les villes où elle semble utile aux pouvoirs publics.

« Le niveau de fraude serait élevé » : en effet, il s'agit d'un impôt déclaratif (c'est le contribuable qui doit prendre l'initiative d'estimer la valeur de son patrimoine, de calculer le montant de son impôt et s'il est redevable d'en informer l'administration fiscale). De ce fait, le nombre de contribuables en infraction (par ignorance de la valeur exacte de leur capital ou volontairement) serait important. D'autre part la difficulté d'estimer le prix de certains biens (immobilier, bijoux, mobilier, etc.) ouvre la porte à la sous-estimation du patrimoine déclaré ainsi qu'à de nombreux conflits avec l'administration. Enfin, la lourdeur et la grande complexité d'une déclaration ISF, notamment au regard de l'âge moyen de l'assujetti (66 ans) et du délai resserré existant entre le retrait des formulaires et leur date limite de dépôt, expliquerait que, au moins pour la première année, un grand nombre de redevables se trouvent dans l'impossibilité de déposer leur déclaration dans les délais.

Du point de vue de son appellation, l'ISF pose la question de la « solidarité contrainte ». Lorsqu'elle est imposée par l'État, la solidarité devient coercitive. Cette question se pose pour tous les impôts progressifs, mais plus spécifiquement à l'ISF du fait de son nom et des justifications morales et politiques qui l'appuient.

L'assiette de l'ISF est un montant estimé. La valeur d'un bien immobilier ou d'un portefeuille de valeurs peut fluctuer dans le temps, à la hausse mais aussi à la baisse. Par exemple, une décision administrative en matière de plan d'occupation des sols peut dévaloriser des biens immobiliers. La valeur vénale d'un tel bien ne se révèle en fait qu'à la vente. En cas de baisse de la valeur de son patrimoine, le contribuable aura été taxé inéquitablement sur une fortune virtuelle.

Sur la forme

L'ISF peut être perçu comme « confiscatoire » : en effet son mode de calcul indexé sur le capital plutôt que les revenus fait que l'impôt peut excéder largement la faculté contributive de certains contribuables. Quelques-uns ont ainsi été contraints de céder chaque année une partie de leur patrimoine pour acquitter l'ISF. Ces situations avaient été réglées par l'adoption du bouclier fiscal qui plafonne l'ensemble des impôts du contribuable à 50 % de ses revenus, qui a été abandonné en 2012 au profit d'une refonte des barèmes de l'ISF.

« L'augmentation du nombre de personnes imposables » : si le nombre total des redevables augmente rapidement, ils sont par exemple passés de 178 899, en 1997 à 518 000 en 2007, soit 190 % de plus en dix ans, la cotisation moyenne de l'ISF, elle est en baisse constante (par exemple -9,1 % entre 1997 et 2003 selon le Sénat). Cette hausse du nombre des redevables est avant tout due à l'augmentation rapide des prix de l'immobilier. Par exemple en 2010, le propriétaire d'un appartement de 100 m² dans les 4e, 5e, 6e, 7e, 8e, ou 16e arrondissements de Paris est désormais redevable de l'ISF. En ce sens, l'ISF, élaboré il y a presque trente ans comme impôt sur les grands rentiers et sur « le capital dormant » des grandes fortunes, devient un nouvel impôt immobilier plus qu'une taxe sur la fortune. Par ailleurs, le seuil minimal d'imposition est passé d'environ 920.000€ en 1982 à 790.000€ en 2010.

La presse financière a reproché à l'ISF d'être un impôt « qui [embêtait] les millionnaires sans gêner les milliardaires » : en effet, la plupart des très grandes fortunes utiliseraient soit des stratégies de défiscalisation (le plus souvent par l'exonération des biens professionnels) ou opteraient pour l'expatriation. En revanche les foyers plus modestes soumis à l'ISF (cadres supérieurs, retraités aisés, etc.) n'ont pas accès à ces solutions. Ainsi, tous les milliardaires résidant en France recensés par Forbes en 2006 sont en position de bénéficier de l'exonération au titre de bien professionnel. Par ailleurs, les 100 plus gros redevables de l'ISF ont un revenu moyen 6 fois inférieur aux 100 plus gros revenus.

Très peu d'exonérations d'ISF ont fait l'objet d'un contrôle de constitutionnalité.

Il « pénalise les couples » car il n'intègre aucun concept de part comme l'impôt sur le revenu : ainsi, deux personnes ayant chacune 500 000 euros de patrimoine ne paieront pas d'ISF en se déclarant célibataires, mais le simple fait de se mettre en concubinage suffira à les rendre imposables sur un patrimoine de 1 million d'euros. De même, deux célibataires déjà imposables à l'ISF auront en se mariant une taxation supérieure à la somme de ce qu'ils payaient individuellement auparavant.

Les taux d'imposition sont fixes, alors que les rendements (taux) des capitaux net d'inflation n'ont cessé de baisser, rendant le poids de l'impôt de plus en plus lourd.

Il pénalise la gestion des entreprises : en effet de nombreux dirigeants d'entreprise âgés se maintiennent à des postes de direction dans le seul but de bénéficier de l'exonération au titre de « biens professionnels ». Depuis le 1er janvier 2006, cette situation est atténuée par l'exonération sous conditions à hauteur des trois quarts de leur valeur des parts de société détenues par les dirigeants retraités prévue par l'article 885 I quater II du Code Général des Impôts.

Enfin, son coût de gestion est élevé (2,13 % contre 1,2 % pour les autres impôts)

Les arguments en faveur de l'ISF
Dans une économie moderne, la création de richesse est avant tout une œuvre collective. Que certains individus arrivent à accumuler de grandes richesses n'est pas tant l'indice d'une productivité exceptionnelle que l'indication de la capacité de certains à capter beaucoup des richesses produites collectivement. En outre, lorsque la richesse est héritée, ce qui est désormais le cas le plus fréquent en France, elle profite à une personne qui peut n'avoir absolument aucun mérite. En ce sens, la richesse d'héritage est comme les privilèges de l'Ancien Régime : une anomalie qu'il faudra bien un jour abolir. Que ce soit dans le cas de l'accumulation ou que ce soit dans le cas d'un héritage, on voit donc bien que cet effet de richesse doit être au minimum corrigé, ce que fait parfaitement l'ISF.

En limitant les grosses accumulations de capitaux et par son aspect redistributif, l'ISF contribue donc - avec les droits de succession et de mutation - à éviter l'accentuation des inégalités de patrimoine, inégalités qui seraient nuisibles au principe républicain d'égalité des chances.

L'idée de taxer les grands patrimoines n'est pas du tout saugrenue : aux Etats-Unis, l'homme le plus riche du monde, Warren Buffett, prêche sans relâche à travers le monde pour que les milliardaires du monde entier acceptent de donner au moins 50% de leur fortune à des fondations. En cohérence avec la logique implacable de ses propres idées, il a lui-même décidé de déshériter ses propres enfants, leur donnant ainsi la chance de pouvoir vivre une vie normale.

Les tenants de l'impôt sur la fortune, comme d'un taux marginal élevé d'impôt sur le revenu, font appel au devoir patriotique des citoyens. Préférer l'exil fiscal pour échapper à des prélèvements obligatoires élevés serait ainsi moralement condamnable.

En outre, le vrai patrimoine de la France, celui qui n'a pas de prix, ne peut être déménagé : nos monuments, notre art de vivre, notre intelligence collective, notre culture. En bref, les riches contribuables qui décident de quitter le pays n'emportent avec eux que des billets et pas notre patrimoine collectif ou nos ressources. Il s'agit seulement d'un mouvement monétaire, qu'il faut certes maîtriser, mais qui ne présente aucun danger pour l'économie.

Idéologiquement, supprimer l'ISF pour s'aligner sur les autres pays reviendrait à participer à une course au « dumping fiscal » et à l' « harmonisation par le bas des politiques de redistribution des richesses ».

L'ISF représente une source fiscale significative. Il a rapporté 4,2 milliards d'euros à l'État en 2011 (malgré la suppression de sa première tranche), une ressource à laquelle il est difficile de renoncer dans le contexte du déficit budgétaire de l'État et des engagements européens de la France dans le cadre du pacte de stabilité. En effet même si l'ISF peut avoir un impact négatif à long terme sur les revenus de l'Etat (voir supra) il reste à court terme une source de revenu non négligeable.

L'ISF constitue une incitation à l'optimisation de la productivité du patrimoine, en ce sens qu'il pénalise la détention de patrimoine oisif et décourage les agents économiques non désireux de faire fructifier leurs biens de les conserver.

Selon les données officielles disponibles, recensées par le SNUI dans un rapport d'octobre 2010, ni l'ISF, ni le bouclier fiscal n'ont eu d'impact significatif sur l'évolution des expatriations, dont le motif fiscal a fréquemment été exagéré.

L'ISF contribue à compenser les éléments de progressivité que l'impôt, en particulier sur le revenu, a perdu suite aux réformes mises en œuvre depuis 2005 (changement du barème et du nombre de tranches, avantage tiré de l'exonération des heures supplémentaires concentré sur les plus haut revenus, crédits d'impôt et niches fiscales divers, modification de l'impôt sur les successions [loi TEPA]).

Au delà des arguments passionnels, L'ISF n'a rien de confiscatoire, son montant rapporté à la valeur nette du patrimoine est faible (CF. plus haut, barème en %).

Il est peu convaincant de reprocher à un impôt déclaratif et reposant sur les propres estimations du contribuable, d'être inquisitorial et excessif.

Conclusion
Pour ou contre l'ISF ? Idéologie ou bien pragamatisme ? A chacun de se situer...

Pour vous conseiller sur l'ISF, des expert-comptables :

Lien vers HaOui : www.haoui.com
Lien vers : historique des newsletters