Un centre des impôts dans le département du Nord. Une femme algérienne d’une cinquantaine d’années, parlant français avec un fort accent, se présente au guichet en brandissant sa taxe d’habitation : « Moi, j’ai 300 euros de RMI [revenu minimum d’insertion], et on me demande 269 euros de taxe d’habitation ! » Impassible, le contrôleur lui rétorque : « Là, c’est lié au fait que votre fille habite chez vous… Comme elle a perçu des revenus, vous perdez l’exonération de la taxe d’habitation que vous aviez l’année dernière. » L’incompréhension demeure : « Mais ça, c’est son salaire, je ne touche pas à son salaire [elle est médiatrice dans le métro] ! Ma fille, c’est pour la dépanner, et moi, je n’ai pas l’argent pour payer. Déjà, j’ai plein de dettes, l’huissier qui vient chez moi… » « Au plan contentieux, vous n’avez plus droit à une exonération, mais vous pouvez demander un étalement des paiements », tranche le contrôleur (1).

Quelques mois plus tard, dans le même centre des impôts, qui couvre aussi un secteur huppé, le service de fiscalité immobilière reçoit un couple de contribuables au titre de l’impôt de solidarité sur la fortune (ISF). Les deux retraités se présentent spontanément. Ils sont munis de la déclaration qu’ils viennent de remplir, et qui comporte la liste de leurs biens immobiliers : une habitation principale de deux cent cinquante mètres carrés dans une ville cossue du Nord (325 000 euros) et deux résidences secondaires, de quatre-vingt-deux et soixante mètres carrés, évaluées respectivement à 50 000 et 15 000 euros. « Vous allez être étonnée du prix des maisons, mais c’est un très vieux village, justifie la dame face à la contrôleuse. Il y a des termites, c’est invendable parce que c’est inhabitable l’hiver, donc on l’a évalué en conséquence. »

Son mari poursuit : « Avant, j’étais fonctionnaire dans l’administration forestière, ce qui explique que je possède aussi un groupement forestier de cent trente-quatre hectares, que j’ai évalué à 30 000 euros, et j’ai ajouté les quatre-vingt-quatre hectares de vignes que nous possédons en Bourgogne. C’est une vigne de cinquante ans que j’ai gardée car ça venait de la famille, mais ça ne vaut rien. Je ne trouverai aucun amateur pour l’acheter, donc je l’ai évaluée à 800 euros, à titre symbolique. » Après avoir tapé plusieurs opérations sur sa calculette, la contrôleuse relève le nez : « Je vais vous envoyer par écrit la notification de la somme totale, qui inclut les intérêts de retard et la majoration de 10 %. Ces pénalités sont dans le code général des impôts, on est obligés de vous les notifier, mais, en pratique, si vous faites un courrier de réclamation, on vous les enlèvera », explique-t-elle, conciliante.

Ces deux scènes invitent à considérer le problème de l’égalité sociale devant l’impôt sous un jour nouveau : les avantages dont jouissent les classes dominantes ne se mesurent pas seulement à l’aune de barèmes ou de taux d’imposition ; ils s’étendent aussi aux occasions dont disposent les plus fortunés de contourner la législation.

Pour les classes populaires, il n’y a que deux moyens d’échapper à la règle fiscale : la transgresser ou demander sa suspension de manière gracieuse. En haut de l’échelle sociale, on développe d’autres stratégies : la première consiste à adopter la nationalité d’un pays où la fiscalité est plus avantageuse et/ou à y résider ; la seconde, bien plus répandue, à subvertir le droit à son profit, tout en affichant sa loyauté à l’égard de l’Etat.

Il faut rompre avec la fausse opposition entre l’« optimisation » — le fait d’essayer de tirer le meilleur parti du droit fiscal — et les pratiques illégales. Comme pour le délit d’initié sur les marchés boursiers, il existe une continuité entre la dissimulation tolérée et le maquillage frauduleux, entre le bénéfice légal d’une disposition dérogatoire et l’irrégularité caractérisée. La particularité des classes dominantes réside précisément dans leur rapport relativiste à la règle. Elles partagent une double certitude : les règlements sont nécessaires au bon fonctionnement de la société, mais elles-mêmes doivent pouvoir s’en affranchir.

Partie de poker

S’agissant de la taxe d’habitation — dont le montant est fixé indépendamment des ressources —, le mode de calcul et de prélèvement laisse par exemple peu de place à d’éventuelles stratégies : chaque personne occupant un logement au 1er janvier de l’année concernée y est assujettie, qu’elle soit propriétaire, locataire ou hébergée à titre gratuit. Quant à la redevance audiovisuelle (passée de 125 euros en 2012 à 131 euros cette année), la seule possibilité d’y échapper est de déclarer n’avoir pas de téléviseur. Jusqu’en 2005, deux populations bien distinctes étaient concernées. D’un côté, des ménages possédant un appareil sans que l’administration en ait connaissance (11 % des fraudes) ; de l’autre, les propriétaires d’une résidence secondaire équipée d’un téléviseur, mais « omettant » de le déclarer (66 %) (2). En adossant le recouvrement de la redevance à celui de la taxe d’habitation, la loi du 30 décembre 2004 affichait comme objectif une « simplification du mode de perception ». Mais, sous couvert de rationalisation, les députés ont en fait choisi de redéployer la lutte contre la fraude en reformulant les priorités : ils ont supprimé purement et simplement l’obligation de paiement d’une deuxième redevance pour les propriétaires d’une résidence secondaire, et renforcé les contrôles sur les foyers n’ayant rien déclaré.

A l’inverse, les impôts qui frappent prioritairement les ménages les plus aisés offrent des possibilités beaucoup plus variées de contournement et de transgression. Ainsi, la fiscalité immobilière repose, pour une large part, sur des bases déclaratives que les agents ne peuvent contrôler de façon irréfutable. Cette impossibilité de connaître avec précision l’étendue des patrimoines les contraint à privilégier une gestion conciliante des illégalismes en matière d’ISF : « On ménage [les assujettis à l’ISF], nous expliquait une contrôleuse en fiscalité immobilière. On commence par leur téléphoner pour les prévenir, puis on leur envoie une relance amiable. Ensuite, s’ils ne nous répondent pas, on leur adresse une proposition de rectification, et, s’ils ne se manifestent toujours pas, on leur envoie une deuxième relance en recommandé avec accusé de réception… Mais on préfère éviter la procédure de taxation d’office, car sinon on est obligés de tout notifier, et ils vont tout de suite savoir ce qu’on sait et ce qu’on ne sait pas. »

Le choix de la conciliation ne résulte donc pas d’une quelconque mansuétude de la part de cette contrôleuse très attachée au principe de l’égalité devant l’impôt : sa propension à ménager ces contribuables tient davantage à l’insuffisance des moyens dont elle dispose. Ses collègues et elle comparent souvent leur activité à une partie de poker : lancer un contrôle revient à abattre leurs cartes et à dévoiler au contribuable tout ce que l’administration sait, mais aussi tout ce qu’elle ignore. Pour entretenir une certaine ambiguïté sur ce qu’ils connaissent de l’étendue des patrimoines, ils préfèrent le plus souvent s’en remettre aux déclarations. Une fois la liste des biens établie, ils doivent contrôler leur valeur, mais les moyens mis à leur disposition sont limités. Pour chaque bien sous-évalué, il leur faut trouver au moins trois termes de comparaison, ce qui suppose des investigations longues et fastidieuses.

A l’absence de référence fiable pour estimer la valeur d’un bien immobilier s’ajoute l’impossibilité d’y pénétrer, au nom du respect de la propriété privée. Dès lors, le contribuable peut facilement contester l’évaluation du contrôleur en arguant du caractère détérioré, voire délabré, de l’intérieur de sa propriété. En revanche, pour la redevance audiovisuelle, la contrainte sur l’assujetti est plus forte : le refus de laisser l’agent de l’administration constater de visu l’absence de téléviseur conduit à perdre l’exonération. Ainsi, tandis que les services de la redevance audiovisuelle se rendent régulièrement sur place pour vérifier la véracité des déclarations de ceux qui disent ne pas avoir de télévision, les contrôleurs de l’ISF renoncent la plupart du temps à se déplacer, considérant les éventuels redressements comme trop faibles par rapport au temps passé à les établir. Dans un cas, la pratique du contrôle revêt une dimension morale (« remettre les gens dans le droit chemin ») ; dans l’autre, le renoncement se justifie au nom de la rentabilité : lorsqu’il s’agit de contribuables aisés, le contrôle n’est engagé que si les sommes exigées sont plus élevées que le coût induit pour l’administration.

Autre entrave à l’activité de contrôle des agents : la diversité des ressources des classes dominantes. Leur fortune se compose le plus souvent de revenus salariaux, de revenus fonciers, de capitaux mobiliers et d’un patrimoine établi dans différents lieux. Or les services fiscaux peinent à se coordonner entre eux et à échanger des informations avec d’autres administrations. Tandis que l’intensification de la surveillance des allocataires de minima sociaux a donné lieu à un rapprochement des organismes de contrôle (lire « Du souci de la justice à la surveillance des pauvres »), la vérification des hauts revenus et des patrimoines reste en butte à la dispersion des informations et des outils permettant de les obtenir.

Si les dossiers des plus fortunés doivent en principe être vérifiés tous les trois ans, il s’agit en pratique de procédures routinisées qui débouchent rarement sur d’importants redressements, faute de moyens d’investigation adaptés. On retrouve là un cas exemplaire de ce que le sociologue Pierre Bourdieu qualifie de « mauvaise foi de l’institution » (3) : par une sorte de « double jeu », l’Etat réaffirme en permanence sa vocation à être intransigeant envers les transgressions des plus fortunés, tout en acceptant que ses agents soient matériellement empêchés de poursuivre de tels objectifs.

Au sein de l’administration fiscale, la division de chaque structure locale entre le service des impôts des entreprises, celui des revenus des particuliers et celui de la fiscalité immobilière, de même que la séparation entre services locaux et directions nationales, sont sources de dispersion et de déperdition d’information. C’est ce qu’illustrent les allégements d’impôt accordés aux capitaux privés investis outre-mer : « Moi, ces investissements-là, je ne les regarde même plus, confie l’inspectrice des dossiers “à fort enjeu”. Pour les contrôler, il faudrait y aller, et on n’en a absolument pas les moyens. Les collègues sur place sont complètement débordés, donc ils renoncent ; il y en a trop, et ils ne sont pas assez nombreux.

Dernièrement, on a repéré un immeuble dont on savait pertinemment qu’il avait servi à trois ou quatre déclarations différentes, mais on ne peut rien faire. Vous les appelez ou vous leur écrivez, et ils ne répondent pas. » Comme beaucoup de niches fiscales, les réductions d’impôt pour les investissements outre-mer sont discutées à l’Assemblée en fonction de leur efficacité économique ou de leur légitimité, jamais en fonction des possibilités d’illégalités qu’elles engendrent. On peut en outre se demander si l’absence de toute mesure prise par la haute administration pour mettre fin à une telle situation n’équivaut pas, là encore, à un consentement tacite à ce type de transgressions.

Les difficultés à contrôler les déclarations des contribuables qui résident en France, mais qui perçoivent des revenus ou possèdent un patrimoine à l’étranger, sont plus nombreuses encore. S’il existe de multiples conventions bilatérales destinées à éviter la double imposition, les mécanismes de coopération entre Etats visant à coordonner la surveillance des contribuables qui vivent un peu partout dans le monde s’avèrent beaucoup plus rares. Qu’il s’agisse des salaires, des revenus fonciers ou des patrimoines, l’administration française a très difficilement accès aux informations détenues par d’autres pays sur les contribuables domiciliés en France (4). Ce qui ouvre aux classes dominantes de nombreuses stratégies d’évitement de l’impôt.

Dans le cas de la Belgique, par exemple, la convention fiscale bilatérale liant ce pays à la France ne permet pas aux fonctionnaires hexagonaux d’enquêter sur l’existence de comptes bancaires. Or, comme les cessions de plus-values mobilières ne sont pas taxables dans ce pays, certains contribuables fortunés du Nord déclarent résider de l’autre côté de la frontière pour échapper au prélèvement en France. Dans bien des cas, ces expatriations sont fictives, mais les inspecteurs sont impuissants : « On a arrêté d’essayer de relocaliser ceux qui se domiciliaient de façon fictive à l’étranger. Ça ne sert à rien, on brasse du vent. On pourrait relocaliser un certain nombre de gens en France, en prouvant par exemple que leurs enfants y sont scolarisés, mais on se casse les dents, car on manque de moyens d’investigation », explique l’inspectrice chargée des dossiers « à fort enjeu ».

Pour les classes dominantes, le stade du contrôle n’est souvent que la première étape d’un processus qui laisse encore d’importantes possibilités de négociation avant une sanction effective. A la suite d’un contrôle sur place, le contribuable peut par exemple bénéficier d’une procédure contradictoire en saisissant la commission départementale des impôts directs et des taxes sur le chiffre d’affaires. Architecte de renom, M. Pierre C. y a fait appel au sujet d’un redressement portant sur des sommes versées sur un compte mixte (concernant à la fois son entreprise et sa vie privée). L’administration considère que ces sommes non déclarées (pour une valeur de 1 million d’euros) doivent être réintégrées dans son chiffre d’affaires, ce qu’il conteste. Vêtu d’un costume gris, cet homme d’une soixantaine d’années se présente accompagné de son avocat, un ancien inspecteur devenu conseiller fiscaliste. « Mon client a eu des difficultés professionnelles importantes, explique ce dernier, et il a eu recours à des prêts. (…)

Nous sommes ici dans un cas de vérification de comptabilité, et pas en taxation d’office. Donc on est dans le cadre du contradictoire, où c’est à l’administration d’apporter la preuve, et pas au contribuable. Or, pour aucune des sommes en jeu l’administration ne prouve qu’il s’agit de revenus professionnels. » Le vérificateur des impôts s’interroge alors sur ces fameuses « difficultés » : « En 2005, vous avez vendu un immeuble pour un montant, si je me souviens bien, de 2 millions d’euros. Il semble bizarre d’emprunter de l’argent quand on a de telles rentrées. » L’avocat l’interrompt sur un ton menaçant : « Vous n’avez pas le droit de mentionner des faits qui n’ont rien à voir avec le dossier. Pour prouver qu’il s’agissait de revenus professionnels, vous auriez pu faire un droit de communication auprès des prêteurs. Maintenant, répondez à cette simple question : est-ce que, oui ou non, vous pouvez prouver qu’il s’agit de revenus professionnels ? »

Un contrôleur mué en conseiller

Cette stratégie consiste à tirer parti du flou de la frontière entre sphère professionnelle et sphère privée, et à entretenir la confusion entre prêt désintéressé et commission occulte. Pour défendre ses intérêts, le riche architecte a pris soin de faire appel à un ancien inspecteur des impôts qui connaît parfaitement les arcanes de la procédure de vérification de comptabilité, et qui en use d’ailleurs à plusieurs reprises. Tout son argumentaire consiste à opposer les règles de droit entre elles et à reporter la charge de la preuve (mais aussi la faute) sur l’administration. Le recours aux « comptables habiles » et aux « éminents avocats » (5) peut ainsi s’avérer déterminant pour aborder dans les meilleures conditions les arènes de négociation offertes par le droit.

Enfin, le traitement des contribuables varie d’un lieu à l’autre, en fonction des moyens matériels et humains affectés à chaque secteur d’habitation. Après les très importantes réductions d’effectifs opérées au sein de la direction générale des finances publiques, les écarts se sont considérablement creusés : entre 2003 et 2011, plus de vingt mille emplois ont été supprimés dans l’ensemble de l’administration des finances publiques, majoritairement parmi les agents subalternes. Si les brigades chargées de la vérification des entreprises ont pour l’instant été préservées, les services de programmation des contrôles et de suivi des professions libérales ont été plus touchés. Les équipes chargées de la réception du public sont plus directement encore concernées par ces suppressions de postes. Comme les besoins d’accueil physique à destination des classes populaires sont restés les mêmes, les inégalités s’accentuent d’un secteur géographique à l’autre.

En effet, en dépit des tentatives de simplification, les formulaires et courriers de l’administration sont rédigés dans une langue peu accessible au plus grand nombre. Les usagers peu diplômés sont ainsi, plus que les autres, enclins à se déplacer lorsqu’ils reçoivent une demande de précision, voire un simple avis d’imposition. Dans les centres des impôts fréquentés par les classes populaires, les agents sont donc très attentifs à limiter le temps qu’ils passent à traiter les réclamations ou les demandes d’information. Les interactions au guichet durent en général une dizaine de minutes. En revanche, dans les secteurs plus favorisés, les contribuables règlent beaucoup de leurs différends par courrier et ne se déplacent qu’en cas d’extrême nécessité. Les agents sont donc beaucoup moins accaparés par les tâches de réception et par le travail d’explicitation du langage fiscal. Lorsqu’un contribuable se déplace pour faire valoir son point de vue, il dispose du temps nécessaire pour exposer en détail sa situation.

Cette disponibilité laisse en outre aux agents du temps pour prodiguer des conseils. Ainsi, il n’est pas rare que l’inspecteur chargé du suivi des professions libérales soit sollicité par des contribuables souhaitant être aiguillés dans leur déclaration. « Il y en a qui me connaissent et qui n’hésitent pas à venir régulièrement me voir. Dès qu’ils modifient quelque chose dans leur portefeuille d’actions, qu’ils font des travaux dans leur maison, ils me sollicitent », raconte un agent du pôle inspection de contrôle et d’expertise. On retrouve ici une personnalisation du rapport au contribuable, renforcée par une tendance à la confiance réciproque.

A une dame âgée venue chercher un conseil pour sa déclaration de revenus, cet agent suggère par exemple de changer de régime foncier afin d’obtenir un abattement d’impôt de 71 %, et non de 40 % comme elle l’avait demandé initialement. Il l’encourage même à déposer une réclamation pour les deux années précédentes, de façon à obtenir un dégrèvement encore plus important. A une autre contribuable se présentant après un redressement pour n’avoir fourni aucun justificatif après une réduction d’impôt concernant des travaux d’isolation, il suggère de rédiger un courrier demandant le dégrèvement des pénalités et explique toutes les autres possibilités de réduction d’impôt dont elle pourrait bénéficier l’année suivante. Pour beaucoup de contrôleurs en poste dans les secteurs favorisés, le conseil et le contrôle sont les deux faces d’une même activité.

La mise en œuvre de la loi fiscale se caractérise ainsi par d’importantes disparités. Pourtant, les agents qui les induisent restent en majorité fermement attachés à l’égalité de traitement. Cette apparente contradiction tient en partie à l’organisation de l’administration fiscale : elle est à la fois très centralisée et très compartimentée dans ses diverses sphères d’intervention. Les dispositifs de collecte et de contrôle diffèrent d’un impôt à l’autre, et les pratiques qui en découlent varient selon le contexte local. Les fonctionnaires chargés du contrôle des plus fortunés n’ont guère l’occasion de comparer leurs pratiques avec celles de leurs collègues qui travaillent dans les milieux déshérités. Les uns et les autres peuvent donc se convaincre que, dans la limite de leurs prérogatives, ils appliquent la loi dans le sens de l’intérêt général.

Notes

(1) Cet article s’appuie sur une enquête effectuée entre 2006 et 2010 dans deux centres des impôts du Nord et de la région parisienne.

(2) Patrice Martin-Lalande, « Réformer la redevance pour assurer le financement de l’audiovisuel public », rapport no 1019 déposé le 9 juillet 2003 à l’Assemblée nationale, p. 19-20.

(3) Pierre Bourdieu (sous la dir. de), La Misère du monde, Seuil, Paris, 1993, p. 247.

(4) Christian Chavagneux et Ronen Palan, Les Paradis fiscaux, La Découverte, Paris, 2012.

(5) Charles Wright Mills, L’Elite au pouvoir, Agone, Marseille, 2012 (1re éd. : 1956), p. 225 et suivantes.