Le bio en question !

L’équipe Miam a sélectionné pour vous un article qui nous a paru essentiel pour analyser la dernière étude NutriNet-Santé sur la consommation d’aliments issus du label AB et le risque de cancer.

Notre expert : Laurent Buhler, diététicien-nutritionniste, spécialisé dans le décryptage des études.

Impossible d’y échapper, l’étude NutriNet-Santé consacrée à l’effet d’une alimentation bio sur le risque de cancer est partout, partagée par les réseaux sociaux, reprise dans les magazines et à la radio, vue à la télé. Si l’on en croit le résultat annoncé par les auteurs, “une fréquence élevée de consommation de produits bio est associée à une réduction du risque de cancer” [1]. Un chiffre de 25 % de réduction est même avancé, ce qui ferait du bio une approche extrêmement efficace dans la prévention.
Mais l’étude réalisée permet-elle vraiment d’arriver à une telle conclusion ? S’appuie-t-elle sur un protocole solide ? Pour en avoir le cœur net, il faut descendre dans les profondeurs de cette vaste étude qui a mobilisé plus d’une dizaine de chercheurs.

Le texte qui suit n’apporte pas d’élément “en faveur du bio” ou “contre le bio”. L’intention est simplement d’étudier si le résultat annoncé repose sur une approche scientifique de qualité.

Par ailleurs, tous les arguments présentés ici sont vérifiables et accessibles via les références données en fin d’article.

Type d’étude

L’étude NutriNet-Santé consacrée à l’association entre consommation d’aliments bio et risque de cancer est ce qu’on appelle dans le jargon une étude “d’observation” ou étude de cohorte. On prend l’existant ou ce qu’on croit être l’existant et on observe ce qui se passe.
À l’opposé, on a les études dites “cliniques” ou “d’intervention” pour lesquelles on constitue un échantillon auquel on applique une intervention contre placebo. Ce type d’étude est malheureusement très compliquée à réaliser en nutrition même si une comparaison d’une consommation d’aliments bio versus une consommation d’aliments conventionnels s’y prête plutôt bien.

Échantillon

Parmi les premières étapes de la conduite d’une étude, quel que soit son type, on trouve le recrutement des participants. Idéalement, on essaie d’obtenir un échantillon correspondant au champ d’application visé par l’étude. Par exemple, si l’étude vise la population française, il est préférable que l’échantillon étudié soit représentatif c’est-à-dire constitué des mêmes proportions de femmes, d’hommes, d’actifs, de cadres, d’ouvriers, de bien-portants, de femmes ménopausées ou en âge de procréer, etc. que la population visée.

Si l’échantillon est particulier (par exemple essentiellement composé de femmes), son champ d’application est restreint à la population étudiée.

Dans l’étude NutriNet-Santé sur le bio, l’échantillon est composé à 78 % de femmes, à 65 % de personnes ayant un diplôme secondaire, à 24 % de catégories socio-professionnelles supérieures. L’IMC moyen est à 2 points en dessous de la moyenne nationale (23,7 vs 25,7) [2]. L’échantillon semble donc légèrement différent de la population française, à moins que les participants aient pris quelques libertés avec la réalité de leurs diplômes, de leur poids ou de leur sexe.

Collecte des données nutritionnelles

Autre étape extrêmement importante dans la réalisation d’une étude : la collecte des données. Pour évaluer l’impact d’un mode alimentaire en termes de santé, il apparaît primordial de s’assurer que les données recueillies sont fiables. Exemple trivial : si on croit mesurer l’effet d’une consommation régulière d’oranges sur un échantillon qui mange en réalité des pommes, la conclusion de l’étude sera, par définition, erronée.

Comment les données sont-elles collectées dans l’étude NutriNet-Santé ?

Concernant les données de base, voici divers éléments donnés par le texte de l’étude :

• “Au démarrage, des données ont été collectées concernant l’âge, le sexe, le niveau d’éducation, le statut familial, le revenu mensuel par membre du foyer, le nombre d’enfants et le statut tabacologique.”
• “Des questionnaires anthropométriques ont fourni des données sur la taille et le poids.”
• “Des questionnaires spécifiques ont évalué l’usage de compléments alimentaires (oui ou non) et l’exposition au soleil (“vous êtes-vous régulièrement exposés au soleil à l’âge adulte ?” – oui ou non).”

Jusqu’ici, rien à dire. Il faut atteindre la partie concernant les données alimentaires pour entrer dans le vif du sujet.

Concernant l’alimentation en général, voici comment ça se passe :

“Lors du recrutement, la prise alimentaire a été évaluée en utilisant trois enregistrements sur 24 heures, distribués aléatoirement sur une période de 2 semaines, incluant 2 jours de semaine et 1 jour de week-end, selon une méthode validée. Les participants ont enregistré tous les aliments et toutes les boissons consommées en toutes occasions. Les tailles des portions ont été estimées en utilisant des photos issues d’un catalogue d’images préalablement validé ou directement saisies en grammes, volume, ou unités achetées.La prise d’alcool a été calculée en utilisant l’enregistrement sur 24 heures ou selon un questionnaire de fréquence pour ceux identifiés comme abstinents pendant les 3 jours d’enregistrement sur 24 heures.De même, la consommation hebdomadaire de fruits de mer a été évaluée par un questionnaire spécifique de fréquence.La consommation alimentaire quotidienne moyenne a été calculée à partir des trois enregistrements de 24 heures réalisés au démarrage et pondérée selon le type de jour (jour de semaine ou jour de week-end).La prise de nutriments a été dérivée des prises alimentaires individuelles selon les enregistrements sur 24 heures puis calculée en utilisant la table de composition alimentaire Nutrinet-Santé.”

Apparemment, le recueil des données suit une méthode “validée” qui est censée en assurer la fiabilité. La référence qui figure dans le texte renvoie à l’étude de validation de la méthode.

Zoom sur la « Méthode validée »

Avant de poursuivre, il est intéressant d’ouvrir une parenthèse concernant cette étude de validation.
Il faut bien se mettre d’accord sur ce qu’on entend par “méthode validée”. Si on épluche l’étude référencée pour ce terme [3], on découvre que “méthode validée” signifie que, si le questionnaire a été correctement et exhaustivement rempli (et ce préambule est d’une importance capitale), le bilan urinaire des 24 heures obtenu correspond effectivement à l’enregistrement alimentaire pour 3 biomarqueurs :

• l’azote (en tant qu’indicateur de l’apport protéique),
• le sodium,
• et le potassium (chez une population n’ayant aucune pathologie impactant les sphères digestives ou rénales).

Cette méthode est extrêmement fastidieuse. Il faut remplir 3 questionnaires alimentaires de façon détaillée et complète et, sur 2 jours correspondant à 2 des 3 jours consacrés aux questionnaires, il faut collecter ses urines de 24 heures selon un protocole bien précis.
Le recrutement des participants a donc fait appel à des volontaires particulièrement déterminés.

1) Or on constate que même chez ces volontaires déterminés, 10 % des bilans urinaires sont inexploitables, soit en raison d’un recueil incomplet des urines, soit par inadéquation avec le questionnaire alimentaire. Dit autrement, cela signifie que, même chez des participants très assidus, 1 questionnaire sur 10 ne peut pas être validé.

2) Soit ! Mais sur les questionnaires validés, obtient-on une bonne correspondance entre apports alimentaires déclarés et marqueurs urinaires ? Pour le sodium et le potassium, c’est assez satisfaisant mais pour l’azote (i.e. les protéines), les apports déclarés par les participants sont sous-estimés d’environ 14 %, tant chez les hommes que chez les femmes.

3) Pour autant, les auteurs considèrent qu’il existe une bonne corrélation entre les enregistrements alimentaires et les résultats de bilans urinaires, c’est à dire que les consommations déclarées sont assez fidèles à ce qu’on retrouve dans les urines (sans préciser toutefois comment l’écart des apports protéiques est corrigé). À un petit détail près toutefois, car selon les chercheurs, “les coefficients [de corrélation entre les enregistrements alimentaires et les résultats des bilans urinaires] sont plus faibles chez les femmes que chez les hommes, ce qui indique une validité intrinsèque inférieure de l’outil chez les femmes par rapport aux hommes“. Les questionnaires administrés aux femmes sont donc moins fiables. C’est un peu dommage car comme nous l’avons vu plus haut,

=> Au total, rien que sur les données alimentaires de base, on se trouve déjà en présence de 4 biais cumulés :

• 10 % des données impossibles à valider,
• 14 % de sous-estimation de la prise protéique (qu’en est-il pour les glucides et les lipides?),
• moindre fiabilité des réponses féminines,
• assiduité réelle inconnue.

Consommation bio

Le volet bio de l’enquête est-il plus satisfaisant ou réserve-t-il de nouvelles surprises ?

Voici le protocole de collecte des consommations de produits bio, tel qu’il est présenté dans l’étude :

• “Deux mois après le recrutement, les volontaires ont été sollicités pour fournir des informations sur leur fréquence de consommation de 16 produits catalogués “bio” (fruits ; légumes ; produits à base de soja ; produits laitiers ; viande et poisson ; œufs ; céréales (utilisées en tant que féculents) et légumineuses ; pain et céréales ; farine ; huiles végétales et condiments ; plats préparés ; café, thé et tisane ; vin ; biscuits, chocolat, sucre et confiture ; autre aliments ; et complément alimentaires).”
• “Les fréquences de consommation ont été déclarées en utilisant les 8 modalités suivantes : (1) la plupart du temps, (2) occasionnellement, (3) jamais (“trop cher”), (4) jamais (“produit indisponible”), (5) jamais (“je ne suis pas intéressé par les produits bio”), (6) jamais (“j’évite ce type de produits”), (7) jamais (“pour aucune raison particulière”), et (8) “je ne sais pas”.”
• “Pour chaque produit, nous avons alloué 2 points à “la plupart du temps” et 1 point à “occasionnellement” (et 0 points dans les autres cas). Les 16 composants ont été additionnés pour fournir un “score bio” (de 0 à 32 points).”

1) Premier constat concernant ce questionnaire bio, il n’existe pas de renvoi vers une éventuelle validation du recueil de données. On n’a donc aucun moyen de savoir si ce questionnaire est en mesure de donner une image fidèle des consommations ou non. C’est encore pire que pour le questionnaire général.

Une raison supplémentaire de douter de la fiabilité de ce questionnaire est l’absence de pondération. Un exemple simple permet d’y voir plus clair :

• Soit un individu A qui achète toutes ses pâtes, riz, lentilles en bio.
• Soit un individu B qui achète ses thés et tisanes en bio.
• Le score bio pour ces deux individus va être équivalent : 2

Pourtant en termes d’exposition aux produits bio, le résultat va être très différent : environ 60 g de matière sèche par portion de pâtes pour A, contre à peine quelques grammes de feuilles pour une tasse de thé chez B.

2) De même, la notion de fréquence reste floue dans ce questionnaire car il est par exemple possible d’acheter son vin “la plupart du temps” en bio même si l’on ne consomme qu’une bouteille par mois. Là aussi, bien que le score de fréquence apparaisse équivalent, soit 2, l’exposition aux produits bio ne sera pas la même que pour quelqu’un qui achète du pain bio tous les jours.

3) Enfin, ce questionnaire présuppose que tous les répondants parviennent à opérer une distinction adéquate entre aliments bio et non-bio lors de la saisie des fréquences.

=> Il existe donc 3 biais potentiels supplémentaires qui viennent s’ajouter à ceux de la consommation générale :

• Un biais d’exposition,
• Un biais de fréquence,
• Un biais de classification.

Conclusion temporaire

On voit donc que dans cette collecte des données nutritionnelles, on prend le risque d’accumuler des écarts par rapport à la réalité à chaque questionnaire rempli. Pour se donner une idée de ce que ça représente, quelques calculs simples :

• 68 946 participants x 3 questionnaires d’alimentation générale x 4 biais possibles = 827 352 risques d’approximation

• 68 946 participants x 1 questionnaires d’alimentation bio x 3 biais possibles = 206 838 risques d’approximation

• Soit au total de 827 352 + 206 838 = 1 034 190 sources d’erreurs possibles dans la collecte des données nutritionnelles (et encore, sans considérer que les biais du questionnaire d’alimentation générale s’appliquent également aux questionnaires bio).

Peut-être que le grand nombre d’observations collectées permet de canaliser le risque d’erreurs, cependant rien ne permet de l’affirmer avec certitude.

En fait – c’est le cœur du problème – ce qu’on mesure objectivement à l’aide de ces questionnaires, ce sont des déclarations mais pas des consommations réelles. Une formulation honnête du résultat de l’étude, au moins sur ce point, serait “Déclarer fréquemment qu’on consomme bio est associé à…”, ce qui est différent de “Consommer fréquemment bio est associé à…”. Cette simple nuance sémantique permet de faire émerger l’aspect magique (ou fictionnel) de cette étude : suffit-il de prononcer l’incantation “je mange bio” pour être protégé du cancer ?

Enfin, à défaut d’indication contraire dans le texte de l’étude, il semble que l’enquête de consommation générale et l’enquête de consommation de produits bio n’aient été administrées qu’une seule fois lors de l’inclusion des participants. Si cela est confirmé, il en résulte que les chercheurs ont considéré que les habitudes alimentaires déclarées au démarrage sont restées figées pendant toute la durée de l’étude, c’est à dire en moyenne 4 ans et demi.

Collecte des données médicales

Sur ce point, la méthodologie apparaît tout à fait solide : 90 % des cas de cancer déclarés ont été objectivés par un diagnostic et l’ensemble des événements médicaux ont été obtenus par croisement avec des registres de l’Assurance Maladie. C’est sur ce domaine que l’épidémiologie montre tout son intérêt : tenir des registres où chaque cas est validé par un diagnostic médical afin, par exemple, d’établir avec exactitude la prévalence de diverses maladies en France.

Analyse Statistique

Il s’agit de la partie la plus complexe de l’étude, il est donc difficile de l’évaluer depuis un regard extérieur. Il reste cependant possible de soulever un certain nombre de questions.

Lorsqu’on veut identifier l’effet de différents degrés d’exposition (ici le “score bio”) sur l’apparition d’une entité pathologique (ici le “cancer”), il est souhaitable dans l’idéal que les groupes qui correspondent à ces différents degrés soient identiques par ailleurs. Exemple trivial : si on veut évaluer l’effet du tabac sur le cancer du sein et que le groupe “petit fumeur” est composé de femmes alors que le groupe “gros fumeur” est composé d’hommes, le résultat ne sera pas valide.

Dans l’étude NutriNet-Santé, le niveau d’exposition (“score bio”) a été réparti sur 4 quartiles (groupes de participants) qui représentent 4 degrés différents de “consommation” de produits bio (d’environ 2 % de produits bio pour le 1er quartile à environ 60 % de produits bio pour le 4ème quartile). Les chercheurs, dans une démarche louable, ont passé en revue un certain nombre de facteurs pour déterminer si les différents quartiles étaient homogènes. Comme on l’a vu, si les quartiles sont homogènes (identiques), il y a de bonnes chances pour que l’effet de l’exposition soit bien attribuable à la variable observée (le “score bio”).

Voici quelques-uns des facteurs pris en compte par les chercheurs et l’évaluation de leur homogénéité interquartile :

• âge => non-homogène
• sexe => non-homogène
• catégorie socio-professionnelle => non-homogène
• niveau d’étude => non-homogène
• statut familial => non-homogène
• niveau de revenus => non-homogène
• niveau d’activité physique => non-homogène
• statut tabacologique => non-homogène
• consommation d’alcool => non-homogène
• antécédents familiaux de cancer => non-homogène
• IMC => non-homogène
• taille => non-homogène
• apport énergétique => non-homogène
• adhérence au PNNS => non-homogène
• apports en fibres => non-homogène
• apports en viande transformée => non-homogène
• apports en viande rouge => non-homogène
• nombre d’enfants => non-homogène
• ménopause => non-homogène
• traitement hormonal de substitution de la ménopause => homogène
• utilisation de contraceptifs => non-homogène

Sur 21 facteurs contrôlés, 20 ne sont pas identiques parmi les quartiles et sont donc susceptibles d’avoir une influence sur le résultat de l’étude. Plus précisément, les participantes et participants qui “consomment” le plus de produits bio, sont également celles et ceux qui, entre autres, ont le meilleur niveau d’éducation et de revenus, ont les jobs les plus “intellectuels” et indépendants, pratiquent le plus d’activité physique modérée, ont le plus arrêté de fumer, ont le meilleur IMC, consomment le plus de fruits et légumes, etc.

Donc on essaie dans cette étude de distinguer l’effet propre d’une “consommation” de produits bio sur des groupes qui sont très différents. Face à ce tableau, les chercheurs utilisent des logiciels de calculs qui permettent de résoudre des problématiques décisionnelles à plusieurs variable (analyses multi-variées, comme la technique ANCOVA par exemple). Malheureusement, le paramétrage de ces logiciels a une énorme influence sur l’issue de l’analyse, au point de pouvoir aboutir, pour un même set de données de départ, à des résultats opposés [6].

Il faut également considérer qu’il n’est pas possible de prendre en compte tous les facteurs de confusion et que des facteurs susceptibles d’avoir un impact n’ont pas été pris en compte dans la présente étude (comme par exemple l’utilisation de médicaments).

Ce “bruit” statistique résultant de l’action conjointe de plusieurs variables génèrent donc des constats étranges comme celui-ci, cité dans l’étude NutriNet-Santé : “la combinaison d’une alimentation de grande qualité et d’une haute fréquence de consommation de produits bio n’apparaît pas associée à une réduction du risque de cancer par rapport à la combinaison d’une alimentation de piètre qualité et d’une faible consommation de produits bio“.

D’après cette phrase, une alimentation équilibrée et bio ne protège pas plus du cancer que de la junk-food non bio.

Avant d’aborder la dernière étape de cette étude, on se rend compte au fil de cette analyse que les résultats que nous allons examiner sont le fruit d’une collecte de données floue à laquelle on applique un traitement statistique sujet à caution. La prudence sera de mise.

Résultats

Selon la conclusion mise en avant dans l’étude et reprise par tous les médias, “une plus haute fréquence de consommation de produits bio est associée à un risque réduit de cancer“. Présenté comme tel, on a l’impression que la consommation de produits bio protège de tous les cancers. Cependant le critère “cancer” regroupe différents types de cancer.

L’examen des cancers par site révèle un tableau légèrement différent :

• cancer du sein (pour toutes les femmes) => pas de résultat significatif
• cancer du sein avant ménopause => pas de résultat significatif
• cancer du sein après ménopause => résultat significatif (un lien existe)
• cancer de la prostate => pas de résultat significatif
• cancer colorectal => pas de résultat significatif
• cancer de la peau => pas de résultat significatif
• lymphome non-hodgkinien => résultat significatif (un lien existe)
• autres lymphomes => résultat significatif (un lien existe)

C’est en fait la réduction assez nette du nombre de cas observés pour les types de cancer où le résultat est significatif qui impacte le critère composite “cancer”, donnant ainsi une image biaisée de l’effet de la “consommation” de produits bio.

Et encore, il importe de souligner que cette réduction s’observe en raison de l’écart qui sépare le 1er quartile (ceux qui “consomment” 2 % de produits bio) du 4ème quartile (ceux qui “consomment” 60 % de produits bio), permettant ainsi de générer une tendance significative.

Les “consommations” intermédiaires n’apparaissent pas associées à une réduction du risque, quel que soit le type de cancer.

Conclusion

Lorsqu’on essaie de compiler toutes les imprécisions qui jalonnent cette étude, on en vient légitimement à s’interroger sur l’exactitude du résultat annoncé.

En résumé, les chercheurs s’appuient sur des questionnaires à la fiabilité incertaine – voire absolument pas validés pour le volet bio – dans l’intention d’évaluer l’effet de différents degrés d’exposition aux produits bio sur des quartiles absolument pas homogènes, dont les caractéristiques sont susceptibles d’impacter le résultat. De plus, même en faisant fi de toutes ces approximations, on constate que l’association n’est établie (peut-être) que pour certains cancers. Sans qu’il soit évidemment possible de prétendre à un quelconque lien de causalité.

On est bien loin de l’annonce de 25 % de réduction de risque du cancer qui a fait les gros titres et qui relève de la fiction. Un rendu sincère de cette publication aurait pu être : À la suite d’une collecte de données sujette à caution sur une population non-représentative, et par comparaison de groupes très disparates, il semble qu’une réduction des risques de cancer du sein chez la femme ménopausée et de lymphomes, soit associée au fait de dire qu’on mange beaucoup de produits bio”.

C’est évidemment beaucoup moins “glamour” mais dans un univers médiatique de plus en plus marqué par le buzz et l’ « infotainment », maintenir le crédit de la science est primordial et cela passe par un exposé honnête des résultats de la recherche.

Consommer des produits bio est peut-être bon pour la santé, malheureusement ce n’est pas cette étude qui permettra de le savoir. C’est d’autant plus regrettable que les chercheurs ont vraisemblablement investi beaucoup de temps et d’efforts dans ce travail.

Références :

1. Baudry et al. Association of Frequency of Organic Food Consumption With Cancer Risk. Findings From the NutriNet-Santé Prospective Cohort Study. JAMA Intern Med. October 22, 2018. https://jamanetwork.com/…/jamainte…/article-abstract/2707948
2. Équipe de surveillance et d’épidémiologie nutritionnelle (Esen). Étude de santé sur l’environnement, la biosurveillance, l’activité physique et la nutrition (Esteban), 2014-2016. Volet Nutrition. Chapitre Corpulence. Saint-Maurice : Santé publique France, 2017. 42 p. http://invs.santepubliquefrance.fr/…/Etude-de-sante-sur-l-e…
3. Lassale et al. Validation of a Web-based, self-administered, non-consecutive-day dietary record tool against urinary biomarkers. Br J Nutr. 2015 Mar 28;113(6):953-62. https://www.ncbi.nlm.nih.gov/pubmed/25772032
4. Andreeva et al. Comparison of Dietary Intakes Between a Large Online Cohort Study (Etude NutriNet-Santé) and a Nationally Representative Cross-Sectional Study (Etude Nationale Nutrition Santé) in France: Addressing the Issue of Generalizability in E-Epidemiology. Am J Epidemiol. 2016 Nov 1;184(9):660-669. https://www.ncbi.nlm.nih.gov/pubmed/27744386
5. Salvini et al. Food-based validation of a dietary questionnaire: the effects of week-to-week variation in food consumption. Int J Epidemiol. 1989 Dec;18(4):858-67. https://www.ncbi.nlm.nih.gov/pubmed/2621022
6. Patel et al. Assessment of vibration of effects due to model specification can demonstrate the instability of observational associations. J Clin Epidemiol. 2015 Sep;68(9):1046-58. https://www.ncbi.nlm.nih.gov/pubmed/26279400