Définir l'unité représentée par une ligne
Un ensemble de données peut contenir une ligne par événement, local, animal, échantillon ou résultat d'essai. Avant de compter les duplicatas, lisez le dictionnaire de données et vérifiez comment les identifiants sont utilisés. Le même ID d'événement peut légitimement apparaître sur plusieurs lignes de spécimens.
Écrivez la relation prévue entre l'événement, l'observation et le résultat. Si cette relation est absente de la documentation fournie, la marquer comme non résolue. Ne pas appliquer une règle d'une rangée par événement simplement parce qu'elle facilite le tri d'un tableur.
Distinguer trois modèles communs
Un duplicata exact répète le même enregistrement sans ajouter d'information. Une révision modifie le compte d'un événement précédemment enregistré. Une observation liée ajoute une conclusion distincte à cet événement. Ces modèles nécessitent un traitement différent.
Comparer les champs stables, les enregistrements sources et les indicateurs de révision. Les dénombrements identiques d'animaux ne suffisent pas à prouver que deux événements sont identiques, et les dénombrements différents ne prouvent pas qu'ils sont différents. Un total corrigé peut changer pendant que l'identité de l'événement reste stable.
Un petit exemple fictif
Supposons que l'événement E-42 apparaisse trois fois. La ligne A enregistre une notification initiale, la ligne B enregistre un résultat de laboratoire ultérieur et la ligne C répète la ligne B après une erreur d'exportation. Enlever chaque E-42 répété éliminerait le résultat. Compter les trois comme des événements distincts gonflerait le total.
La structure appropriée conserve A et B en tant qu'enregistrements liés et traite C comme un duplicata identifié de B. Conservez un enregistrement de la décision de sorte que l'importation suivante ne réintroduit pas la même ligne dupliquée.
Construire une table de rapprochement
| Enregistrement entrant | Identité actuelle | Relation | Motifs |
|---|---|---|---|
| Notification initiale | E-42 | Observation dans l'événement | Source originale |
| Mise à jour du laboratoire | E-42 | Observation ultérieure | Nouveau résultat, même événement |
| Ligne d'exportation répétée | Résultats antérieurs | Dupliquer | Même contenu documenté |
Il s'agit d'une structure illustrative et non d'un remplacement des définitions du propriétaire de l'ensemble de données. Conserver les identifiants de source même si le système public attribue ses propres identifiants stables. Les numéros de rangée ne doivent pas devenir des identités permanentes car le tri les modifie.
Recalculer au bon niveau
Après la réconciliation, comptabilisez les événements en utilisant des identités d'événement et testez les identités d'essai. Si l'ensemble de données permet plusieurs espèces, échantillons ou locaux dans un événement, gardez ces relations visibles. Un seul tableau dédoublé peut ne pas répondre à toutes les questions.
Documenter les exclusions et corrections avec les totaux. Si un chiffre public change, expliquez s'il reflète un nouvel événement, un décompte révisé ou la suppression d'un duplicata. Évitez d'interpréter la réparation d'une base de données comme un changement soudain dans la survenue de maladies animales.
Préserver la sortie entrante
Conserver le fichier original, son étiquette de diffusion et les décisions de rapprochement. Appliquer des corrections dans une copie de travail dérivée plutôt que de réécrire silencieusement le fichier reçu. Les règles répétables devraient être explicites et les cas inhabituels devraient avoir leurs propres raisons.
Utilisez laguide de modification de la versionexpliquer le changement etréférence de diffusion des donnéesvérifier les différences entre les versions avant de publier un nouveau total.
Préserver la règle ainsi que le fichier corrigé
Documenter les champs comparés, la relation attribuée et les éléments de preuve derrière la décision. Une importation répétable peut alors distinguer les doublons exacts des révisions et des observations liées sans supprimer chaque ligne qui partage un identifiant d'événement. Gardez des cas exceptionnels explicites lorsque la règle générale ne peut pas les résoudre.
Dans un deuxième ensemble de données fictif, un événement contient des lignes d'essai distinctes pour deux animaux. Une vérification d'unicité conçue pour une table d'événements supprime la deuxième ligne. Le rétablissement des identités d'observation préserve un événement avec deux animaux représentés et leurs tests réels. La réparation concerne la structure des données, et non un événement de maladie supplémentaire.
Lorsqu'une source de publication modifie sa convention d'identifiant, comparez la signification documentée avant de la joindre à des fichiers plus anciens. Les chaînes identiques peuvent avoir des champs d'application différents, et différentes chaînes peuvent se référer à un compte révisé du même événement. Gardez la version originale et la passerelle plutôt que de forcer l'une ou l'autre relation du texte seul.
Foire aux questions
Un identifiant d'événement répété signifie-t-il toujours des données dupliquées?
Lisez la définition de ligne et les relations d'identification de l'ensemble de données. Plusieurs animaux, observations ou tests peuvent légitimement appartenir à un événement. Dupliquer au niveau représenté.
Différents comptages peuvent-ils prouver des événements distincts?
Une révision peut changer un compte tout en conservant la même identité d'événement. Préserver les versions source et la relation de mise à jour réelle. Ne pas faire un nouvel événement simplement parce qu'un nombre diffère.
Comment expliquer un total public corrigé?
Indiquer s'il reflète un nouvel événement, un compte révisé ou la suppression d'un duplicata identifié. Nommez l'unité comptée et conservez la preuve de rapprochement. Les lecteurs devraient être en mesure de comprendre pourquoi le total de la base de données a changé sans se tromper une réparation record pour une augmentation soudaine ou une baisse de la maladie. Conserver le fichier d'entrée original disponible sous l'étiquette appropriée.
Citer cette référence
Défense du bétail. Résoudre les identificateurs d'événements en double dans les ensembles de données sur les maladies. Mise à jour 2026-11-03. https://livestockdefense.com/fr/guides/public-disease-datasets-with-duplicate-event-ids/
Ajoutez la date à laquelle vous avez accédé à la page. Cela identifie la référence actuelle; conserver une copie sauvegardée autorisée si votre travail dépend de sa formulation exacte. Une citation ne suffit pas à elle seule à étayer une réclamation.
Comment citer une page et sa révision