Auteur Sujet: Base [b4.058] b4.059 en test avec Bêta [V605] V606  (Lu 33239 fois)

plus minus reset

0 Membres et 1 Invité sur ce sujet

Hors ligne DDdeBerdeux

Base [b4.058] b4.059 en test avec Bêta [V605] V606
« Réponse #19 le: 14 Novembre 2006 à 18:38:16 »
L'idée de Christian d'éliminer des doublons les individus ayant une relation père ou mère à enfant est efficace. Chez moi elle permet de diviser par 5 le nombre de doublons, ce qui est logique quand on connaît l'habitude de nos anciens consistant à donner leur prénom à leurs enfants, surtout au premier.

J'ai aussi intégré la vérification du décès au plus tard de l'un avant la naissance au plus tôt de l'autre.

S'il y a plusieurs évènements naissance ou décès, seul le premier est utilisé.

J'ai aussi élargi la fenêtre de recherche si le token est "calc", "est" et surtout "vers" et que seule l'année est formulée.

Les fichiers ont été mis à jour sur mon site, sans changer de version. Les liens sont dans le premier message de ce fil de discussion.

A+

André
Une application pleinement satisfaisante est toujours complétée par une mise à jour buggée. (Loi des Mises à Jour)
 

Hors ligne Facon

Base [b4.058] b4.059 en test avec Bêta [V605] V606
« Réponse #20 le: 14 Novembre 2006 à 19:06:29 »
Bonsoir,

Cette nouvelle approche de recherche de doublons potentiels réclame à mon avis une réflexion sur l'exploitation des résultats.



A l'évidence la présence d'un DUPONT Jean, pour lequel les naissances et décès ne sont pas renseignés, entraîne la déclaration de tous les DUPONT Jean amplement ou partiellement renseignés comme doublons potentiels.

Je ne vois pas d'autre solution que de renseigner approximativement ou précisément ces cas de figures pour clarifier la situation.

Il n'en restera pas moins, qu'en raison des fourchettes retenues en fonction de la syntaxe utilisée, que nous resterons confrontés à un nombre élevé de doublons potentiels.



Pour contourner cette difficulté, il est peut-être à envisager d'exclure les individus pour lesquels nous n'avons pas de renseignement et éventuellement d'ajouter dans "Les listes", la liste des individus sans renseignement (N et D).



Dans tous les cas de figure il faut une bonne réflexion avant d'entreprendre des modifications.
Christian
 

Hors ligne Facon

Base [b4.058] b4.059 en test avec Bêta [V605] V606
« Réponse #21 le: 14 Novembre 2006 à 19:19:53 »
Bonsoir André,

Tu as mis en ligne une nouvelle mouture de la recherche de doublons potentiels alors que je rédigeais le message ci-dessus.



J'ai chargé et essayé, le résultat est radical. Je suis pour ma part passé de près de 2400 individus à un peu plus de 300!!! :wink:

C'est plus sympathique et surtout plus gérable.



Il faut laisser mûrir.
Christian
 

Hors ligne Horemans

  • AncestroSenior
  • *****
  • Messages: 1 775
    • http://perso.wanadoo.fr/philippe.horemans
Base [b4.058] b4.059 en test avec Bêta [V605] V606
« Réponse #22 le: 14 Novembre 2006 à 20:25:02 »
Bravo pour cet outil qui m'a permis de trouver 8 vrais doublons.

La deuxième mouture m'a fait passer les doublons potentiels de 201 à 104, contrôle plus facile.

Pour une base de 6700 individus c'est me semble-t-il raisonnable.



Beau travail



Avec Ancestrologie, la recherche des doublons c'est facile !

(slogan des années 50)

 :wink:
Plus çà va, plus je me régale...  Et avec  Quisontils, la gestion des actes, c'est facile !   Philippe
 

Hors ligne Facon

Base [b4.058] b4.059 en test avec Bêta [V605] V606
« Réponse #23 le: 14 Novembre 2006 à 23:05:08 »
Bonsoir André,

Qelles sont les conclusions à tirer avec l'information délivrée par "Les Listes/Liste des erreurs sur les événements individuels"?
Christian
 

Hors ligne DDdeBerdeux

Base [b4.058] b4.059 en test avec Bêta [V605] V606
« Réponse #24 le: 14 Novembre 2006 à 23:46:51 »
Citation de: "Facon"
Qelles sont les conclusions à tirer avec l'information délivrée par "Les Listes/Liste des erreurs sur les événements individuels"?
Rien pour le moment, je ne sais pas ce qui est analysé ni quelle est la procédure qui est appelée.

Je regarderai çà demain quand il fera jour...

Bonne nuit

André
Une application pleinement satisfaisante est toujours complétée par une mise à jour buggée. (Loi des Mises à Jour)
 

Hors ligne DDdeBerdeux

Base [b4.058] b4.059 en test avec Bêta [V605] V606
« Réponse #25 le: 15 Novembre 2006 à 11:05:28 »
Citation de: "Facon"
Qelles sont les conclusions à tirer avec l'information délivrée par "Les Listes/Liste des erreurs sur les événements individuels"?
Bonjour,

Philippe m'a communiqué la requête exécutée par cette fonction. Elle liste les évènements individuels affectés plusieurs fois à un individu, alors qu'ils ne devraient l'être qu'une seule fois, comme les naissances et les décès.

Je viens de vérifier avec une naissance en double, çà fonctionne correctement. C'est donc un bon moyen de trouver où se situe l'anomalie.

Par contre je me demande si je ne devrais pas laisser la recherche de doublons se "planter" dans un tel cas, çà constitue une bonne alerte...

A+

André
Une application pleinement satisfaisante est toujours complétée par une mise à jour buggée. (Loi des Mises à Jour)
 

Hors ligne Facon

Base [b4.058] b4.059 en test avec Bêta [V605] V606
« Réponse #26 le: 15 Novembre 2006 à 11:23:02 »
Bonjour André,

J'ai examiné à nouveau la liste des doublons potentiels et j'ai toujours l'intime conviction que s'il était possible de distinguer des doublons potentiels par les parents, ladite liste fondrait encore de façon sensible.

Tu es le seul à savoir si c'est réalisable et surtout si l'attente du résultat serait longue.

N'est-il pas envisageable de faire cette opération dans une deuxième passe ou alors avec une autre case à cocher du type "Elargir la recherche"?



Pour le cas Elargir la recherche, le processus est en route depuis 12 minutes env., le processus normal dure environ 1mn15.

Hier j'ai dû m'absenter et je sais que la recherche longue est comprise entre 3mn et 1h. Je voulais affiner.

Le dossier contient 13000 individus environ (2.5 GHz, 512 Mo RAM).

J'indiquerai le résultat final le moment venu.
Christian
 

Hors ligne Facon

Base [b4.058] b4.059 en test avec Bêta [V605] V606
« Réponse #27 le: 15 Novembre 2006 à 11:42:34 »
André,

30 minutes, still running, UC full up
Christian
 

Hors ligne Ancestrologie

  • AncestroGrandMaitre
  • *******
  • Messages: 5 083
  • Remercié: 3 fois
    • Ancestrologie
  • Programme: 1995
  • Base: 5.130
  • Système: Windows 8
Base [b4.058] b4.059 en test avec Bêta [V605] V606
« Réponse #28 le: 15 Novembre 2006 à 11:48:00 »
Citer
(2.5 GHz, 512 Mo RAM).




depeche toi d ecrire au pere noel, il doit bientot passer  :D



as tu essayer avant  d optimiser ta base ?

as tu des résidents qui tournent ?

quel antivirus utilises tu ?
PCM
 

Hors ligne Facon

Base [b4.058] b4.059 en test avec Bêta [V605] V606
« Réponse #29 le: 15 Novembre 2006 à 12:05:21 »
Bonjour,

Résultat: 37mn et des briquettes



Le père Noël je m'en charge.

Quant aux résidents, oui il y en a et sans doute toujours trop, AV McAfee.

Je n'avais pas procédé à une optimisation avant de lancer la recherche de doublons.



Dans ce dossier de 12800 individus, il y a plus de 2300 FACON et cela semble être un point dur. Ajouter un Facon devient long, l'enregistrer devient long, ... avec les autres patronymes moins fortement représentés tout se déroule rapidement sans attente.
Christian
 

Hors ligne Facon

Base [b4.058] b4.059 en test avec Bêta [V605] V606
« Réponse #30 le: 15 Novembre 2006 à 14:08:19 »
Bonjour,

Après optimisation, la recherche de doublons potentiels avec une fenêtre élargie a été faite en 20 - 21 mn. Le gain est appréciable, pour mémoire la recherche avait duré 37 mn avant optimisation.



Philippe, si tu as toujours ma base communiquée l'autre jour, tu peux la passer sur ton "cray" à titre de benchmarking.
Christian
 

Hors ligne Ancestrologie

  • AncestroGrandMaitre
  • *******
  • Messages: 5 083
  • Remercié: 3 fois
    • Ancestrologie
  • Programme: 1995
  • Base: 5.130
  • Système: Windows 8
Base [b4.058] b4.059 en test avec Bêta [V605] V606
« Réponse #31 le: 15 Novembre 2006 à 15:03:45 »
ai plus ta base



je ne garde pas ce qu on m envoie, juste le temps de voir le pb, car je ne veux pas de pb avec les auteurs des données



et mon cray il n est plus one mais -two



ce fait vieux lui aussi

athlon 64 3800 et 1024 de ram



donc deviens un peu lent



si t ecris au pere noel, dis lui de passer par ici de ta pars, lui mettrai, pas un bol de lait dans la cheminée mais un grand verre de rhum sur la terrasse
PCM
 

Hors ligne DDdeBerdeux

Base [b4.058] b4.059 en test avec Bêta [V605] V606
« Réponse #32 le: 15 Novembre 2006 à 17:04:41 »
Avec un AMD3500+ et 1Go de RAM (déjà 2 ans :( ) sur une base de 40000 individus, recherche normale en 34s, recherche étendue en 2mn25s.

Mais c'est avec la version que je viens de remettre en ligne.

Mystère de FB1.5 et de sa planification des requêtes (très améliorée avec FB2.0), il suffit quelques fois de modifier l'ordre de 2 tables pour changer considérablement la vitesse d'exécution.

J'en ai profité pour modifier le comportement de la procédure en cas d'individu avec double naissance ou décès. La procédure s'arrête et seul s'affiche dans la liste cet individu avec "Erreur naissance ou décès en double" à la place de la date de naissance.

A+

André
Une application pleinement satisfaisante est toujours complétée par une mise à jour buggée. (Loi des Mises à Jour)
 

Hors ligne Ransac

  • Modérateur Global
  • AncestroGrandMaitre
  • *****
  • Messages: 3 015
  • Remercié: 1 fois
    • bases des villes
  • Programme: 2015-1996.3
  • Base: 5.131
  • Système: Windows vista, Windows 7, Windows 10
Base [b4.058] b4.059 en test avec Bêta [V605] V606
« Réponse #33 le: 15 Novembre 2006 à 17:34:18 »
avec la nouvelle version, j'ai bien moins de doublons !  :D



malgré tout, il me sort 11 C... Marie qui ont toutes la date de naissance renseignée de façon complète (jour, mois et année ; cela va des années 1736 à 1819).

Pourquoi ?

je comprends si la date contient un mot clé approximatif, mais ce n'est pas le cas.
N'oubliez jamais que le mieux est l'ennemi du bien  et que la perfection n'est pas de ce monde !
Les définir est un défi, les réaliser est un leurre !    ... mais on aimerait tellement y croire!
 

Hors ligne Ransac

  • Modérateur Global
  • AncestroGrandMaitre
  • *****
  • Messages: 3 015
  • Remercié: 1 fois
    • bases des villes
  • Programme: 2015-1996.3
  • Base: 5.131
  • Système: Windows vista, Windows 7, Windows 10
Base [b4.058] b4.059 en test avec Bêta [V605] V606
« Réponse #34 le: 15 Novembre 2006 à 17:40:52 »
j'ai aussi  des "doublons uniques"  :lol:



par exemple R... Marie, mais elle est seule, y-en a pas d'autre !

elle aussi d'ailleurs a les dates parfaitement mentionnées



en fait, il semble me la comparer avec R... Jeanne qui a également les dates



Jeanne est née le 17/09/1632



Marie est née le 4/07/1730
N'oubliez jamais que le mieux est l'ennemi du bien  et que la perfection n'est pas de ce monde !
Les définir est un défi, les réaliser est un leurre !    ... mais on aimerait tellement y croire!
 

Hors ligne Facon

Base [b4.058] b4.059 en test avec Bêta [V605] V606
« Réponse #35 le: 15 Novembre 2006 à 17:50:36 »
Bonsoir,

J'ai mis en oeuvre la nouvelle version de base.

 :arrow: Dans les mêmes conditions, la recherche de doublons potentiels simples est ramenée à 35 secondes et la recherche large à 2mn50.

En termes de durée, les modifications sont fructueuses.

 :arrow: Pour Ransac, il suffit d'avoir une seule C.... Marie sans renseignement pour avoir une présomption de doublon avec n'importe quelle C.... Marie entièrement renseignée.



 :arrow: Je sais, c'est facile d'insister quand ce sont les autres qui doivent faire le travail, André penses-tu examiner la distinction des doublons par les parents? Autant la méthode précédente n'était pas représentative, autant la nouvelle travaille par excès.



 :arrow: L'histoire de FB revient de plus en plus souvent. Ceci n'est sans doute pas simple, mais n'est-il pas envisageable de passer un jour en FB2.0 avec une bonne procédure d'installation ou même une installation automatique.

La procédure existe, il suffit de chercher. N'est-ce pas un autre moyen d'améliorer les performances puisque tout le monde semble si pressé?
Christian
 

Hors ligne Ransac

  • Modérateur Global
  • AncestroGrandMaitre
  • *****
  • Messages: 3 015
  • Remercié: 1 fois
    • bases des villes
  • Programme: 2015-1996.3
  • Base: 5.131
  • Système: Windows vista, Windows 7, Windows 10
Base [b4.058] b4.059 en test avec Bêta [V605] V606
« Réponse #36 le: 15 Novembre 2006 à 17:52:37 »
Citation de: "Facon"
:arrow: Pour Ransac, il suffit d'avoir une seule C.... Marie sans renseignement pour avoir une présomption de doublon avec n'importe quelle C.... Marie entièrement renseignée.

je m'en doute bien !

c'est bien pourquoi j'ai précisé qu'elles avaient TOUTES leur date de naissance complète !



quand je peux, je participe aussi aux tests !

c'est peut-être une anomalie dans la procédure, c'est pourquoi je le signale !
N'oubliez jamais que le mieux est l'ennemi du bien  et que la perfection n'est pas de ce monde !
Les définir est un défi, les réaliser est un leurre !    ... mais on aimerait tellement y croire!
 

Hors ligne Facon

Base [b4.058] b4.059 en test avec Bêta [V605] V606
« Réponse #37 le: 15 Novembre 2006 à 17:53:26 »
Bonsoir

Citation de: "Ransac"
j'ai aussi  des "doublons uniques"  :lol:



par exemple R... Marie, mais elle est seule, y-en a pas d'autre !

elle aussi d'ailleurs a les dates parfaitement mentionnées



en fait, il semble me la comparer avec R... Jeanne qui a également les dates



Jeanne est née le 17/09/1632



Marie est née le 4/07/1730




C'est sans doute le résultat d'une recherche élargie. Les jumeaux deviennent aussi doublons potentiels. :wink:
Christian
 

Hors ligne Ransac

  • Modérateur Global
  • AncestroGrandMaitre
  • *****
  • Messages: 3 015
  • Remercié: 1 fois
    • bases des villes
  • Programme: 2015-1996.3
  • Base: 5.131
  • Système: Windows vista, Windows 7, Windows 10
Base [b4.058] b4.059 en test avec Bêta [V605] V606
« Réponse #38 le: 15 Novembre 2006 à 17:54:43 »
Citation de: "Facon"
C'est sans doute le résultat d'une recherche élargie. Les jumeaux deviennent aussi doublons potentiels. :wink:
encore faux, je n'ai pas demandé la recherche élargie, elle me sort bien trop de monde !
N'oubliez jamais que le mieux est l'ennemi du bien  et que la perfection n'est pas de ce monde !
Les définir est un défi, les réaliser est un leurre !    ... mais on aimerait tellement y croire!
 

Hors ligne Ransac

  • Modérateur Global
  • AncestroGrandMaitre
  • *****
  • Messages: 3 015
  • Remercié: 1 fois
    • bases des villes
  • Programme: 2015-1996.3
  • Base: 5.131
  • Système: Windows vista, Windows 7, Windows 10
Base [b4.058] b4.059 en test avec Bêta [V605] V606
« Réponse #39 de la page précédente: 15 Novembre 2006 à 17:56:30 »
Citation de: "Facon"
:arrow: Je sais, c'est facile d'insister quand ce sont les autres qui doivent faire le travail, André penses-tu examiner la distinction des doublons par les parents? Autant la méthode précédente n'était pas représentative, autant la nouvelle travaille par excès.
j'ai bien l'impression que la nouvelle routine élimine les doublons parents/enfants !



si c'est pour comparer les parents des doublons, je ne suis pas pour !

il suffit d'une différence d'orthographe dans le nom du père ou de la mère pour que le doublon ne soit pas visible.



vaut mieux en avoir plus et tous les avoir, qu'en avoir moins et en louper !
N'oubliez jamais que le mieux est l'ennemi du bien  et que la perfection n'est pas de ce monde !
Les définir est un défi, les réaliser est un leurre !    ... mais on aimerait tellement y croire!