forum Ancestrologie
Ancestrologie - Développement => Développement => Discussion démarrée par: DDdeBerdeux le 13 Novembre 2006 à 18:21:43
-
Bonjour,
Pour une fois j'ai un peu d'avance sur Philippe pour mettre en ligne. Pour utiliser la fonction de recherche des doublons avec cette version de la base, il faut une version du logiciel, sans doûte la V605, que Philippe mettra en ligne dès qu'il pourra.
Le fichier de mise à jour est à télécharger ICI (http://andre.langlet.free.fr/ancestro/maj_b357_b4059.exe) et la base vide accompagnée de la liste complète des modifications LA (http://andre.langlet.free.fr/ancestro/FAMILLEVIDE4059.zip).
Suite à la discussion engagée lors des tests de la b4.057, il n'y a plus que 2 versions pour chacune des fiches individuelle et familiale. Il y a les versions "condensées" et pour chacune d'elle une version de ces dernières avec l'indice 2, comprenant des sauts de pages si un sous-rapport (exemple: les enfants, les évènements individuels pour chaque époux dans la fiche familiale) ne peut s'imprimer entièrement dans le bas de la page précédente.
Les plus importantes modifications de cette version se trouvent dans la recherche des doublons. Suite à une question de Bernadette http://www.ancestrologie.org/forum/index.php?topic=6802.0 , j'ai examiné le fonctionnement de cette procédure et trouvé
-qu'elle comportait une erreur qui éliminait les doublons qui avaient une date de décès enregistrée
-qu'elle était très restrictive dans la sélection des doublons puisque des doublons devaient avoir:
a) le même nom (c'est logique)
b) la même chaîne de prénoms (çà élimine des individus parfois appelés par leur deuxième prénom)
c) une date de naissance écrite de manière identique (çà élimine les individus l'un né "vers 1900" et l'autre "estimée 1900" par exemple)
d) idem pour la date de décès avec en plus l'erreur signalée ci-dessus.
J'ai modifié la procédure en adoptant un principe différent: au lieu de dire qu'il y a doublon si les champs sont identiques, je part du principe que tous les individus peuvent être doublons s'il n'y a pas un paramètre démontrant le contraire.
Les paramètres pris en compte sont:
a) le sexe
b) le nom
c) les prénoms (avec une option permettant de relativiser l'identité)
d) la date de naissance se situant dans une fourchette de dates
e) la date de décès se situant dans une fourchette de dates
f) le lieu de naissance
g) le lieu de décès
Si un de ces paramètres est laissé vierge dans une des fiches il ne peut pas servir à éliminer un individu des doublons possibles. Celà a une conséquence assez fâcheuse pour ceux qui négligent de mettre une indication même approximative (exemple: naissance avant telle date cette dernière pouvant être celle du mariage ou de la naissance d'un enfant), en l'absence d'une date exacte. Un individu pour lequel aucune date d'évènement naissance ou décès n'a été enregistré peut être le doublon de n'importe quel autre de mêmes nom et prénoms.
Pour la définition des fourchettes de dates, les principes suivants on été adoptés:
Si la date est exacte avec le jour la fourchette est nulle.
si c'est un mois, la fourchette va du premier du mois au début du mois suivant (1 du mois +31 jours)
si c'est une année, la fourchette va du 1 janvier au 1 ou 2 de l'année suivante
Si la date est précédée de "vers", "est" ou "calculée", la fourchette varie en fonction de la précision de la date qui suit de
+/- 1 mois si elle est au jour près,
+/- 6 mois si elle est au mois près
+/- 2 ans si elle est à l'année près
Dans les cas de "après", "depuis" la fourchette s'étend de la date saisie à +27 ans (10000 jours).
Même principe dans l'autre sens pour "avant".
Cette fourchette est limitée pour qu'un individu ne puisse être décédé avant d'être né.
Pour qu'il y ait possibilité de doublon de deux individus en tenant compte de leur date de naissance (ou décès), les plages de dates doivent avoir des jours communs, ou l'une des deux est inconnue.
Voilà pour le fonctionnement normal.
Un troisième paramètre a été ajouté à la procédure (c'est à cause de lui que la V605 est nécessaire pour utiliser la nouvelle fonction de recherche des doublons).
Vous avez sans doûte constaté qu'il arrive fréquemment qu'un ancêtre soit appelé sur certains documents par l'un ou uniquement une partie de ses prénoms. Pour espérer pouvoir les retrouver, une option permet de remplacer la sélection sur l'intégralité des prénoms. Pour que deux individus puissent être doublons, il suffit que tous les prénoms de l'un soient contenus dans les prénoms de l'autre. Cette option sera sélectionnable depuis la fiche des doublons, avant de lancer la recherche.
Les résultats pourront en laisser certains perplexes devant le nombre de doublons trouvés avec cette nouvelle procédure. La majorité a pour origine des dates de naissance et/ou décès non documentées (et parfois des individus sans prénom). Celà change de la liste toujours vide. Je pense qu'elle devrait être renommée "Doublons possibles" ou "Doublons potentiels".
Bons tests.
André
Réédition du 17/11/2006: passage en version b4.059
-
Bonsoir André
Un petit probleme rencontré dans la fiche familiale dont je te joins une image pour mieux comprendre
(https://forum.ancestrologie.org/proxy.php?request=http%3A%2F%2Fimages.imagehotel.net%2Fd08288a70e.jpg&hash=2f4998a705ab720262c440d2650ac039d281b510) (http://www.imagehotel.net/?from=d08288a70e.jpg)
En effet le texte vient se mettre par dessus les medias, et ceci sur beaucoup de fiches.
Alors si tu peux regler ce problême se serait sympa :wink:
-
B...o André et F..........s
Je ne sais ou tu en es dans tes recherches généalogiques mais je ne serais pas surpris que tu tombes un jour sur un certain René Descartes.
-
Avec un père schtimi et une mère bretonne, il y a peu de chances :lol:
A+
André
PS: où est-elle ton image Claude?
-
Bonsoir,
Petite erreur corrigée dans la procédure.
Les fichiers en ligne sont mis à jour sans changement de version.
Je n'ai pas vu l'image de ta fiche familiale, Claude. Etait-ce la dernière version? Sur quel média y avait-il débordement et de quel champ texte?
A+
André
-
En effet André c'est la toute dernière version, anat d'aller voir si Philippe a mis la 605 en route :wink:
Mais comment se fait t'il vous ne voyez pas le media sur mon message :?: :roll:
Alors par securité je remets un lien ici
http://cjoint.com/?loiubJkCFB
Merci
-
Mais comment se fait t'il vous ne voyez pas le media sur mon message :?: :roll:
Bonjour,
Pour moi, pas de problème, j'ai toujours vu tes 3 photos avec le texte écrit dessus (ton message du 13/11/06 à 18:57). J'utilise IE6.
-
Bonjour,
J'utilise normalement Firefox. J'ai essayé avec IE6. Je ne vois l'image du premier message de Claude, ni dans l'un ni dans l'autre. Paramètrage des navigateurs? Parefeu? Antivirus?
Je l'ai quand même vue par l'intermédiaire du lien, et je peux confirmer qu'il ne s'agit pas de la dernière version, mais peut-être de l'avant dernière.
Dans mes derniers messages concernant la b4.057, après avoir fait les versions condensées des fiches individuelles et familiales, je disais que je ne souhaitais pas entretenir de multiples versions de chaque fiche. Le temps nécessaire pour modifier chacune de ces fiches en mode condensé est énorme (pas loin d'une journée de retraité par fiche), et il était plus simple de refaire les fiches non condensées en les dérivant des versions condensées, simplement en mettant les sauts de page conditionnels.
Mais Philippe a publié officiellement un peu trop vite cette b4.057, sans attendre la mise à jour des versions non condensées (trop occupé cette semaine).
Elles sont dans cette version b4.058.
Pour la fiche individuelle il y a Divers_Fiche_Detaille_2.rtm et Divers_Fiche_Condensee.rtm
Pour la fiche familiale: Fiche_familiale2.rtm et Fiche_familiale_Condensee.rtm
Les indices 2 sont là pour ne pas écraser les fichiers originaux (surtout si vous les avez personnalisés). Si vous préférez les "2", vous pouvez les renommer sans l'indice après avoir supprimé les anciennes versions.
Pour profiter pleinement de ces dernières versions, installez cette b4.058. Les modifications propres à la base ne concernent que la recherche des doublons. Même si vous n'avez que la V604 qui ne permet pas d'utiliser cette dernière fonction avec la b4.058, ce n'est pas plus mal qu'avant, elle ne donnait aucun résultat.
A+
André
-
Cà y est, Philippe a mis la v605bêta en ligne.
A+
André
-
Le temps nécessaire pour modifier chacune de ces fiches en mode condensé est énorme (pas loin d'une journée de retraité par fiche)
Bonjour,
Et quand on sait que les retraités n'ont jamais le temps, je sais de quoi je parle :wink: :lol: :lol: :lol:
Merci encore André de consacrer ton précieux temps à l'amélioration d'Ancestrologie. Même si le fond reste le même, c'est un nouveau logiciel qu'on découvre au fur et à mesure des nouvelles versions de la base.
-
alors que la version précédente ne me trouver aucun doublon, cette fois j'en ai quelques milliers !
j'ai donc cliqué sur l'un d'eux afin d'y ajouter une date approximative de naissance.
j'ai obtenu la fiche qui n'avait aucun évévement, sinon le marigae et un enfant
j'ai cliqué sur le petit "N" afin d'ajouter une date de naissance.
l'évement se crée et la fenêtre pour y entrer les informations s'ouvre.
Mais tout y est grisé ! Impossible d'y entrer une information.
je la ferme, je double clic sur lévénement qui s'était crée, mais toujours pareil !
en bas de la fiche, aucun bouton enregistrer au autre, que le bouton fermer !
pourtant, l'événement (vide) s'est bien créé
de plus, lors de la reouverture, le bouton N est à nouveau disponible ce qui m'a permis de créeer 2 événement naissance (vides tout les deux) dans la fiche !
-
Je dois dire que maintenant que cela fonctionne, il nous manque la possibilité de pouvoir fusionner certains doublons, car il n'est pas toujours necessaire de supprimer d'autant que quelque fois la suppression ne veut s'effectuer sur un individu et pas l'autre :cry: :?:
Ce qui serait super maintenant (on n'en a jamais assez et comme dirait certains yaka) c'est d'avoir cette possibilité de fusionner :wink:
-
Bonjour,
Je suis passé en v605ß associé à b4.058 et j'ai fait les resets de rigueur.
Tout d'abord je crois que André a trouvé le moyen d'alléger temporairement sa tâche en nous faisant découvrir de nombreux doublons à traiter. Il pense ainsi réduire le nombre d'intervention sur le forum. :D
Pour ce qui est de la remarque de Ransac, je pense qu'il a dû intervenir sur une fiche ouverte depuis la fenêtre des doublons. De fait la fiche est modifiable mais il n'y a pas accès aux commandes Annuler, Enregistrer, ... Je pense que la fiche doit être uniquement consultable (comme pour celles ouvertes depuis les lieux favoris) et que l'on puisse circuler vers le conjoint, les parents,.... A priori les modifications ne devraient pas être admises à ce niveau.
J'ai fait une recherche classique et effectivement j'ai découvert un nombre de doublons potentiels important. J'ai coché la case "Elargir la recherche" mais je n'ai pas attendu le résultat, c'était interminable.
A noter également que la fiche d'un doublon ouverte depuis la fenêtre des doublons affiche l'âge à l'union de la fiche de départ (pour peu qu'il y ait une union).
:arrow: Il y a éventuellement quelques possibilités d'affiner encore la recherche des doublons au moyen des constats suivants:
-1- J'ai des doublons entre père et fils (avec des dates non renseignées mais prénoms identiques). Ce cas devrait être facile à traiter.
-2- J'ai des doublons avec des parents (les deux) différents, ce cas devrait aussi pouvoir être traité.
-3- J'ai des doublons entre deux personnes l'une renseignée par la naissance, l'autre par le décès mais avec un décès de l'un avant la naissance de l'autre. Il doit également y avoir une solution.
C'est à André d'apprécier si cela ne devient pas trop usine à gaz.
-
Pour ce qui est de la remarque de Ransac, je pense qu'il a dû intervenir sur une fiche ouverte depuis la fenêtre des doublons. De fait la fiche est modifiable mais il n'y a pas accès aux commandes Annuler, Enregistrer, ... Je pense que la fiche doit être uniquement consultable (comme pour celles ouvertes depuis les lieux favoris) et que l'on puisse circuler vers le conjoint, les parents,.... A priori les modifications ne devraient pas être admises à ce niveau.
j'ai bien pensé que les modif ne devaient pas être admises.
mais le fait est que le création d'évenements vides est possible et qu'il est même possible de créer plusieurs naissance et plusieurs décés (tous vides bien sûr) !
-
Maintenant que la recherche des doublons fonctionne, il est sûr que celà met en évidence des anomalies qu'on ne pouvait voir jusque là. J'en avais vu quelques unes que j'ai signalé à Philippe (ex: la colonne du lieu de naissance indiquait le lieu de décès). Cette dernière a été réparée pour la V605, mais la principale c'est que depuis la fiche qui semble à priori prévue que pour pouvoir lire sans modifier, certains champs sont accessibles en modification, et on peut même créer plusieurs naissance ou décès (sans les documenter). On peut aussi modifier des champs comme le type d'union ou les domiciles.
Au niveau de la programmation, Philippe devrait faire un choix: soit laisser possibles les modifications depuis cette fiche sans créer de conflits avec la fiche en cours(c'est un problème de gestion des transactions), ce qui serait le plus pratique pour l'utilisateur, soit interdire toutes les modifications (solution peut-être plus facile à mettre en oeuvre). Laissons lui le temps d'y réfléchir.
En ce qui concerne l'élimination des doublons possibles, j'ai d'abord voulu mettre au point une méthode ne mettant en oeuvre que des éléments simples comme le nom, le sexe, les prénoms, les dates et lieu de naissance ou décès.
L'élimination du père ou de la mère peuvent être ajoutés facilement.
Aller plus loin dans la parenté, exigerait d'extraire pour chacun tous les individus ayant un lien (ce qui est fait pour la fonction de suppression d'un groupe), et allongerait énormément la durée du traitement.
L'incompatibilité entre la naissance de l'un et le décès de l'autre doit pouvoir s'ajouter sans être coûteuse en temps.
Une simple question: quelle tolérance vous donnez-vous sur la date?
quand vous notez "calculée 1900" (date calculée à partir d'une mention "décédé à l'âge de xx" par exemple)?
quand vous notez "estimée 1900"?
quand vous notez "vers 1900"?
sans doûte cette tolérance est-elle aussi variable selon que vous précisez le jour, ou seulement le mois, ou seulement l'année?
A+
André
PS: pour la recherche étendue par les variations de prénoms, Christian est-il le seul avec ce problème? Il est sûr que c'est plus long, mais normalement pas plus du double de temps, et chez moi çà fonctionne.
Par contre une anomalie provoque une erreur dans la recherche des doublons: l'existence de plusieurs naissances ou décès pour un individu. Je vais voir si je peux l'éviter, mais dans ce cas seule la première naissance ou le premier décès sera pris en compte.
-
Bonjour,
Bonjour,
Je suis passé en v605ß associé à b4.058 et j'ai fait les resets de rigueur.
Pour ce qui est de la remarque de Ransac, je pense qu'il a dû intervenir sur une fiche ouverte depuis la fenêtre des doublons. De fait la fiche est modifiable mais il n'y a pas accès aux commandes Annuler, Enregistrer, ... Je pense que la fiche doit être uniquement consultable (comme pour celles ouvertes depuis les lieux favoris) et que l'on puisse circuler vers le conjoint, les parents,.... A priori les modifications ne devraient pas être admises à ce niveau.
Oui mais voilà ce qui arrive à force de basculer d'une version à une autre.
Autrefois, une fiche ouverte depuis les lieux favoris était effectivement inactive et sans possibilité de navigation. :wink:
Depuis quand, je suis incapable de le préciser, mais au moins avec la v605 une fiche ouverte depuis la fenêtre des doublons ou celle des lieux favoris reste active avec la possibilité d'engager des modifications mais sans pouvoir Enregistrer et donc sans marche arrière. :cry:
Ce point mérite d'être examiné car il peut être à la source d'ennuis.
-
Autrefois, une fiche ouverte depuis les lieux favoris était effectivement inactive et sans possibilité de navigation.
Je ne pense pas que celà soit très nouveau. Seulement on s'en aperçoit depuis l'apparition des boutons de création rapide NDP. Et comme maintenant on l'ouvre depuis la fiche des doublons, on peut être très tenté de créer l'évènement manquant qui interdirait l'apparition en doublon.
C'est bien l'intérêt des bêta que de mettre ces problèmes en évidence, avant l'officialisation.
A+
André
-
Pas trop de pb svp, car je bosses, en ce moment ai j ai pas trop de temps
alors des tous petits pb :D
-
Bonsoir,
Je suis en V604 b4.057
A priori, le problème de pouvoir modifier une fiche depuis les lieux favoris n'existait pas avant la V604.
Il y a quelques jours, avant de télécharger la V604, j'ai appelé plus d'une dizaine de fiches depuis les lieux favoris dont plusieurs devaient être modifiées et je n'ai pas remarqué cette nouvelle possibilité.
Je ne suis pas défavorable à ce que l'appel d'une fiche depuis les lieux favoris ou les doublons soit uniquement en consultation sauf si la possibilité de modification ne pose aucun problème de programmation.
-
L'idée de Christian d'éliminer des doublons les individus ayant une relation père ou mère à enfant est efficace. Chez moi elle permet de diviser par 5 le nombre de doublons, ce qui est logique quand on connaît l'habitude de nos anciens consistant à donner leur prénom à leurs enfants, surtout au premier.
J'ai aussi intégré la vérification du décès au plus tard de l'un avant la naissance au plus tôt de l'autre.
S'il y a plusieurs évènements naissance ou décès, seul le premier est utilisé.
J'ai aussi élargi la fenêtre de recherche si le token est "calc", "est" et surtout "vers" et que seule l'année est formulée.
Les fichiers ont été mis à jour sur mon site, sans changer de version. Les liens sont dans le premier message de ce fil de discussion.
A+
André
-
Bonsoir,
Cette nouvelle approche de recherche de doublons potentiels réclame à mon avis une réflexion sur l'exploitation des résultats.
A l'évidence la présence d'un DUPONT Jean, pour lequel les naissances et décès ne sont pas renseignés, entraîne la déclaration de tous les DUPONT Jean amplement ou partiellement renseignés comme doublons potentiels.
Je ne vois pas d'autre solution que de renseigner approximativement ou précisément ces cas de figures pour clarifier la situation.
Il n'en restera pas moins, qu'en raison des fourchettes retenues en fonction de la syntaxe utilisée, que nous resterons confrontés à un nombre élevé de doublons potentiels.
Pour contourner cette difficulté, il est peut-être à envisager d'exclure les individus pour lesquels nous n'avons pas de renseignement et éventuellement d'ajouter dans "Les listes", la liste des individus sans renseignement (N et D).
Dans tous les cas de figure il faut une bonne réflexion avant d'entreprendre des modifications.
-
Bonsoir André,
Tu as mis en ligne une nouvelle mouture de la recherche de doublons potentiels alors que je rédigeais le message ci-dessus.
J'ai chargé et essayé, le résultat est radical. Je suis pour ma part passé de près de 2400 individus à un peu plus de 300!!! :wink:
C'est plus sympathique et surtout plus gérable.
Il faut laisser mûrir.
-
Bravo pour cet outil qui m'a permis de trouver 8 vrais doublons.
La deuxième mouture m'a fait passer les doublons potentiels de 201 à 104, contrôle plus facile.
Pour une base de 6700 individus c'est me semble-t-il raisonnable.
Beau travail
Avec Ancestrologie, la recherche des doublons c'est facile !
(slogan des années 50)
:wink:
-
Bonsoir André,
Qelles sont les conclusions à tirer avec l'information délivrée par "Les Listes/Liste des erreurs sur les événements individuels"?
-
Qelles sont les conclusions à tirer avec l'information délivrée par "Les Listes/Liste des erreurs sur les événements individuels"?
Rien pour le moment, je ne sais pas ce qui est analysé ni quelle est la procédure qui est appelée.
Je regarderai çà demain quand il fera jour...
Bonne nuit
André
-
Qelles sont les conclusions à tirer avec l'information délivrée par "Les Listes/Liste des erreurs sur les événements individuels"?
Bonjour,
Philippe m'a communiqué la requête exécutée par cette fonction. Elle liste les évènements individuels affectés plusieurs fois à un individu, alors qu'ils ne devraient l'être qu'une seule fois, comme les naissances et les décès.
Je viens de vérifier avec une naissance en double, çà fonctionne correctement. C'est donc un bon moyen de trouver où se situe l'anomalie.
Par contre je me demande si je ne devrais pas laisser la recherche de doublons se "planter" dans un tel cas, çà constitue une bonne alerte...
A+
André
-
Bonjour André,
J'ai examiné à nouveau la liste des doublons potentiels et j'ai toujours l'intime conviction que s'il était possible de distinguer des doublons potentiels par les parents, ladite liste fondrait encore de façon sensible.
Tu es le seul à savoir si c'est réalisable et surtout si l'attente du résultat serait longue.
N'est-il pas envisageable de faire cette opération dans une deuxième passe ou alors avec une autre case à cocher du type "Elargir la recherche"?
Pour le cas Elargir la recherche, le processus est en route depuis 12 minutes env., le processus normal dure environ 1mn15.
Hier j'ai dû m'absenter et je sais que la recherche longue est comprise entre 3mn et 1h. Je voulais affiner.
Le dossier contient 13000 individus environ (2.5 GHz, 512 Mo RAM).
J'indiquerai le résultat final le moment venu.
-
André,
30 minutes, still running, UC full up
-
(2.5 GHz, 512 Mo RAM).
depeche toi d ecrire au pere noel, il doit bientot passer :D
as tu essayer avant d optimiser ta base ?
as tu des résidents qui tournent ?
quel antivirus utilises tu ?
-
Bonjour,
Résultat: 37mn et des briquettes
Le père Noël je m'en charge.
Quant aux résidents, oui il y en a et sans doute toujours trop, AV McAfee.
Je n'avais pas procédé à une optimisation avant de lancer la recherche de doublons.
Dans ce dossier de 12800 individus, il y a plus de 2300 FACON et cela semble être un point dur. Ajouter un Facon devient long, l'enregistrer devient long, ... avec les autres patronymes moins fortement représentés tout se déroule rapidement sans attente.
-
Bonjour,
Après optimisation, la recherche de doublons potentiels avec une fenêtre élargie a été faite en 20 - 21 mn. Le gain est appréciable, pour mémoire la recherche avait duré 37 mn avant optimisation.
Philippe, si tu as toujours ma base communiquée l'autre jour, tu peux la passer sur ton "cray" à titre de benchmarking.
-
ai plus ta base
je ne garde pas ce qu on m envoie, juste le temps de voir le pb, car je ne veux pas de pb avec les auteurs des données
et mon cray il n est plus one mais -two
ce fait vieux lui aussi
athlon 64 3800 et 1024 de ram
donc deviens un peu lent
si t ecris au pere noel, dis lui de passer par ici de ta pars, lui mettrai, pas un bol de lait dans la cheminée mais un grand verre de rhum sur la terrasse
-
Avec un AMD3500+ et 1Go de RAM (déjà 2 ans :( ) sur une base de 40000 individus, recherche normale en 34s, recherche étendue en 2mn25s.
Mais c'est avec la version que je viens de remettre en ligne.
Mystère de FB1.5 et de sa planification des requêtes (très améliorée avec FB2.0), il suffit quelques fois de modifier l'ordre de 2 tables pour changer considérablement la vitesse d'exécution.
J'en ai profité pour modifier le comportement de la procédure en cas d'individu avec double naissance ou décès. La procédure s'arrête et seul s'affiche dans la liste cet individu avec "Erreur naissance ou décès en double" à la place de la date de naissance.
A+
André
-
avec la nouvelle version, j'ai bien moins de doublons ! :D
malgré tout, il me sort 11 C... Marie qui ont toutes la date de naissance renseignée de façon complète (jour, mois et année ; cela va des années 1736 à 1819).
Pourquoi ?
je comprends si la date contient un mot clé approximatif, mais ce n'est pas le cas.
-
j'ai aussi des "doublons uniques" :lol:
par exemple R... Marie, mais elle est seule, y-en a pas d'autre !
elle aussi d'ailleurs a les dates parfaitement mentionnées
en fait, il semble me la comparer avec R... Jeanne qui a également les dates
Jeanne est née le 17/09/1632
Marie est née le 4/07/1730
-
Bonsoir,
J'ai mis en oeuvre la nouvelle version de base.
:arrow: Dans les mêmes conditions, la recherche de doublons potentiels simples est ramenée à 35 secondes et la recherche large à 2mn50.
En termes de durée, les modifications sont fructueuses.
:arrow: Pour Ransac, il suffit d'avoir une seule C.... Marie sans renseignement pour avoir une présomption de doublon avec n'importe quelle C.... Marie entièrement renseignée.
:arrow: Je sais, c'est facile d'insister quand ce sont les autres qui doivent faire le travail, André penses-tu examiner la distinction des doublons par les parents? Autant la méthode précédente n'était pas représentative, autant la nouvelle travaille par excès.
:arrow: L'histoire de FB revient de plus en plus souvent. Ceci n'est sans doute pas simple, mais n'est-il pas envisageable de passer un jour en FB2.0 avec une bonne procédure d'installation ou même une installation automatique.
La procédure existe, il suffit de chercher. N'est-ce pas un autre moyen d'améliorer les performances puisque tout le monde semble si pressé?
-
:arrow: Pour Ransac, il suffit d'avoir une seule C.... Marie sans renseignement pour avoir une présomption de doublon avec n'importe quelle C.... Marie entièrement renseignée.
je m'en doute bien !
c'est bien pourquoi j'ai précisé qu'elles avaient TOUTES leur date de naissance complète !
quand je peux, je participe aussi aux tests !
c'est peut-être une anomalie dans la procédure, c'est pourquoi je le signale !
-
Bonsoir
j'ai aussi des "doublons uniques" :lol:
par exemple R... Marie, mais elle est seule, y-en a pas d'autre !
elle aussi d'ailleurs a les dates parfaitement mentionnées
en fait, il semble me la comparer avec R... Jeanne qui a également les dates
Jeanne est née le 17/09/1632
Marie est née le 4/07/1730
C'est sans doute le résultat d'une recherche élargie. Les jumeaux deviennent aussi doublons potentiels. :wink:
-
C'est sans doute le résultat d'une recherche élargie. Les jumeaux deviennent aussi doublons potentiels. :wink:
encore faux, je n'ai pas demandé la recherche élargie, elle me sort bien trop de monde !
-
:arrow: Je sais, c'est facile d'insister quand ce sont les autres qui doivent faire le travail, André penses-tu examiner la distinction des doublons par les parents? Autant la méthode précédente n'était pas représentative, autant la nouvelle travaille par excès.
j'ai bien l'impression que la nouvelle routine élimine les doublons parents/enfants !
si c'est pour comparer les parents des doublons, je ne suis pas pour !
il suffit d'une différence d'orthographe dans le nom du père ou de la mère pour que le doublon ne soit pas visible.
vaut mieux en avoir plus et tous les avoir, qu'en avoir moins et en louper !
-
Bonsoir
:arrow: Je sais, c'est facile d'insister quand ce sont les autres qui doivent faire le travail, André penses-tu examiner la distinction des doublons par les parents? Autant la méthode précédente n'était pas représentative, autant la nouvelle travaille par excès.
j'ai bien l'impression que la nouvelle routine élimine les doublons parents/enfants !
si c'est pour comparer les parents des doublons, je ne suis pas pour !
il suffit d'une différence d'orthographe dans le nom du père ou de la mère pour que le doublon ne soit pas visible.
vaut mieux en avoir plus et tous les avoir, qu'en avoir moins et en louper !
:arrow: Premièrement, je ne remets pas en cause tes compétences en matière de test, plus nous sommes testeurs et plus nous avons de chance de trouver les éventuelles anomalies. :D
J'ai moi aussi une tripotée de FACON Jean Baptiste bien et convenablement renseignés mais j'ai malheureusement aussi un FACON Jean Baptiste du caniveau ou d'ailleurs non renseigné ce qui se traduit par une possibilité de doublon.
:arrow: Pour ce qui concerne la nouvelle routine qui était en réaité la mouture n°2, elle concerne si j'ai bien compris les possibilités de doublons père-fils puisqu'à une certaine époque le premier garçon prenait presque systématiquement le/les prénoms de son père, même chose pour la fille.
Pour le coup, si père et fils n'ont pas le même nom (FACON, FASCON par exemple) je pense que la possibilité de doublon ne sera pas affichée.
:arrow: Je parlais d'homonymes (nom et prénom) pour lesquels les deux parents ne sont pas les mêmes. C'est surtout le cas pour les garçons doublons de pères avec des prénoms différents.
Je pense que cela seraient d'ailleurs réintégrés doublons dans le cadre d'une recherche large.
-
Bonsoir André,
Sur une recherche normale de doublons potentiels j'ai examiné le cas d'un patronyme représenté 5 fois dans le listing (et il y a prescription):
DECOTTIGNIES Jacques °1600 +12-04-1681
DECOTTIGNIES Marie Joseph +11-10-1828
DECOTTIGNIES Marie Joseph °11-10-1686
DECOTTIGNIES Martin
DECOTTIGNIES Martin °1480
Les dates sont celles rentrées dans la base, l'absence de date est l'image de la base.
-1- Je ne trouve pas le binome de Jacques qui est peut-être un autre Jacques °vers 1595 et présent dans la base. Je pense que les nouvelles fourchettes font de lui un candidat possible mais il n'est pas repris dans le listing.
-2- Les deux Marie Joseph sont uniques dans la base mais je les vois mal être "doublon" en raison de l'espérance de vie. L'espérance de vie de chacune fait qu'il peut y avoir un recouvrement entre ces deux personnes mais en aucun cas ce sont les mêmes. D'autre part les parents de l'une sont DEC... Louis Joseph et PICAVET Marie Anne Joseph, quant à l'autre ils sont DEC.... Pasquier et DESQUIENS Jeanne.
-3- Pour les deux Martin, mea culpa, l'un est sans renseignement. Le doublon potentiel est avéré encore que pour l'un les parents sont DEC... Alphonse et CASTEL Jeanne et pour l'autre j'ai DEC... Jean et LEFEBVRE Nn.
Il y a éventuellement une explication à trouver. Je continue à chercher.
-
Pour les doublons "uniques" j'ai dû faire une erreur en mettant à jour le script, car je l'avais déjà réparé hier ou avant hier.
Les "Marie" que Ransac croient en trop, ne le sont pas. Elles doivent être en réalité en double avec une qui ne s'affiche pas pour la même cause que ci-dessus.
Cette fois ci çà doit être bon sur mon site.
Je pense également qu'il est préférable de pècher par excès plutôt que par défaut dans la liste des doublons. C'est pour celà qu'il ne faut pas supprimer de la liste les individus insuffisamment renseignés. L'anomalie, c'est qu'ils ne sont pas renseignés.
Je vais voir s'il est possible, sans trop compliquer, d'éliminer des doublons ayant un lien de parenté plus lointain que la relation parent-enfant.
A+
André
-
pour aller un peu dans le même sens que Facon, il est vrai que la recherche élargie peut être un paliatif aux doublons qui auraient été suppimés par erreur lors d'une recherche normale.
Je pense au cas des "faux doublons" car ils n'ont pas les même parents. Actuellement, ils ne sont pas supprimés d'une recherche simple.
Si tu décides de modifier la routine afin de les supprimer, on risque de passer à coté des "vrais doublons" dont l'orthographe des parents est différente.
Ce n'est finalement pas trop grave puisqu'ils devraient être affiché en recherche élargie.
pour ne pas alourdir la routine si tu décides d'ajouter cette modif, il peux être possible de ne comparer que le prénom du père et le nom de la mère. En effet, le nom du père devrait être de toute façon le même et il est peu probable d'avoir un "faux doublon" issue de parent homonyme.
-
:arrow: Pour ce qui concerne la nouvelle routine qui était en réaité la mouture n°2,
t'en fait pas, je suis les modifs ! :lol:
quand je parle de la nouvelle version, je parle de la 2e routine. La 1ere étant l'ancienne version.
Je ne parle pas de la version originale qui de toute façon ne trouvait jamais de doublon ! :lol:
-
Rebonsoir André,
Le Jacques de vers 1595 est bien retenu maintenant comme doublon potentiel.
Et il doit y en avoir d'autres car la liste s'est allongée de quelques unités.
Merci
PS: Il va peut-être falloir songer à la phonétique......
-
Bonsoir,
Si Ransac craint l'absence de détection du doublon, à cause de parents dont le nom serait écrit différemment, il peut la craindre tout autant à cause du nom de l'individu lui-même (j'admet que le risque est 2 fois moins important, il y a 2 parents). Et pour les prénoms, il y a les risques dûs à l'orthographe, mais plus fréquemment peut-être, l'utilisation courante du 2ième ou 3ième prénom, quand il n'est pas complètement différent (même la phonétique ne peut résoudre ce cas...).
Pour la recherche "étendue", j'ai fait des essais en intégrant dans la liste des doublons possibles ceux qui avaient au moins un prénom commun. Ma liste était presque 2 fois plus longue. Dans la méthode actuelle, tous les prénoms de l'un doivent appartenir à la liste des prénoms de l'autre, pour prendre en compte un ou deux prénoms "oublié" ou pas dans l'ordre.
Pour le moment, je pense qu'il vaut mieux travailler à éliminer de la liste les doublons qu'un raisonnement logique (la parenté) doit éliminer. La liste est déjà bien longue...
A+
André
-
Bonsoir,
D'autant que tout cela dépend aussi de la logique de saisie: nom et prénoms tels que repris dans l'acte ou nom et prénoms "normalisés". Sans compter que le même individu peut être gratifié de nom et prénoms différents (légérement ou ordre) à divers moments de sa vie: naissance, union, décès.
Pour élaguer cette liste il reste aussi la piste du lieu mais il faut y aller pas à pas avant de construire un mastodonte.
-
Les lieux de naissance et décès sont déjà utilisés. S'ils ne sont pas vides, ils doivent être identiques, sinon il n'y a pas de doublon.
J'ai modifié la procédure en utilisant le résultat de la PROC_GROUPE (celle qui permet d'élaguer ou supprimer une famille complète). Elle permet de regrouper tous les individus du dossier ayant un lien de parenté avec l'individu central. Son utilisation est très efficace, celà a supprimé tous mes 34 individus en doublons précédemment (sur 3000 sans doublon réel).
Elle double le temps d'exécution, mais qu'est ce temps à côté de celui qu'il faut pour vérifier un à un chaque doublon?
Je me pose seulement la question de l'opportunité d'exclure des doublons s'il y a lien de parenté. Un même homme a pu se marier successivement avec 2 soeurs. Les 2 "maris" qui pourtant n'en font qu'un ont un lien de parenté, donc ne seront pas détectés comme doublons? Et je ne vous parle pas des mariages entre cousins.
Votre avis.
A+
André
PS: vous avez toute la nuit pour y réfléchir :lol:
Bonne nuit
-
Je débarque et n'ai pas bien suisvis tout les arguments. Cette recherche ne pourrait'elle pas être para métrable par l'utilisateur. (Même nom, même premier prénom, mêmes prénoms, date de naissance identique ou au mois près ou à l'année prés ou à x années près, ..., même ville de naissance, ...
-
Ou bien quelque chose comme : comparaison de l'information si elle est présente. Par ex : si l'une des fiches a une date et pas l'autre, on ne compare pas. Idem prénoms, ville, etc.
Avec une case à cocher ou l'utilisateur choisit ce qu'il veut comme comparaison. Ca permettrait de de faire des comparaisons succintes, puis d'affiner si le besoin s'en fait sentir.
Et tant qu'on y est, le fin du fin : ne rechercher les doublons que sur une partie de la base : seulement les descendants de Dupond Titi ou les ascendants de Durand Tata.
-
Bonjour Pierre,
Je pense que tu devrais lire le premier message du fil pour comprendre que tous les paramètres dont tu parles sont déjà pris en compte, dans la forme actuellement téléchargeable. Les seules évolutions notables concernent la prise en compte de la relation parent-enfant pour éliminer des doublons de la liste.
Car le vrai problème, c'est que malgré la prise en compte de ces paramètres, il y a trop de doublons. La cause principale est l'absence d'informations sur les dates de naissance et décès (informations même approximatives souvent connues, mais non écrites).
On cherche donc un moyen, suffisamment rapide, d'éliminer des doublons par une méthode complémentaire. Et dans la logique qui veut qu'il ne peut pas y avoir de doublon entre un enfant et ses parents, il ne peut y avoir de doublons dans l'ascendance ou la descendance d'un individu. Mais exécuter ce test pour chaque individu risque d'être long.
Quand à rendre tout paramètrable, celà implique une plus grande complexité du code, avec presque toujours un ralentissement de l'application.
Il est possible d'introduire dans une requête une condition optionnelle. Le système adopte alors un plan d'exécution de la requête permettant d'exécuter cette option, mais qui n'est pas optimisé pour le cas où cette option n'est pas activée. D'où le ralentissement. Il est donc préférable de créer autant de requêtes qu'il y a d'options possibles, le choix de la requête se faisant en amont. D'où la complexité du code.
A+
André
-
Ou bien quelque chose comme : comparaison de l'information si elle est présente. Par ex : si l'une des fiches a une date et pas l'autre, on ne compare pas. Idem prénoms, ville, etc.
Bonjour,
Que veut dire "on ne compare pas"? On élimine de la liste des doublons possibles? Ce qui signifie qu'on ne met dans la liste des doublons que ceux dont on a la certitude.
Je préfère le principe inverse: on élimine de la liste des doublons que si on a la preuve qu'ils ne le sont pas. On a le maximum de chances d'avoir les doublons dans la liste.
A+
André
-
Je préfère le principe inverse: on élimine de la liste des doublons que si on a la preuve qu'ils ne le sont pas. On a le maximum de chances d'avoir les doublons dans la liste.
Bonjour,
Je préfère également cette démarche qui resserre les mailles du filet
-
Bonjour André,
J'ai vu les derniers messages et merci encore pour toutes ces explications.
Jusqu'ici tout le monde était heureux et fier de sa base de données car il n'y avait pas de doublon et voilà que sur une question de Bernadette tu modifies la manière de rechercher les doublons. La conséquence est terrible, nous sommes tous ou presque devenus soudainement mauvais et pas un petit peu. :cry:
A l'évidence également ce sujet qui ne soulevait pas ou peu de questions devient, comme certains autres, celui dont il faut parler. :wink:
Mon sentiment est que la méthode initiale était fausse de 95 à 99% et que la nouvelle est bonne à 50%. Il ne faut pas me demander la méthode de calcul ou d'appréciation.
Je pense également qu'il vaut mieux pêcher par excès plutôt que par omission et tenter de trouver des astuces (vérifiables) qui permettent de réduire cette litanie de doublons.
Tu as déjà mis en oeuvre quelques méthodes, une autre est sur le feu et pourquoi pas poursuivre si les idées fusent.
La difficulté avec une liste trop longue est qu'elle devient dissuasive.
Ainsi que tu l'as dit à plusieurs reprises, une source manifeste de doublon est l'absence d'information. Un seul cas est de nature à faire rentrer 1 à 10 innocents parfaitement renseignés.
Je maintiens ainsi la possibilité de pouvoir éditer la liste des individus pas du tout renseignés. Elle devrait être sensiblement plus courte que celle des doublons et ainsi plus agréable à consulter pour procéder aux ajustements nécessaires quand cela est possible.
Si tu mets en oeuvre la recherche par la famille, les doublons seront minorés (un peu, beaucoup?) et même si les cas particuliers cités dans ton message passent à la trappe, ils doivent à mon avis représenter un faible pourcentage.
La combinaison des deux moyens devrait permettre à chacun d'assainir la situation.
Pour ce qui est des lieux, je n'avais pas perçu ce point. Je me fiais à l'inscription sur la fenêtre des doublons qui indique que la recherche est effectuée sur les nom, prénoms, naissance et décès.
-
Bonjour André,
J'ai modifié la procédure en utilisant le résultat de la PROC_GROUPE (celle qui permet d'élaguer ou supprimer une famille complète). Elle permet de regrouper tous les individus du dossier ayant un lien de parenté avec l'individu central. Son utilisation est très efficace, celà a supprimé tous mes 34 individus en doublons précédemment (sur 3000 sans doublon réel).
Elle double le temps d'exécution, mais qu'est ce temps à côté de celui qu'il faut pour vérifier un à un chaque doublon?
Je me pose seulement la question de l'opportunité d'exclure des doublons s'il y a lien de parenté. Un même homme a pu se marier successivement avec 2 soeurs. Les 2 "maris" qui pourtant n'en font qu'un ont un lien de parenté, donc ne seront pas détectés comme doublons? Et je ne vous parle pas des mariages entre cousins.
Votre avis.
Je ne suis pas certain que tu ais mis cette nouvelle version en ligne. Tu attendais sans doute les avis.
-
Non, ce n'est pas en ligne.
Je suis en train d'essayer en ne comparant qu'avec les ascendants ou descendants, une relation parents-enfants étendue en quelque sorte. Cà ne semble pas excessivement pénalisant. Je règle également d'autres problèmes dû aux comparaisons avec des champs qui peuvent être null. FB est assez embêtant pour celà car la comparaison avec la valeur d'un champ qui est null n'est ni vrai, ni fausse. Il faut donc traiter ce cas à part à chaque fois.
A+
André
-
Bonsoir,
J'ai remis en ligne une version où j'utilise la procédure PROC_PARENTE. En effet 2 individus qui ont du sang commun sont définis l'un par rapport à l'autre, donc l'un ne peut être un doublon de l'autre. Il ne reste donc dans la liste des doublons que des personnes sans relation.
Cà allonge sérieusement la durée du traitement (environ le double) mais d'une façon relativement irrégulière, peut plus importante pour les grosses base. Mais le nombre de doublons (parce que non documentés) a une grosse influence. Il faut 10 s sur ma base de 3000 individus.
Cà a dû diminuer le nombre de doublons, mais comme auparavant certains doublons n'apparaissaient pas à cause d'un problème avec les champs null (des individus sans parents n'apparaissaient pas). Le total a peut-être augmenté.
A+
André
-
bonjours à tous,
Je viens de tester cette version avec une base de données qui compte 47104 personnes.
j'ai obtenu une liste de 69 pages de doublons potentiels.
Pouvez vous me dire pourquoi sont désignés comme doublons les personnnes suivantes:
- 05 FORQUIGNON Jean qui ont chacun une date de naissance correcte et différente qui vont de 1739 à 1820
-12 FORQUIGNON François avec des dates correctes et différentes de 1722 à 1823
Ce ne sont absolument pas des doublons
Cordialement
-
Constat identique sur une base de 2600 personnes environ.je vais essayer sur une base plus conséquente.
A+
-
Bonjour,
Il y a éventuellement des candidats qui n'ont pas été repris dans la listing.
Dans le cas des FORQUIGNON Jean ou François ou autres patronymes, il serait bon de vérifier sur Ancestrologie, au niveau du répertoire, s'il n'y a pas un ou des FORQUIGNON Jean ou François non documentés.
D'autre part est-ce que André pourrait nous indiquer les fourchettes retenues sur les dates dans les différents cas de figures.
Il est manifeste que cette nouvelle version fait mal même très mal. Elle souffre beaucoup des individus non documentés mais même s'il y a encore des erreurs, c'est le reflet des informations saisies.
Il y a probablement d'autres doublons potentiels non répertoriés dans le cas notamment des patronymes FORQUIGNON, FOURQUIGNON, FORQUINON, etc.. C'est juste un exemple, il ne faut pas chercher plus loin.
-
Bonjour,
J'ai jeté à nouveau un coup d'oeil sur ma petite liste de près de 1900 doublons potentiels.
Je n'ai pas retrouvé de doublon orphelin. J'entends par là un ensemble Nom et Prénom(s) qui soit unique. Il y en a toujours deux ou plus et par conséquent on peut raisonnablement dire que les doublons potentiels sont bien tous présents.
Toute la difficulté consiste maintenant à dépister les vrais doublons.
Un tableur permet de faire pas mal de chose et, selon notre humeur et notre instinct on peut dire:
- que les individus entièrement renseignés sont probablement bons. Il convient toutefois de vérifier que certains ne soient pas en double. C'est ce que devait faire la méthode précédente;
- que les individus peu ou pas renseignés sont des sources de doublons potentiels.
C'est ce dernier point qui est à l'origine de la plupart des incertitudes. Mais encore une fois attention, ce n'est que la liste des doublons potentiels pour lesquels nom et prénom(s) sont identiques.
La recherche élargie (au niveau des prénoms) contribuerait à allonger la liste. Si elle pouvait être conduite également au niveau des noms (recherche phonétique) je n'ose pas penser aux dégats.
-
J'ai importé le gedcom d'un cousin, lequel, pour certains patronymes, n'a pas mis une seule orthographe, mais trois l'une à la suite de l'autre, c'est à dire toutes les orthographes qu'il a rencontré au cours des temps pour cette branche. J'avais déjà certains membres de cette branche avec une seule orthographe, que j'ai conservé. comment réagit la recherche de doublons dans ce cas?
Et quid des différences orthographiques pour les prénoms, telles que Jean et Jehan, Madeleine et Magdeleine?
-
Bonjour André,
J'espère ne pas raconter de bêtise, j'ai le cas suivant:
Dans ma base, j'ai notamment quatre FRANCHOMME Marie Anne Joseph, l'une sans renseignement, les trois autres documentées en ce qui concerne les naissances et les quatre sont de parents différents (père et mère). Le père par le prénom et la mère par les noms mais pour les prénoms des mères j'ai: Marie Anne, Marie Anne Joseph Victoire, Jeanne Françoise et encore Jeanne Françoise.
Je retrouve curieusement les quatres FRANCHOMME Marie Anne Joseph comme doublons potentiels. Cela ne semble pas être un cas isolé.
Il y a éventuellement une vérification à faire.
-
Pouvez vous me dire pourquoi sont désignés comme doublons les personnnes suivantes:
- 05 FORQUIGNON Jean qui ont chacun une date de naissance correcte et différente qui vont de 1739 à 1820
Bonjour,
Comme le note Christian, il suffit qu'il y ait un FORQUIGNON Jean qui n'ait pas suffisamment de précisions dans les dates et lieux de naissance et décès, pour qu'il puisse être doublon de chacun des autres FORQUIGNON Jean. De ce fait tous ces autres apparaissent dans la liste, sans pour celà être doublons entre eux.
Pour répondre à Christian à sa question concernant les fourchettes sur les dates, elle dépend des tokens utilisés et de la précision de la date (exacte, au mois près, à l'année près).
Pour chaque date formulée il est déduit une date au plus tôt APT et une date au plus tard APD. Ce sont ces limites de dates qui sont ensuites comparées entre individus pour trouver des doublons possibles (en plus des autres paramètres sur le sexe, le nom, le ou les prénoms, les lieux de naissance et décès et dans cette version le coefficient de parenté).
Si la date est exacte "1 janvier 1900", la fourchette est nulle (les dates au plus tôt et au plus tard sont identiques à la date exacte)
Si "janvier 1900", APT=1/1/1900, APD=APT+31 jours
Si "1900", APT=1/1/1900, APD=APT+366 jours
Si "cal ou est ou vers 1/1/1900", APT=1/1/1900 -31j, APD=1/1/1900 +31j (+/- 1 mois)
Si "cal ou est ou vers janvier 1900", APT=1/1/1900 -183j, APD=1/1/1900+215j (+/-6 mois)
Si "cal 1900", APT=1/1/1900-1000j, APD=1/1/1900+1400j (+/-3 ans)
Si "est ou vers 1900", APT=1/1/1900-4000j, APD=1/1/1900+4400j (+/-11 ans)
Si "entre 1/1/1900 et 1/1/2000" ( ou "de xxx à xxx", ou "avant xxx après xxx"), APT=1/1/900, APD=1/1/2000
Si "entre 1/1900 et 1/2000", APT=1/1/1900, APD=1/1/2000+31j
Si "entre 1900 et 2000", APT=1/1/1900, APD=1/1/2000+366j
Si "de xxx" ou "après xxx", APT= j/m/a ou 1/m/a ou 1/1/a, APD=APT+10000j (27 ans ~ une génération)
Si "à xxx" ou "avant xxx", APD=j/m/a ou 1/m/a+31j ou 1/1/a+366j, APT=j/m/a-10000j ou 1/m/a-10000j ou 1/1/a-10000j
Bien sûr certaines valeurs sont arbitraires, mais je l'espère assez logiques.
A+
André
PS: ta FRANCHOMME Marie Anne Joseph sans renseignements doit être doublon avec chacune des 3 autres prises individuellement car il n'est pas trouvé de parenté avec chacune. L'algorythme ignore que les parents sont différents; ce serait un filtre à ajouter, à condition de vérifier que les parents ne sont pas eux-même des doublons (à étudier car pas simple à programmer...).
Pour les cas où l'orthographe est différente, je ne vois pas de possibilité de reconnaissance si ce n'est la phonétique (il faut bien nous laisser quelque chose à faire... ). Mais s'il y a plusieurs noms dans le même champ, il n'y a qu'en les étudiant un à un qu'on peut trouver une solution. J'utilise souvent le surnom pour noter le nom utilisé à l'époque, gardant le champ Nom pour identifier le patronyme de toute la lignée. Mais pour résoudre ce problème, il faudrait pouvoir saisir plusieurs noms pour le même individu, dans une table séparée.
-
Effectivement, j'ai plusieurs FORQUIGNON sans date ou filiation.
Comment faire pour effectuer un tri plus précis.lorsque les dates de naissance sont connues et non identiques?
Néanmoins je connais la fourchette de vrais doublons potentiels la recherche ayant été effectuée avec deux logiciels qui me donne chacun ne liste à peut-près semblable. J'ai en réalité entre 100 et 150 doublons possibles.
Je ne connais pas les critéres de tri, mais ayant la possibilité de sélectionner la recherches avec les choix suivants
- un prénom identique,
- parents ou conjoints identiques
- ainsi qu'en déterminant les fourchettes des dates
le résultat serait plus précis dans un premier temps.
Cordialement
-
Pour la recherche phonétique, il y a l'algorithme du soundex.
Je me permets d'envoyer une page où on parle.
http://www.chez.com/algor/soundex/soundex.htm
le code obtenu pourrait être un champ dans la base, calculé à l'entrée ou à la modification du nom.
Ca pourrait accélerer la recherche, mais ça ne résoudra pas le problème de prénoms simple ou multiple, ni des dates.
-
Bonjour,
Pour la recherche phonétique, il y a l'algorithme du soundex.
Je me permets d'envoyer une page où on parle.
http://www.chez.com/algor/soundex/soundex.htm
le code obtenu pourrait être un champ dans la base, calculé à l'entrée ou à la modification du nom.
Ca pourrait accélerer la recherche, mais ça ne résoudra pas le problème de prénoms simple ou multiple, ni des dates.
:arrow: Par curiosité, j'avais également regardé cette histoire de phonétique. Il faut faire fort attention aux différences de sons entre le français et notamment l'anglais. Le PHONEX semble être aussi une chose possible.
A mon avis il faut rester raisonnable, ce qui n'était pas un problème il y a deux ou trois jours parce que la méthodologie était trop restrictive devient un sujet passionnant avec le nouvel algorithme élaboré par André. Cette fois-ci le résultat contient à coup sûr les doublons mais ceux-ci sont noyés dans les doublons potentiels créés par le manque d'information sur d'autres individus. Cela rend le dit résultat difficilement exploitable alors qu'avant c'est clair, le résultat donnait l'impression que tout allait pour le mieux.
Par ailleurs, le tout est entâché d'erreurs avec les exemples que tu as cité dans ton message.
Il y a aussi les incertitudes des registres dans lesquels le même personnage est né sous un nom associé à des prénoms, est marié avec un nom déformé et des prénoms (pas nécessairement tous) et même chose pour le décès.
:arrow: Pour en revenir au message d'André, merci encore pour les explications. Pour ma part j'avais vu cette histoire de PROC_.... mais je n'avais pas réalisé ce que cela entraînait.
Effectivement le filtre lié à des enfants "doublons potentiels" issus de parents différents serait de nature à assainir la liste, de combien, c'est difficile de faire une estimation et est-ce que le jeu en vaut la chandelle sachant que le seul à jouer c'est André.
:arrow: Cette discussion fait ressortir également l'appréciation de chacun sur l'utilisation des tokens et des conséquences que cela peut avoir dans l'exercice en cours. Dans mon cas j'abuse du Vers (sans mauvais jeu de mots) alors que je pourrais utiliser Cal dans le cas d'une date déterminée à partir de l'âge. D'un côté j'en prends pour 23 ans, de l'autre pour 7. Personnellement je trouve que la plage de 7 ans est large pour une date calculée, c'est juste un avis.
-
Bonsoir André,
:arrow: J'ai examiné la possibilité de réduire le nombre de doublons potentiels en attribuant lorsque cela est possible une date approximative aux individus non renseignés.
Je ne vois pas d'autre solution que d'utiliser Vers ou Estimée (année seule). La largeur de la fenêtre fait que je ne solutionne pas le problème de façon radicale et dans certains cas pas du tout.
:arrow: En ce qui concerne une date calculée je trouve la fenêtre un peu large. Dans la plupart des cas il s'agit d'une date déterminée à partir de l'âge au mariage ou au décès et hormis les erreurs de lecture ou même d'établissement de l'acte (où nous ne pouvons rien faire), la méthode présente un semblant de rigueur.
A l'usage nous savons qu'il est possible de se tromper de +/- 1 an, il suffit d'avoir fait quelques recherches dans les tables décennales et/ou les registres. Pour ma part j'aurais tendance à resserrer cette plage.
:arrow: La plage de Vers ou Estimée (année seule) est également assez vaste mais j'avoue que là j'ai moins d'idée pour justifier un changement.
Je pense qu'il faut s'efforcer de trouver d'autres filtres sachant que c'est bien les non-renseignés en termes de dates qui polluent fortement la méthode, mais lesquels?
-
Cette fois j'ai changé la version en b4.059 parce que je pense qu'il y a un progrès notable.
Pour éliminer des doublons de la liste donnée par les paramètres sexe, nom, prénom ou prénoms, dates et lieu de naissance et décès, je la passe par un filtre qui élimine les doublons où les pères s'ils sont identifiés ne sont pas eux-mêmes des doublons, idem pour les mères.
La liste passe ensuite dans un filtre qui élimine les doublons qui ont une parenté.
Le passage dans cet ordre à une grosse importance, car le calcul de parenté est le plus coûteux en temps.
L'élimination des doublons qui ont une parenté a aussi une conséquence qu'il ne faut pas ignorer, elle ne permet pas de détecter un enfant déclaré 2 fois. Mais je pense que ce cas est facilement visible sur la fiche, d'autant qu'il était assez fréquent que des parents donnent après le décès d'un des leurs premiers enfants, son prénom au prochain à naître.
J'ai essayé de mesurer l'efficacité de ces filtres sur ma base de 2940 individus.
Avec la recherche des prénoms étendue, sans filtre, il y a 196 doublons, l'analyse durant 6 s environ.
En tenant des parents, ce nombre tombe à 125 en 10 s environ.
En tenant compte de la parenté, le nombre tombe à 73 et 13 s.
J'ai également modifié la liste pour que la présentation soit plus claire. Auparavant, tous les individus ayant un ou plusieurs doublons étaient reclassés dans l'ordre alphabètique. Si bien qu'il était très difficile de savoir qui était le doublon de qui, surtout quand le premier prénom n'était pas le même.
J'ai gardé tous les couples de doublons ensembles en ajoutant un numéro de couple au début de leurs prénoms.
De ce fait la liste peut être un peu plus longue, certains doublons figurant dans plusieurs couples.
Ainsi pour mes 73 doublons, il y a 45 couples soit 90 lignes.
Concernant, la fourchette de 7 ans pour une date calculée, il faudrait dire plutôt 3 ans avant ou 3 ans après l'année calculée, c'est vraiment une erreur que j'ai fréquemment trouvée sur des actes de mariages ou de décès annonçant "agé d'environ 75 ans".
A+
André
-
b 4.059
je passe 15s 146 individus à 27s 66 individus pour une base de 6700
C'est nettement plus facile à lire, et la convention du n° devant le prénom facilite la compréhension.
Je retrouve le même individu dans 2 couples "doublons potentiels, ce qui n'est pas forcément anormal.
Je n'ai pas trouvé de doublons avérés supplémentaires, il ne me restait essentiellement que des individus très peu renseignés, mais c'est nettement plus facile à lire et à contrôler.
Et par rapport au temps d'une optimisation de base, c'est de la rigolade pour un contrôle de cette qualité.
Peut-on encore mieux faire ?
-
Bonsoir,
Ce message n'est pas relatif aux doublons.
:arrow: A la suite des messages apparus sur le forum anomalies et notamment ceux de Maryvonne et de Joël Auguste, j'ai essayé d'y voir plus clair sur les disparitions de noms et de prénoms.
:arrow: Je suis en V605 b4.058, les anomalies sont mentionnées à priori en V604.
:arrow: Dans une base de travail sur laquelle je n'ai rien saisi depuis un moment mais qui a été migrée de proche en proche vers b4.058 selon les diverses versions, j'ai créé un nouveau dossier. Cette base comporte plusieurs dossiers : 2, 5,6 ,11, 16, 19, 19, 22, 23 et j'ai créé le dossier 24 test.
Je me suis créé, je me suis donné une conjointe prénommée Agathe et créé trois enfants dont une Agathe.
J'ai créé un nouvel individu, j'ai voulu le marier avec une NN Agathe, Agathe absente du menu déroulant des prénoms dans la fiche de saisie rapide. Par ailleurs dans la partie inférieure de la fenêtre de sélection d'un conjoint j'ai: son dernier conjoint Nom Prénom et NIP d'un personne qui appartient à un autre dossier!!!!
Je crée malgré tout un conjoint.
Je veux ajouter un enfant, le nom du père est absent de la liste.
Un cauchemar.
:arrow: Je retourne dans le dossier 2, celui de ma famille. Nous avons l'honneur d'acceuillir André Deberdeux. Je lui attribue une date de naissance ainsi qu'un lieu de naissance.
Je veux lui donner un père, son patronyme est absent de la liste des noms!!!! Dans la partie inférieure de la fenêtre de sélection du père, la surbrillance est sur le premier de la liste dont le conjoint est:.....le Nom et le prénom et NIP de la personne citée plus haut!!!!!!, toujours d'un autre dossier.
André est apparu dans le répertoire qu'après redémarrage d'Ancestrologie.
Ce n'est pas simple à expliquer, ce serait bien que quelqu'un fasse une manip de même nature.
-
Bonjour,
J'ai créé un deuxième dossier pour essayer de reproduire tes essais, mais je n'ai pas retrouvé les anomalies que tu signales. Il y en a quelques autres moins graves, comme le nom de la mère proposé par défaut lors de la création du premier enfant si on n'a pas enregistré, mais pas de mélange entre dossiers.
Pour la non apparition du père dans la liste de sélection d'un enfant, ou la réciproque non apparition du nom de l'enfant lorsqu'on veut lui attribuer un père, elle doit être provoquée par un filtre posé il y a peu par Philippe, pour empêcher qu'un père et son fils soient le même individu. L'individu de départ (celui à qui on veut attribuer un père ou un fils) n'apparaît pas dans la liste de sélection, mais si c'est le seul de son patronyme, son patronyme n'apparaît pas non plus.
Pour la non apparition d'Agathe dans la liste des prénoms, es-tu sûr d'avoir attribué le sexe féminin à ta fille. Je viens de vérifier que si la personne qu'on veut créer a un sexe prédéfini (un époux ou une épouse) seuls sont proposés dans la fiche de saisie rapide, les prénoms de son sexe. Je pense que au-moins les prénoms "bisexués" devraient figurer dans cette liste. Au-moins parce que je ne trouverai pas gênant d'y retrouver tous les prénoms, celà permettrait de choisir un prénom attribué jusque là à l'autre sexe. La création de la liste des prénoms unitaires y est indirectement pour quelque chose.
A+
André
-
Bonjour
André,
:idea: Dans la recherche de doublons, plutot que d'avoir la solution qui est de supprimer le doublon avec le clic droit, ne serait t'il pas possible d'avoir la possibilité de fusionner les individus afin de conserver les infos qui auraient pu être faites sur ces doublons, bien sur dans le cas de doublons avérés :?: :wink:
-
je viens de tester la base 4.059.
Aprés 45minutes, l'ordinateur mouline toujours, bloqué, obligé de sortir par Ctrl-Alt-Sup.
-
Bonjour André,
Je reviens sur mes trucs foireux.
-1- Apparition du dernier conjoint d'un autre dossier
Ceci apparait dans la liste par noms lors d'un ajout de père, mère, conjoint ou enfant.
Cette annotation dans la partie inférieure de cette fenêtre apparaît lorsqu'il n'y a pas de nom et ce pour toutes les lettres de l'alphabet.
Comme j'ai plusieurs dossiers sur la base j'ai pu faire une vérification, je n'ai pas cette situation sur tous les dossiers.
C'est toujours la même personne qui est affichée.
-2- Les noms
Le filtre ajouté par PCM joue un rôle bizarre dans l'histoire. Cela ne va pas dans le bon sens.
-3- Les prénoms
C'est le casse-tête pour reproduire la chose.
Partant d'un dossier vide, sur une nouvelle fiche j'ai créé un individu (nom et prénom seulement et pour tout le monde. Prénom Christian.
Au passage visualisation sur tout les ajouts de cette dernière conjointe.
J'ajoute un conjoint Marie, j'ajoute trois enfants Nicolas, Delphine, Mathilde. Pour ces derniers, il faut rectifier le nom pour le premier.
J'ajoute le père Paul avec toujours ce problème de nom puis j'ajoute la mère Anne.
Sur une nouvelle fiche je crée un autre individu André, visu de la dernière conjointe sur tous les ajouts. J'ajoute un conjoint prénommé Marie.
J'ajoute le père Gaston et enfin j'ajoute la mère: le menu des prénoms ne présente pas Marie.
C'est tordu mais c'est comme cela.
-4- Autres
En cours de route et des nombreux essais, j'ai aussi supprimé des fiches, les prénoms restent dans les menus déroulants. Ce doit être un problème de rafraîchissement.
Dans tous les cas de figure, l'action Enregistrer a été faite deux fois plutôt qu'une.
-
Il n'y a pas péril en la demeure. :wink: Il n'y a pas de mélange entre dossiers comme tes premiers messages le laissaient craindre.
L'apparition du dernier conjoint d'un autre dossier dans le bas du répertoire est probablement un problème de rafraîchissement d'écran.
L'ajout du filtre interdisant de sélectionner l'individu central quand on veut lui adjoindre un parent ou un enfant, part d'une bonne intention. Elle a pour conséquence d'occulter le nom si l'individu est le seul de ce patronyme. Reste à trouver une solution pour garder la sécurité sans la gêne qu'elle occasionne.
Pour le prénom: qu'il ne disparaisse pas de la liste immédiatement si le seul individu qui le porte est supprimé est normal, et je l'avais signalé lors de la création de la b4.056 http://www.ancestrologie.org/forum/index.php?topic=6754.0&start=0Pour remettre une liste des prénoms "unitaires" moins longue à s'afficher, elle est construite uniquement au démarrage d'Ancestrologie ou au changement de dossier, dans une table PRENOMS temporaire. La création d'un individu avec un nouveau prénom vient ajouter ce prénom à la liste, mais il n'y a pas de suppression, sauf par le rafraîchissement au démarrage. Cette liste s'affiche dans la fiche identité ou en saisie rapide quand on veut choisir un prénom Les prénoms nouveaux n'y sont ajoutés que lorsque l'individu est enregistré. Ce qui peut expliquer la non apparition de Marie lors de l'enregistrement de la mère d'André.
A celà s'ajoute le filtre sur les prénoms masculins ou féminins quand le sexe est prédéfini, ignorant les prénoms attribués aux 2 sexes.
A+
André
-
Aprés 45minutes, l'ordinateur mouline toujours, bloqué, obligé de sortir par Ctrl-Alt-Sup.
Bonjour,
Celà me rappelle les blocages lors de la mise au point du calcul de consanguinité, procédure utilisée ici lors du contrôle de parenté.
Pourrais-tu donner quelques caractéristiques de la base, nombre d'individus en particulier. A-t-elle été optimisée avant le calcul?
Ce calcul de parenté est très long. La durée de l'analyse dépend du nombre de doublons présents dans la base. Je regarderai pour en faire une version plus adaptée au contrôle à faire.
A+
André
-
Bonjour André,
Machins foireux...
J'ai pris bonne note de tes explications.
-1-Concernant l'apparition continuelle d'un conjoint (en réalité une conjointe) ceci se produit indistinctement du sexe de la première personne.
Mais je ne suis pas inquiet, c'est une base de travail. Il faudrait toutefois pouvoir y remédier.
-2- Concernant les noms, ce n'est pas dramatique sinon qu'il faut être vigilant car d'habitude tout allait bien. Encore ici une solution sera trouvée pour remédier à cet inconvénient.
-3- Pour ce qui est du prénom, ce n'est pas un problème d'enregistrement. Marie, en terme de prénom, était l'épouse du premier individu saisi dans le dossier.
Marie (une autre) était l'épouse d'André et avait été sélectionnée dans le menu.
Marie la mère, n'a pas trouvé son prénom dans le menu. Cependant le prénom Marie avait été créé une fois, utilisé une autre mais absent pour la mère d'André.
-
Bonjour André,
Mise en oeuvre de la migration vers b4.059 et recherche de doublons.
J'ai lancé l'opération de recherche hier soir, cela a pris environ 2h !!!! (C'est approximatif car je n'ai pas tout suivi mais c'est proche de la réalité) pour une base de 12800 personnes environ (P4, 2.5 GHz et 512 Mo RAM). La base avait été optimisée.
C'est relativement contraignant d'autant que j'ai l'impression que de proche en proche c'est plus long en temps et plus long en doublons et ce même en tenant compte des répétitions.
Je n'ai pas encore fait la manip. Est-ce que le passage en FB2.0 est de nature à arranger quelque chose?
-
Bonsoir,
Pour accélerer le passage par le filtre de la parenté, j'ai créé une procédure PROC_TEST_PARENTE qui devrait être plus rapide que celle qui mesure cette parenté. Les fichiers ont été mis à jour sur mon site et les liens sont toujours dans le premier message de ce fil.
Mais avant d'effectuer des tests, il est important d'optimiser le base de données après sa mise à jour. Sur ma base (près de 3000 individus), l'analyse est passée de 40s avant optimisation, à 7s après.
Je ne peux affirmer que dans ce cas particulier, le passage à Firebird 2.0 accélèrerait le traitement. Le problème de FB1.5, c'est qu'il ne choisit pas toujours le meilleur plan d'exécution de la requête. Dans ce cas particulier, après optimisation il semble correct. Un autre gros intérêt de passer à FB2.0, c'est qu'il possède des fonctions intégrées plus rapides que les appels aux fonctions externes. Mais pour en profiter, il faudra reprogrammer une grosse partie des procédures intégrées de la base, au point que je pense qu'il sera préférable, plutôt que de faire une migration par modification des bases existantes, d'utiliser Mutancestre ou la fonction de transfert intégrée à Ancestrologie, pour transférer les données dans une nouvelle base vide. Il faudra aussi mettre à jour toutes les installations de Firebird embedded, charge à ceux qui utilisent la version serveur de mettre à jour leur installation. Il faudra aussi que des plugins soient mis à jour; je pense en particulier à WebExport qu'Yves n'a pas encore mis à jour malgré http://www.ancestrologie.org/forum/index.php?topic=6543.0 .
Mais pour le moment FB2.0 est toujours en bêta RC5, non validé pour la production.
Marie est un prénom fréquemment attribué aux 2 sexes, c'est sans doûte la raison pour la quelle il n'apparaît ni pour l'un ni pour l'autre... :?
A+
André
-
Bonsoir André,
Marie est un prénom fréquemment attribué aux 2 sexes, c'est sans doûte la raison pour la quelle il n'apparaît ni pour l'un ni pour l'autre... :?
Je suis reparti d'un dossier vide et j'ai fait la même manip en remplaçant Marie par Paulette. C'est du pareil au même. La Paulette a disparu du menu déroulant alors que ce prénom a été créé pour une première épouse, repris dans le menu pour l'épouse d'André mais est absente du menu pour être la mère d'André.
Je fais le même exercice avec le prénom de ton choix.
-
DDdeberdeux a dit
Pourrais-tu donner quelques caractéristiques de la base, nombre d'individus en particulier. A-t-elle été optimisée avant le calcul?
Ce calcul de parenté est très long. La durée de l'analyse dépend du nombre de doublons présents dans la base. Je regarderai pour en faire une version plus adaptée au contrôle à faire.
Fichier de 47104 personnes.
doublons pôtentiels environ 150
Fichier optimisé réguliérement et surtout aprés chaque changement de Base
-Base 4.058 69 pages de doublons (voir mon message précédent)
-Base 4.059 blocage
Cordialement
-
Bonjour André,
Recherche de doublons
Ta dernière formulation semble apporter un gain de temps non négligeable mais tout le monde n'a pas une bête de course qui permette la réalisation de l'opération dans un temps raisonnable.
Il est clair que la taille du dossier joue un rôle important et je comprends jrfloquet avec ses 47000 prétendants à la candidature de l'ordre du doublon.
:arrow: A ce jour, la recherche se fait sur les patronymes précis. Ne serait-ce pas une solution de morceler le dossier en travaillant sur une partie de l'alphabet et éventuellement une seule lettre.
Ce n'est pas une requète personnelle, mais j'ai une base ou un dossier de 13000 personnes environ dont 2300 Facon. Si je savais déjà résoudre la question sur ce patronyme ce serait une bonne avancée.
Je ne pense pas être un cas isolé également pour le point suivant. J'ai des électrons libres (mais ce ne sont pas des orphelins au sens d'Ancestrologie) sans information et décemment je ne me sens pas capable d'indiquer des dates approximatives. Est-ce une solution de pouvoir indiquer quelque part de les tenir à l'écart de la recherche?
Addition: Est-ce que la création du token "inconnu" utilisable dans le champ date serait une solution recevable?
-
Je posséde unP4, 512 Mo de RAM.
A titre indicatif et non polémique :
Traitement pour la recherche des doublonsavec d'autres logiciels
- Geneatique moins de 10 minutes,
- Legacy 05 minutes.
- Heredis, imcapable de trouver une liste concice des doublons, temps plus de 45 minutes.
Ancestrologie peux faire mieux !!!
-
Faut se rappeler qu'Ancestrologie ne mettait que quelques petites secondes il y quelques jours.
çà dépend aussi de ce qu'il y a derrière la recherche de doublons.
-
Fichier de 47104 personnes.
doublons pôtentiels environ 150
Bonjour,
Je commence à comprendre.
J'ai une base dont j'ignore l'origine qui me sert uniquement à tester la durée de certains traitements, elle contient 40000 individus.
J'ai voulu faire un test en lançant hier soir la recherche de doublons. Je l'ai arrêté ce matin après 13 heures de fonctionnement sans être arrivé au résultat. Comme le contrôle de parenté prend beaucoup de temps, j'ai modifié la procédure pour que ce contrôle soit couplé avec la recherche approfondie sur les prénoms. J'ai pu ainsi relancer le test depuis Ancestrologie sans contrôler la parenté. Au bout de peu de temps, le test s'est arrêté avec le message "Mémoire insuffisante" (mon AMD3500+ à 1Go de RAM :( ).
J'ai alors relancé la procédure en direct depuis un requêteur. Elle est arrivée assez rapidement à son terme, mais n'a pu s'afficher car je n'avais pas prévu d'afficher plus de 100000 paires de doublons (le n° qui figure en tête du prénom). J'ai quand même pu vérifier que la table comportait 342151 paires de doublons :shock:
Comme la recherche de parenté prend environ 0.15s par paire de doublons, vous comprenez pourquoi 13h de calculs n'ont pas suffi.
Un nombre considérable de doublons est provoqué par des individus ayant pour seul nom "?" et un prénom vide ou lui aussi "?", évidemment sans aucune date, parfois un conjoint ou des enfants.
J'en déduis qu'il est illusoire de vouloir contrôler la présence de doublons dans des bases où on semble s'être plus soucié de la quantité que de la qualité des informations.
Concernant les performances des autres logiciels, là aussi il serait intéressant de parler de qualité, comme le rappelle Philippe. Il est très simple et rapide de rechercher les doublons sans intégrer des possibilités de variations des prénoms, ni les approximations sur les dates. Mais peut-on dire dans ce cas qu'on obtient la liste des doublons?
J'ai remis en ligne les fichiers de cette b4.059. Le contrôle sur la parenté des doublons potentiels et la recherche approfondie sur les prénoms ne sont effectués que si la case "Elargir la recherche" est cochée. Et "au cas où" la limite du nombre de paires de doublons affichables a été portée à 999999.
A+
André
-
Bonsoir André,
Personnellement je trouve qu'il est dommage de faire marche arrière sur ce que tu avais élaboré.
Le traitement en lui même est correct, c'est la taille du dossier et la qualité du contenu qui sont la cause du délai de recherche des doublons, lorsque la dite recherche a une chance d'aboutir.
C'était la motivation de mon message. Dans mon cas, une machine moyenne et un dossier de 13000 personnes, la dernière méthode d'hier soir prenait 16 à 17 minutes. rien de comparable aux 2 heures de la méthode précédente.
Ce qui me rebute c'est le volume de doublons et la façon d'y apporter un traitement. Il ya le passé mais aussi les nouvelles informations à venir.
Je persiste à croire qu'une base contient des données vérifiées et complètes et des pistes de recherches à vérifier. Sinon, quel serait l'usage des états des actes à trouver, etc...
C'est pourquoi j'avais suggéré de pouvoir ajouter une indication "inconnu" pour une date inexistante, il y a bien des token qui donnent une plage de temps très vaste. Dans mon esprit, les individus gratifiés de la mention date "Inconnu" seraient exclus de la recherche des doublons.
De la même façon, les individus ?, NN, ou autre seraient eux aussi exclus.
Enfin, compte tenu du mode de recherche, je pensais que la recherche limitée à une partie de la base était une manière comme une autre de contourner la difficulté liée à la taille du dossier vis à vis des performances des machines moyennes.
C'était un moyen de se dire, aujourd'hui je m'attaque aux M ou autre pour assainir la situation. Avec le temps il deviendrait possible de faire alors une recherche unique.
Ce qui n'est pas dit non plus dans l'histoire: quel est le temps requis pour la recherche de doublons dans une base idéale et quelle est la capacité machine à posséder pour examiner notamment ta base de 40000 personnes?
-
je vois 2 moyens de s'en sortir :
- pouvoir faire une recherche de doublon sur une chaine (nom ou début de nom, voire seulement la 1er lettre, si rien n'est mentionné, c'est toute la base)
- pouvoir annuler une recherche qui est trop longue
qu'en penses-tu ?
-
Bonsoir,
Il n'y a pas de marche arrière, dans la version que j'ai mis en ligne ci-dessus. Seulement la recherche la plus complète est optionnelle. Cà permet de faire une première analyse qui permettra peut-être d'éliminer des doublons avant de passer à la deuxième plus approfondie. Mais je ne me fais pas d'illusions, qui s'attaquerait à une liste de plus de 1000 doublons?
Dans ces conditions à quoi bon traiter le problème de "mémoire insuffisante" qui arrive quand la fonction est lancée depuis Ancestrologie, et non depuis un requêteur externe, et qu'il y a 342151 paires de doublons dans la base...
Limiter la recherche aux noms commençant par une lettre est effectivement une solution pour limiter le volume.
Quand à annuler une procédure ou une requête en cours, c'est je crois possible sur certains SGBDR comme Oracle, mais pas sur Firebird qui n'est pas encore multi-thread (c'est prévu en version 3, il me semble).
A+
André
-
Bonsoir,
Je ne pense pas que la question me soit destinée, mais encore quelques réflexions:
Je pense qu'il y a une précision recherchée au travers des dates alors qu'il y a une multitude de risques d'erreurs par ailleurs.
J'ai déjà parlé des patronymes, le mien a commencé par être FASCON pour devenir FACON. Le noms plus longs suggérent beaucoup plus de possibilités: DERUMAU, DERUMAUX, DESRUMAUX, DESREUMAUX, etc... Sauf erreur, ces patronymes sont analysés distinctement, il faudrait faire appel à la phonétique pour tenter de résoudre le problème. C'est une autre histoire.
Les dates sont parfois précises, parfois imprécises et de temps en temps inexistantes.
Vouloir faire de la précision avec tout cela est utopique.
Il est clair que la recherche est tributaire de la qualité de l'information malheureusement l'idéal est difficile à atteindre.
:arrow: Une issue serait de faire la recherche sur les patronymes en excluant les ? notamment et en excluant les individus sans information de naissance et de décès.
Le résultat de la recherche indiqurait le nombre d'individus dans le dossier, le nombre d'individus examinés et la liste des doublons.
Ajouté: La liste des individus sans événement donnerait quant à elle un état des lieux sur le travail restant à faire.
A charge à l'utilisateur de faire vivre sa base en la complétant en tant que de besoin et en fonction de la découverte d'éléments supplémentaires.
L'utilisateur aurait aussi le loisir de revoir sa base en complétant les événements à partir des éléments connus, en particulier par l'utilisation des tokens.
Ajouté: La liste des doublons donnent le NIP des individus concernés. Je n'ai pas trouvé, existe-t-il un moyen simple de retrouver l'individu en question par son NIP (Individus/Rechercher...)?
-
Bonjour André,
Recherche de doublons
J'ai testé ta dernière en formule de recherche de doublons. Toujours sur le même dossier de 13000 personnes environ, le temps d'analyse normale après optimisation est devenu de 40 à 60 secondes. A ce rythme il devient envisageable de faire plusieurs analyses (avec le même résultat).
Le résultat n'est pas sympathique car il y a beaucoup trop de doublons, mais mea culpa ce n'est pas la méthode qui est en cause mais la nature des données.
Je reste avec cette idée, à savoir faut-il inclure les individus absolument pas positionnés dans le temps? Est-ce que cela devrait être une option? Cette possibilité montrerait par ailleurs l'impact des individus pas renseignés.
La forte recommandation est de faire une optimisation avant l'analyse, n'est-il pas possible de l'inclure dans la procédure?
-
j'ai voulu tester la 4.059.
en recherche classique sur ma base de test de 4681 individus.
il m'a trouvé 1589 doublons potentiels en 30 s environ.
j'ai voulu cliquer sur le premier, mais ma souris à dérapé et j'ai clique sur l'entête du prénom ==> tri par prénom
or il y a des numéro devant les prénoms, je me rerouve donc avec le prénom 1; 1; puis 10; 10 puis 100; 100; puis 1000; 1000; 1001; 1001...
en tout cas, impossible de retrouver la liste originale avec 1; 1; 2; 2; 3; 3; 4; 4...
c'est pas très grave puisque les binomes sont toujours groupés, mais je le signale quand même
-
Je reste avec cette idée, à savoir faut-il inclure les individus absolument pas positionnés dans le temps? Est-ce que cela devrait être une option? Cette possibilité montrerait par ailleurs l'impact des individus pas renseignés.
C'est un peu que je proposai le 16/11, qui a été rejeté.
-
en recherche élargie, sur la même base, 20 minutes et 3779 doublons.
sur 4681 individus, c'est peut-être beaucoup ! :shock:
enfin, mieux en avoir trop que d'en louper ! :wink:
-
Je reste avec cette idée, à savoir faut-il inclure les individus absolument pas positionnés dans le temps? Est-ce que cela devrait être une option? Cette possibilité montrerait par ailleurs l'impact des individus pas renseignés.
C'est un peu que je proposai le 16/11, qui a été rejeté.
je ne suis pas d'accord !
pour ma part, c'est justement ceux qui ne sont pas positionné dans le temps qui sont les doublons !
tous les autres sont des faux doublons !
-
pour ma part, c'est justement ceux qui ne sont pas positionné dans le temps qui sont les doublons !
tous les autres sont des faux doublons !
Chacun voit en fonction de ce qu'il connait de sa base et des informations qu'elles contiennent. Si je voulais te contredire, je te donnerais deux exemples dans ma base qui sont exactement l'inverse. D'où l'intérêt de rendre cette comparaison optionnelle.
-
j'ai voulu tester la 4.059.
en recherche classique sur ma base de test de 4681 individus.
j'ai voulu cliquer sur le premier, mais ma souris à dérapé et j'ai clique sur l'entête du prénom ==> tri par prénom
or il y a des numéro devant les prénoms, je me rerouve donc avec le prénom 1; 1; puis 10; 10 puis 100; 100; puis 1000; 1000; 1001; 1001...
en tout cas, impossible de retrouver la liste originale avec 1; 1; 2; 2; 3; 3; 4; 4...
c'est pas très grave puisque les binomes sont toujours groupés, mais je le signale quand même
Je pense qu'un export vers Excel doit permettre de rétablir l'ordre. Maintenant, c'est l'affaire d'une trentaine de secondes pour relancer la recherche. :wink:
-
en recherche élargie, sur la même base, 20 minutes et 3779 doublons.
sur 4681 individus, c'est peut-être beaucoup ! :shock:
enfin, mieux en avoir trop que d'en louper ! :wink:
Heureusement que les radars ne fonctionnent pas sur ce principe. :D
-
Bonjour,
Pour être un peu plus sérieux, à partir de l'état des doublons établis par la dernière procédure d'André, je me suis attelé à essayer de régler les patronymes commençant par B.
En mon âme et conscience et lorsque cela était possible j'ai attribué le plus souvent une naissance approximative en utilisant la règle suivante:
- Père ou mère né 20 ans avant la première naissance connue;
- Père ou mère né 20 ans avant la date de l'union si elle est connue. Ou alors une combinaison de ces deux critères;
- Rien si aucun élément pour préciser une date.
Avant la manip j'avais des doublons allant de 3 à 44. Après révision, je suis tombé à des doublons allant de 3 à 25. :D
:arrow: Il y a un progrès sensible mais même des individus peu renseignés restent doublons potentiels en raison des fourchettes appliquées sur les tokens mais je ne vois pas comment faire autrement.
:arrow: Comme l'a dit André, une liste très longue devient dissuasive. Si vous avez des recettes pour compléter les champs vides, je suis preneur. Ainsi, je vais revoir ma position à la petite semaine, j'ai abusé du Vers (toujours sans mauvais jeu de mots) que je vais convertir en Cal lorsqu'il s'agit de dates calculées à partir du mariage par exemple.
-
- Père ou mère né 20 ans avant la première naissance connue;
Bonjour,
Si tu fais le calcul avec le nombre de générations et la naissance de ton sosa le plus ancien, je pense que tu devrais obtenir comme moi, une moyenne entre générations avoisinant 30 ans. Il serait donc préférable de prendre ce nombre, d'autant que la fourchette de +/- 11 ans prise pour "vers" permet justement de préjuger des naissances entre 20 et 40 ans, ce qui me semble le plus probable.
Pour les n° de doublons en début de prénoms, j'ai choisi cette méthode, au moins en période de tests, pour ne pas avoir besoin de modifier spécialement l'exécutable pour l'afficher. Et çà a le mérite de conserver ensembles les doublons, alors qu'un classement par prénoms les séparerait (Jean peut être un doublon de André, Jean si la recherche est étendue). L'inconvénient c'est que 10 se classe entre 1 et 2..., (qu'un export sous excel ne changerait pas).
A+
André
-
Je pense qu'un export vers Excel doit permettre de rétablir l'ordre. Maintenant, c'est l'affaire d'une trentaine de secondes pour relancer la recherche. :wink:
30 s dans ce cas précis, la recherche élargie met 20 minutes !
ceci dit c'est pas vraiment un problème et le numéro est une aide non négligeable au classement des doublons.
laisse comme cela André, c'est déjà très bien.
-
Dans mes derniers messages concernant la b4.057, après avoir fait les versions condensées des fiches individuelles et familiales, je disais que je ne souhaitais pas entretenir de multiples versions de chaque fiche. Le temps nécessaire pour modifier chacune de ces fiches en mode condensé est énorme (pas loin d'une journée de retraité par fiche), et il était plus simple de refaire les fiches non condensées en les dérivant des versions condensées, simplement en mettant les sauts de page conditionnels.
A+ André
Je me permets un intermède dans vos discussions sur les doublons (bien que ce nouveau développement semble fort intéressant !) pour reparler de la fiche individuelle.
Les modifications apportées sont intéressantes dans le sens où l'on peut suivre chronologiquement un ancêtre au travers des évènements individuels.
Là ou le bas blaisse, c'est que si cet ancêtre a, par exemple, beaucoup bougé, on se retrouve avec une fiche individuelle sur 3 pages et un enchaînement d'évènements par forcément facile à lire.
Je voudrais tout d'abord savoir si je suis la seule à avoir ce sentiment ? Ensuite, je me demande s'il ne serait pas possible de sélectionner les évènements que l'on voudrait afficher, comme on peut choisir d'afficher les sosas ou pas ?
-
Bonsoir,
Je ne pense pas qu'il y ait beaucoup de monde à saisir 3 pages d'évènements par individu :shock: Au moins, j'espère que vous ne faîtes pas çà pour chaque individu. Moi qui ait tant de mal à ne retrouver parfois que la naissance :)
Plus sérieusement, permettre la sélection des évènements à imprimer n'est pas chose aisée, car il faudrait que l'interface permette de sélectionner chacun des token (BIRT, DEAT, OCCU, ...) unitairement.
Par contre, vous avez une autre possibilité que je viens de tester, et qui semble marcher correctement. Sélectionnez en "Destination:" Word au lieu de l'imprimante avant de cliquer sur "Lancer:". Celà génère un fichier .rtf qui s'ouvre automatiquement dans Word (ou le logiciel que vous avez défini pour ouvrir les fichiers rtf). Vous pouvez alors supprimer les évènements en trop (et même en ajouter des faux :twisted: ), avant de l'imprimer.
A+
André
-
(et même en ajouter des faux :twisted: )
On a trouvé l'auteur des fausses listes de noms de l'affaire Clearstream
-
Bonsoir,
Je ne pense pas qu'il y ait beaucoup de monde à saisir 3 pages d'évènements par individu :shock: Au moins, j'espère que vous ne faîtes pas çà pour chaque individu. Moi qui ait tant de mal à ne retrouver parfois que la naissance :) A+ André
Cela m'arrive lorsque mon ancêtre a beaucoup déménagé (et ils sont plusieurs dans ce cas !), si en plus, il a eu la bonne idée d'exercer disons 3 professions, les 3 pages sont vite remplies !
Je sais qu'il est possible d'éditer la fiche dans Word, mais dans ce cas, je trouve que nous retournons au point de départ ! :arrow: http://www.ancestrologie.org/forum/index.php?topic=5575.0&highlight=fiche+individuelle
:cry: :cry: :cry:
-
Avec quelle version as-tu fait la mise à jour de ta base? Avec la maj b4.059 ici en test, ma propre fiche individuelle condensée totalisant 16 évènements (avec peu de notes), ne dépasse pas 1 page 1/2 sans les médias.
Pour le reste, je ne pense pas que la suppression de quelques lignes sous word, prenne beaucoup plus de temps qu'imposer de sélectionner tous les tokens à imprimer, et au moins tu as les résultats directement.
A+
André
-
Bonsoir,je rejoins tout à fait le point de vue d'André.
Je viens de reprendre ma fiche personnelle(c'est celle que je connais le mieux :wink: ).
2,5 Pages(sans les médias):
Naissance,Baptême,Mariage,3 enfants,13 adresses différentes,service militaire et "Infarctus",Naissance et Baptême de mon épouse.
Personnellement, je n'ai pas trouvé beaucoup d'ancêtres avec autant de données.
-
2,5 Pages(sans les médias):
Naissance,Baptême,Mariage,3 enfants,13 adresses différentes,service militaire et "Infarctus",Naissance et Baptême de mon épouse.
Bonsoir,
Et là tu parles de la fiche familiale, puisqu'il y a les évènements de ton épouse et les enfants. La fiche individuelle est encore plus courte, mais il n'y a pas les enfants ni l'épouse, par contre les évènements familiaux de toutes les unions doivent y figurer, au milieu des évènements purement individuels (dans l'ordre chronologique).
A+
André
-
Avec quelle version as-tu fait la mise à jour de ta base? Avec la maj b4.059 ici en test, ma propre fiche individuelle condensée totalisant 16 évènements (avec peu de notes), ne dépasse pas 1 page 1/2 sans les médias. A+ André
Je suis en v604 b4.057. Je vais donc attendre la sortie officielle de la 4.059 !
-
Bonjour,
Il n'y a pas de risque particulier à ce que tu fasses cette mise à jour de la base sur une copie de ta base, çà installera les nouveaux états. Le seul inconvénient est que avec la V604, la recherche de doublons ne fonctionnera pas (mais comme elle ne donnait quasiment aucun résultat avant...), il faut la bêta v605 ou v606 pour celà.
Et tu pourras nous dire si les fiches te conviennent mieux. Mais dans ton cas il faudra choisir les fiches dont le nom se termine par "condensée", et dans les paramètres choisir sans médias.
A+
André
-
Bonjour,
Je suis passé en V606 associé à b4.059, les resets ont été faits.
Compte tenu de l'inventaire des modifications, je cherche ce que je peux et j'ai commencé par la question des noms et prénoms qui vont et qui viennent.
Nom et Prénoms
Je suis parti d'un dossier vide dans une base existante, et j'ai saisi trois petites familles.
- Famille 1
Via créer une fiche, j'ai inscrit les nom et prénom du mari;
Sur les quatre ajouts (conjoint, enfant, père, mère), dans la partie inférieure de la Liste par noms j'ai toujours: "son dernier conjoint Nom Prénom NIP 2-xxxxxx" (qui appartient à un autre dossier); :cry:
J'ajoute le conjoint + Enregistrer;
J'ajoute un enfant, la liste par noms se présente vide et comme ci-dessus il y a encore "son dernier conjoint ....", je fais création, la fiche de saisie rapide se présente sans nom, le bon patronyme est dans le menu, j'inscris prénom, sexe et je fais enregistrer.
J'ajoute un autre enfant, cette fois-ci la liste par prénoms est correcte. Je fai création, prénom, sexe et je fais enregistrer.
J'ajoute père et mère c'est ok.
- Famille 2
Via Nouvelle fiche, création du mari.
Ajout de l'épouse, le constat est comme plus haut "son dernier conjoint....",
Je fais création, j'inscris nom et prénom et j'enregistre.
J'ajoute un enfant, c'est le nom de l'épouse qui est présenté dans la liste par noms. Le patronyme du père est absent.
Je fais création, j'inscris nom et je sélectionne un prénom dans le menu, le sexe ne se met pas en ordre automatiquement.
- Famille 3
Même litanie.
Ajout d'un enfant, le nom du père n'est pas présent dans la liste par noms.
Création de l'enfant, le champ nom affiche le nom du père de la famille 2.
Je sélectionne le nom dans le menu, je sélectionne un prénom dans le menu, le sexe ne se met pas à jour.
:cry: :cry: :cry:
Il y a des choses à faire pour retrouver la fluidité de V547 en termes de saisie des noms et prénoms.
Apparemment, il n'y a plus l'absence de prénom constatée en V605.
Que faut-il encore voir?
-
Bonjour,
A ma connaissance, la différence entre la V605 et la V606 concerne la présélection de la liste des prénoms en fonction du sexe dans la fiche de création rapide, quand ce sexe était prédéfini (création d'un conjoint, d'un père ou d'une mère). Auparavant les prénoms déjà attribués aux 2 sexes (comme souvent Marie) étaient ignorés. Maintenant ils apparaissent dans tous les cas.
A+
André
-
Bonjour
V606 b4.059 + resets
Fiche individu dans lieux favoris et dans la recherche des doublons
Les fiches ouvertes sous les lieux favoris ou dans le résultat de la recherche des doublons continuent à être active.
Elles sont modifiables sans marche arrière.
Même si les événements naissance et décès sont créés, les boutons N et D ne sont pas neutalisés.
L'action d'ajouter un événement par le bouton + semble neutraliser la poursuite des opérations.
J'ai aussi appuyé sur le bouton N alors que la naissance existait. La fenêtre qui s'ouvre est grisée mais la naissance vide est créée.
Pour éliminer cette naissance, je suis repassé par le répertoire pour ouvrir la fiche de l'individu, je supprime la naissance vide en question.
Je retourne dans le répertoire, la naissance initialement renseignée et présente dans la fiche n'est plus affichée dans le répertoire. C'était d'ailleurs le cas lors de la recherche de l'individu dans ce même répertoire.
-
Bonjour André
A ma connaissance, la différence entre la V605 et la V606 concerne la présélection de la liste des prénoms en fonction du sexe dans la fiche de création rapide, quand ce sexe était prédéfini (création d'un conjoint, d'un père ou d'une mère). Auparavant les prénoms déjà attribués aux 2 sexes (comme souvent Marie) étaient ignorés. Maintenant ils apparaissent dans tous les cas.
A+
André
Comme indiqué, la question des prénoms semblent résolue. Dans l'exercice de la V605 Paulette était également maltraitée!!!
Il reste la question des noms. C'est sans doute des rafraîchissements à réactiver. Mais là je m'avance, je constate mais après je ne sais pas faire.
Ajouté: L'arrêt - redémarrage d'Ancestrologie ne modifie pas la situation, la date de naissance ne s'affiche pas dans le répertoire.
-
Ajouté: L'arrêt - redémarrage d'Ancestrologie ne modifie pas la situation, la date de naissance ne s'affiche pas dans le répertoire.
Si la date de naissance ne paraît pas, c'est parce qu'en supprimant l'évènement naissance vide, tu l'as effacé. Le système ne prévoit pas, comme la naissance est censée être unique, d'aller voir s'il existe un autre évènement naissance, quand on en efface un. Je ne pense pas utile de traiter le problème par ce biais, il est préférable de supprimer l'origine de l'erreur, la création d'une deuxième naissance. Sur une base réelle, il faut modifier la date, pour qu'elle se réactualise en tête de la fiche Identité et dans le répertoire.
Pour l'apparition de "conjoint..." en bas du répertoire présenté quand tu crées un conjoint ou un enfant, je n'arrive pas à reproduire le défaut. Comme ce répertoire se place systématiquement sur la lettre "A", n'aurais-tu pas un problème dans ta base avec un indi dont le prénom ne serait pas visible et le nom serait A ou commencerait par A, et ayant ce n° de dossier. (voir peut-être par requête select * from individu where dossier= ce n°
A+
André
-
André,
:arrow: Pour la naissance, j'ai supprimé l'événement et reconstitué l'événement. C'est ok et c'est d'ailleurs sans importance, c'est une base de travail.
:arrow: Pour l'autre point, peux-tu donner un peu plus d'explication. Je suis maintenant en test dans le dossier 31 et la personne en question se trouve dans le dossier 19. La liste des noms s'ouvre bien sur le A.
J'ai examiné les divers dossiers. Dans l'un d'eux j'ai fait l'import de deux ou trois gedcoms élaboré par l'outil Desged de Chabaud. De nombreux individus sont désignés ? (pour le nom) et x x (pour le prénom). Est-ce une source de conflit? Je n'ai aucun scrupule pour supprimer ces données, c'était juste pour comparer avec les infos en ma possession.
-
Pour le problème des noms, je crois comprendre ce qui se passe. La sélection d'un enfant passe par le répertoire (titre: Sélection d'un enfant) et doit en principe se placer sur la lettre et le nom du mari. Mais comme il me semble que Philippe a mis un filtre pour qu'il ne soit pas possible de sélectionner l'individu de départ comme étant son enfant, si cet individu est le seul du patronyme, ce patronyme ne s'affiche pas. C'est un autre nom qui est donc sélectionné dans le répertoire, qui peut être celui de la mère s'il commence par la première lettre. Si on fait "création", c'est le patronyme sélectionné qui s'affiche par défaut (j'en ai sélectionné un d'une autre lettre pour vérifier) comme patronyme de l'enfant.
Le problème doit donc venir de ce filtre mis sur l'individu de départ.
A+
André
-
Si dans le BOA tu exécutes la requête
select * from individu where kle_dossier=31n'y a-t-il pas un intru?
Je ne connais pas Desged, mais les ?, xx vont surement poser des problèmes pour la recherche de doublons.
André
-
:arrow: J'ai exécuté la requète, il n'y a pas d'intru. J'étais parti d'un nouveau dossier. Si cela t'intéresse et ne prend pas trop de ton temps, je te passe la base. C'est au moins pour l'explication.
:arrow: Pour ce qui est des doublons, les ? et x x ne sont pas dans le dossier qui m'intéresse.
A l'usage, de nombreux individus pas ou peu renseignés sont des témoins. Je pense également procéder au gré du temps à un grand ménage en reprenant les dates approximatives et en replongeant dans la nuée d'actes pour extirper des détails, ce que je n'ai pas toujours fait.
La recherche normale se fait sur un durée raisonnable, la recherche large ne rentre pas dans mes capacités techniques.
Il y a déjà de quoi faire avec la procédure normale. :wink:
-
André,
Toujours cette histoire d'intru et je n'ai pas eu le bon réflexe. Tu parlais de la lettre A mais ainsi que je l'ai déjà expliqué il y a quelques jours, cela se produit sur toutes les lettres de l'alphabet pour lesquelles il n'y a pas encore eu d'enregistrement.
Il est clair que partant d'un dossier vide c'est plus facile à mettre en évidence.
-
Bonjour
Merci à André pour son travail sur les doublons, cela m’évitera d’aller … ailleurs (visuged, entre autre) pour faire cela.
Petit suggestion, qui pourrait régler les problèmes des inconnus (X, XX, ?, ??, ? .... ), ne pas traiter certaines branches et limiter le temps de traitement.
Permettre de rentrer une liste des patronymes ou patronyme + Prénom voir plus avec un fileur (ex DUPON*) qui NE SERONS PAS pris en compte dans la recherche.
Bob
-
La procédure stockée dans la base qui remonte la liste des doublons, n'est actuellement que partiellement exploitée par Ancestrologie. En plus de la recherche globale sur le dossier elle permettait la recherche des doublons d'un individu.
Je viens de la modifier (et pour celà modifier les fichiers de maj en ligne), pour qu'elle permette également de remonter les doublons d'un patronyme, ou plus exactement du patronyme de l'individu dont on donne le NIP.
Malheureusement ce n'est actuellement exploitable que depuis un requêteur comme le BOA.
Le requête a exécuter est:select * from proc_doublons_find(:DOSSIER,:cle_fiche,:PRENOM_VARIABLE)
Description :remonte la liste des doublons contenus dans le dossier :DOSSIER
Usage :si :CLE_IND=0 tout le dossier est analysé,
si :CLE_IND>0 on recherche les doublons de l'individu.
:PRENOM_VARIABLE=0 impose la similitude complète de la liste des prénoms des individus doublons.
:PRENOM_VARIABLE=1 demande que tous les prénoms de l'un soient contenus dans les prénoms de l'autre.
:PRENOM_VARIABLE=2 et 3 sont similaires respectivement à 0 et 1, mais la recherche s'effectue sur tous les individus du même patronyme que :CLE_IND.
Si çà permet quelques dépannages...
A+
André
-
Bonsoir Christian,
Le mystère de Belphégor la femme fantôme est éclairci.
Elle avait été marié avec un mari complètement nul, de cle_fiche=0.
Ce mariage doit sans doûte dater, ou plutôt a été enregistré en novembre 2005, avec son premier enfant. Il est possible que le père actuel n'ait été enregistré que plus tard, mais dans ce cas l'union avec 0 aurait dû être supprimée. C'était parmi les anomalies de la base qui ont été rectifiées depuis.
La fonction du BOA "Mises à jour de masses"/"Incohérences de la base" permet de retrouver puis de supprimer cette anomalie.
La raison de son apparition dans le bas du répertoire se trouve sans doûte dans la requête de Philippe, recherche-t-il le conjoint de l'individu 0 quand il n'y a pas d'individu dans le répertoire?
L'énigme est résolue. Au tour d'Agata Christie pour ce soir.
A+
André
-
Bonsoir André,
Le mystère de Belphégor la femme fantôme est éclairci.
Elle avait été marié avec un mari complètement nul,
Toujours super dans la recherche mais comment vais-je lui annoncer qu'elle s'est mariée avec un mari complètement nul?
Est-ce que tu peux continuer à chercher pour savoir si j'ai mes chances? :D
-
Est-ce que tu peux continuer à chercher pour savoir si j'ai mes chances?
T'es foutu, elle en a un autre.
Bonne nuit
quand même
André
-
Bonjour André,
La procédure stockée dans la base qui remonte la liste des doublons, n'est actuellement que partiellement exploitée par Ancestrologie. En plus de la recherche globale sur le dossier elle permettait la recherche des doublons d'un individu.
Je viens de la modifier (et pour celà modifier les fichiers de maj en ligne), pour qu'elle permette également de remonter les doublons d'un patronyme, ou plus exactement du patronyme de l'individu dont on donne le NIP.
Malheureusement ce n'est actuellement exploitable que depuis un requêteur comme le BOA.
Le requête a exécuter est:select * from proc_doublons_find(:DOSSIER,:cle_fiche,:PRENOM_VARIABLE)
Description :remonte la liste des doublons contenus dans le dossier :DOSSIER
Usage :si :CLE_IND=0 tout le dossier est analysé,
si :CLE_IND>0 on recherche les doublons de l'individu.
:PRENOM_VARIABLE=0 impose la similitude complète de la liste des prénoms des individus doublons.
:PRENOM_VARIABLE=1 demande que tous les prénoms de l'un soient contenus dans les prénoms de l'autre.
:PRENOM_VARIABLE=2 et 3 sont similaires respectivement à 0 et 1, mais la recherche s'effectue sur tous les individus du même patronyme que :CLE_IND.
J'ai essayé la requète, toutefois j'obtiens le message d'erreur suivant:
Dynamic SQL Error
SQL Error Code = -104
Token unknown - line 3, char 13 ?
Peux-tu également confirmer l'emplacement où indiquer le numéro de dossier?
Désolé, je suis un simple ignare dans ce domaine.
-
Bonjour,
Un exemple est peut-être plus clairselect * from proc_doublons_find(1,505,3)montre la liste des doublons contenus dans le dossier n° 1, ayant le même patronyme que l'individu de CLE_FICHE 505, en activant la recherche approfondie (sur les prénoms et sans les individus ayant un ancêtre commun).
Les paramètres PRENOM_VARIABLE 2 et 3 ne sont disponibles que depuis la version mise en ligne hier vers 19h.
A+
André
-
Ok, c'est vu
Merci
-
Je change de sujet pour rappeller (ou signaler) une anomalie génante apparue lors d'une des dernières versions. Si on crée un père ou un enfant avec l'option création avant on nous proposait par défaut le nom de l'enfant pour le nom du père ou le nom du père pour l'enfant maintenant le nom proposé est décalé par exemple MORINAIS au lieu de MORIN. Cela est génant car si on oublie de corriger par habitude on se retrouve avec un faux nom
-
Bonjour,
Je pense en avoir donné la raison là, http://www.ancestrologie.org/forum/index.php?topic=6818.0&postdays=0&postorder=asc&start=117
A+
André
-
Ta remarque est pertinente mais peut-être insuffisante. Voilà exactement ce que j'observe:
1) Dans la liste des noms j'ai
- Morin avec plusieurs individus et prénoms
- Angélique
- Anne
- ....
- René
- Morin du Planty
- Morinais
2) Je veux créer un enfant à René Morin
La fenêtre s'ouvre sur Morinais alors que le premier des Morin de la liste n'est pas le futur père et qu'il y a un nom entre Morin et Morinais
-
Bonjour,
N'est-ce pas un problème similaire à celui signalé ici?
http://www.ancestrologie.org/forum/index.php?topic=6754.0&postdays=0&postorder=asc&start=75&sid=31fbd2d038215095fe628f395cabb45f
-
Bonjour,
Ta remarque Christian, concerne le répertoire quand il n'y a pas de regroupement par nom; ce n'est pas le cas ici.
Mais le cas de Pierre peut s'expliquer par le filtre sur le sexe.
Quand il recherche le père de René Morin, il cherche un individu de sexe masculin de patronyme Morin. Dans ce patronyme il est le seul, donc il ne peut pas être sélectionné.
En Morin du Planty, sans doûte n'y a-t-il que des femmes.
Le curseur s'arrête sur Morinais car c'est le premier patronyme où il y a des hommes dans les M.
Pierre peut-il confirmer?
A+
André
-
Entre Angélique, Anne et ... René j'ai d'autres personnes de sexe masculin (et de touter façon si je veux créer un enfant il peut être féminin ou masculin) ; le filtre dont André parle sur le sexe ne devrait éventuellement intervenir que dans le cas de la création du père
-
Bonsoir,
Pour ne pas les perdre de vue, il y a toujours les points suivants pour lesquels la solution n'a pas été apportée:
Fiche de saisie rapide
:arrow: Il n'y a plus l'indication de la date en rouge en cas d'anomalie de saisie. Cette date devenant noire lorsque la situation est correcte ou a été rétablie.
:arrow: La question de la saisie des prénoms qui revient régulièrement, accompagnée de la sélection automatique du sexe lorsque le prénom est connu.
Sauvegarde/Restauration de base
:arrow: La question a été posée de clarifier ce point par un changement de libellé pour éviter la confusion avec la fonction Restore. La sauvegarde fonctionne correctement, le point dénommé Restauration de base (en fait la recopie d'une base sauvegardée dans le répertoire \Database) ne fonctionne pas.
Ajouté le 30 novembre 2006
Fiche individu dans lieux favoris et dans la recherche des doublons
:arrow: Les fiches ouvertes sous les lieux favoris ou dans le résultat de la recherche des doublons continuent à être active.
Elles sont modifiables sans marche arrière.
Même si les événements naissance et décès sont créés, les boutons N et D ne sont pas neutalisés.
Réinitialisations - Resets
:arrow: Il est acquis que les resets sont à faire systématiquement à l'occasion d'un changement de version d'Ancestrologie.
Il y a deux resets à faire:
- la réinitialisation de la barre d'outils,
- la réinitialisation de la position des fenêtres.
Cette dernière opération doit être suivie d'un redémarrage d'Ancestrologie pour valider les resets.
Dans ces conditions pourquoi ne pas réunir les deux opérations en une seule et compte tenu du caractère systématique, pourquoi ne pas afficher une fenêtre (à la suite d'un changement de version) demandant à l'utilisateur de redémarrer Ancestrologie pour entériner la nouvelle version.
Sans que l'utilisateur ait à intervenir, ce choix gérerait le tout: les resets seraient faits et l'application stoppée puis redémarrée.
Fiche de saisie rapide
:arrow: Sélection d'un nom dans le menu déroulant
Nom absent dans le menu - Commentaire d'André
Pour le problème des noms, je crois comprendre ce qui se passe. La sélection d'un enfant passe par le répertoire (titre: Sélection d'un enfant) et doit en principe se placer sur la lettre et le nom du mari. Mais comme il me semble que Philippe a mis un filtre pour qu'il ne soit pas possible de sélectionner l'individu de départ comme étant son enfant, si cet individu est le seul du patronyme, ce patronyme ne s'affiche pas. C'est un autre nom qui est donc sélectionné dans le répertoire, qui peut être celui de la mère s'il commence par la première lettre. Si on fait "création", c'est le patronyme sélectionné qui s'affiche par défaut (j'en ai sélectionné un d'une autre lettre pour vérifier) comme patronyme de l'enfant.
Le problème doit donc venir de ce filtre mis sur l'individu de départ.
Ajouté le 7 décembre 2006
Bloc-notes
:arrow: Bonsoir,
Je suis en V604 Bd 4.057,
Je rentre des infos dans le bloc note et que je ferme ancestrologie, à la réouvertures, les dites infos ont disparues sauf les anciennes notes entrées avec las versions précédentes.
Ai-je fais une mauvaise manip ?
Par ailleurs j'aimerais que ce bloc note soit un peu plus étoffé, genre mini traitement de texte.
Non, il n'y a pas de mauvaise manipulation. Dans un bloc notes vide, après arrêt et redémarrage on ne retrouve que le texte: "Ceci est un pense bête, vous pouvez taper autant de texte que vous voulez."
C'est une anomalie à corriger.
-
Bonjour,
Evolution de cette mise à jour de la base, sans en modifier l'indice.
La procédure utilisée par les documents fiches individuelles et familiales, et ces documents ont été modifiés pour intégrer les naissances de ses enfants dans la liste des évènements d'un individu.
Inconvénient passagé, je l'espère, en attendant que Philippe puisse modifiée le pipeline de la fiche familiale, dans cette fiche et si la case "enfants de tous les conjoints" est cochée, ces naissances apparaissent dans la liste des évènements de l'individu, en redondance avec la liste des naissances.
Bons tests
André
-
Bonjour André,
Je reviens sur la recherche des doublons et sur une liste fort utile: "Qui porte ce prénom.....".
Il ne fait pas de doute que l'écriture des prénoms est importante également dans la recherche des doublons et, dans ma campagne de ménage et de remise en ordre j'ai regardé cet aspect.
Dans cette liste des prénoms, on y trouve notamment des doublons lorsque le même prénom a été attribué indistinctement à des hommes ou à des femmes. Le cas typique est Joseph et il y en a d'autres.
:arrow: Je pensais que la sélection de l'un sortait tous les hommes porteurs de ce prénom et même chose pour les femmes.
En réalité les deux prénoms identiques sortent deux listes identiques hommes et femmes mélangées. Est-ce bien l'esprit de ce module?
:arrow: Par ailleurs, est-ce que la recherche des doublons est sensible aux accents?
:arrow: Il m'arrive de saisir un prénom entre parenthèses, je suis peut-être un cas isolé. La liste des prénoms indique les parenthèses ou autres symboles. Est-il possible de prendre des dispositions pour éviter cette situation? Je suppose que les prénoms entre parenthèse sont pris en considération lors de la recherche des doublons.
:arrow: Au passage, dans la liste "Qui porte ce prénom ....", l'ouverture de la fiche d'un individu ferme la liste et retourne vers la fiche identité avec toutes ses commandes. C'est encore une autre approche, acceptable lorsque l'ouverture de la liste est rapide.
:arrow: Y aurait-il un intérêt à intégrer une liste de prénoms (enrichissable) dans Ancestrologie au même titre qu'il y a une liste des lieux?
-
Bonsoir,
Pas toujours facile de te répondre Christian, car je n'ai pas les sources d'Ancestro et le logiciel peut faire directement des requêtes sur les tables, ou utiliser les procédures stockées en faisant un tri sur leurs résultats.
En la circonstance, je pense que la présence en double des prénoms dans la liste déroulante "Quel prénom?" est une erreur. Donc il est normal que le choix d'un prénom ne ramène qu'une seule liste contenant éventuellement les deux sexes.
La procédure qui génère les prénoms séparés PROC_LISTE_PRENOM, ne prend en compte que la virgule et l'espace comme séparateurs. Les autres caractères sont donc considérés comme faisant partie du prénom. Mais pourquoi mets-tu des prénoms entre parenthèses?
Les ajouter comme séparateur est faisable mais non paramètrable simplement.
Dans la recherche des doublons, je compare la liste des prénoms des 2 individus, tels qu'ils sortent de la procédure ci-dessus. Rendre cette comparaison insensible à la casse et aux accents est possible, mais sûrement un peu plus longue. Il faudra essayer.
Depuis la b4.057, il y a une table PRENOMS qui est créée à l'ouverture d'ancestro sur un dossier et à chaque changement de dossier. Au cours de la session dans le même dossier, cette table est complètée si un nouveau prénom est créé, mais le prénom qui disparait n'est pas supprimé parce que celà exigerait qu'a chaque modification du prénom d'un individu, on aille vérifier si l'ancien prénom n'est pas porté par quelqu'un d'autre avant de la supprimer, ce qui serait trop long. Cette table a d'ailleur été créée pour éviter l'exécution de PROC_LISTE_PRENOM trop longue à chaque fois que l'on crée ou modifie un individu.
Mais pour "Qui porte ce prénom" on est obligé d'utiliser la procédure pour avoir la vrai liste des prénoms.
Pour info, la liste des lieux favoris n'est pas une table. C'est le résultat d'une procédure qui liste tous les lieux utilisés dans les évènements et les domiciles.
A+
André
-
Bonjour André,
Merci pour les explications
Pour ma part je ne sollicite pas de modification. Si un prénom apparaît deux fois dans la fonction "Qui porte ce prénom ...", ce n'est pas bien gênant. De mémoire je pensais que le tri se faisait sur homme/femme et que cela, ainsi que tu l'avais souligné tout au début, permettait notamment de s'apercevoir des anomalies. Il est toujours possible de les voir aujourd'hui.
Ces dernières (chez moi) concernent principalement les accents ou encore l'orthographe de certains prénoms peu ou plus usités de nos jours et pour lesquels à 6 mois d'intervalle je n'ai pas forcément la bonne inspiration.
:arrow: L'utilisation des parenthèses est liée à certaines incertitudes ou difficultés de lecture de certais actes. Ainsi dans la liste qui porte .... j'ai ou j'avais des (André) ..... J'ai modifié la saisie en ( André ) ce qui me donne dans la liste des ( ou des ) différenciées d'ailleurs selon que l'origine est M ou F.
Ce n'est peut-être pas la bonne méthode mais comme toi, et sans doute plus, je suis une bizuth en généalogie.
J'utilise la même méthode sur les noms avec sûrement les mêmes inconvénients.
:arrow: Pour ce qui est de la recherche des doublons, il est acquis également que les prénoms Michèle et Michéle sont différents, .... Ceci relativise un peu les résultats de cette recherche de doublons et la seule recommandation que je pourrais faire et de jeter on oeil sur ces aspects avant de tirer des conclusions trop hatives. Enfin, comment saisir les noms et prénoms: comme sur l'acte de naissance, celui de mariage ou peut-être celui du décès. Je pense que la naissance est plus juste, par la suite ce sont des erreurs; ou alors faut-il les saisir (les prénoms) selon l'orthographe en vigueur aujourd'hui?
-
Enfin, comment saisir les noms et prénoms: comme sur l'acte de naissance, celui de mariage ou peut-être celui du décès. Je pense que la naissance est plus juste, par la suite ce sont des erreurs; ou alors faut-il les saisir (les prénoms) selon l'orthographe en vigueur aujourd'hui?
Bonjour,
Bien que ce ne soit pas le bon forum pour traiter ce genre de questions, il y a le même problème pour les noms de famille.
Pour ma part, pour le nom de famille, je garde celui qui est usité actuellement avec des remarques dans les notes : orthographié XXX sur acte de ... Pour les prénoms, je considère que l'orthographe de l'acte de naissance est la bonne et je mets une remarque dans les notes pour les actres actes
-
Chez nous, dans le Nord frontalier avec la Belgique flamande, nous avons encore plus compliqué. Nous avons des ancêtres nés en Flandres, avec un prénom flamand, qui a été francisé lorsqu'il a émigré en France. Et ensuite, c'est le prénom français qui a été utilisé partout. Encore vu ce matin : un né Pieter, marié à Roubaix sous le prénom Pierre.
C'était il y a 150 ans, mais j'ai un exemple contemporain d'un italien marié à une française, que tout le monde appelle de son prénom francisé.