Sujet: Temps import GEDCOM et gestion des doublons

[Facon]

Bonsoir,
Pour tenter d'avancer un peu plus dans cet exercice d'import gedcom, j'ai procédé à deux essais, toujours au travers du gedcom lorg.ged pour le quel il n'est plus nécessaire de rappeler le contenu. Pour mémoire, ce gedcom fait un peu plus de 11 Mo.

Ces essais ont été conduits sur une machine d'essai de faible performance: PIII, 1 GHz, 256 Mo SDRAM. C'est une machine sur laquelle l'application Ancestrologie a été installée et désinstallée des dizaines de fois mais elle est bien suffisante pour commencer à y voir quelquechose.

Les deux essais ont consisté à importer le gedcom lorg.ged sur Ancestrologie v763 b5.044 (base vide) et sur Hérédis 9.2 en version évaluation.

Hérédis 9.2
L'import a été réalisé au travers de la commande Ouvrir, Gedcom, dans la configuration standard, le seul réglage en cours de route a été de faire prendre les indications Fr (France) dans la catégorie Pays.
Du début de l'opération à la fin du chargement et finalement l'ouverture de la généalogie Lorg.hr9, il s'est écoulé en tout 1h15min. Le rapport Lorg.log indique quant à lui un temps de conversion de 54min58sec.

Ancestrologie v763
L'import a été réalisé dans les conditions standards avec la même remarque que ci-dessus en ce qui concerne le Pays.
Du début de l'opération à la fin de l'import il s'est écoulé 38min54sec. Il a fallu quelques secondes de plus pour voir apparaître la généalogie.

  Le chargement sur Ancestrologie a pris approximativement 50% du temps nécessaire pour Hérédis.

Dans des conditions similaires, l'import de ce gedcom dans Ancestrologie sur une machine un peu plus puissante (2.6 GHz, 512 Mo RAM) avait pris entre 12 et 16 minutes.
On voit bien l'impact des performances du PC

Je compte faire un export gedcom depuis Hérédis pour pouvoir importer ce gedcom dans Ancestrologie.
Dormez bien. 

[bhochedez]

Bonjour Christian,

Tous mes tests ont été effectués sous Windows XP Pro et IE7, processeur AMD Athlon XP 2600 + (1,92 GHz) et 512 Mo de SDRAM. Deux DD de 80 Go.

Il est vrai qu’un import sous Heredis peut être long mais il y a création de la base alors que pour Ancestrologie elle est déjà pré formatée.

J’ai fait l’impasse sur Heredis et créé deux GEDCOM avec deux logiciels différents, mais cela n’a rien changé au temps d’import.

BASGEN98 et VISUGED fonctionnent aussi sur le principe de la BDD.

Dans le premier cas un import de 65.316 individus, plus contrôle de cohérence et compactage a duré 6 minutes et 3 pour la création de pages Web (1196 fichiers)

Dans le second cas avec le même GEDCOM, 8 minutes.

La question à laquelle personne n’a répondu à ce jour est de savoir pourquoi avec une version antérieure d’Ancestrologie et sur la même machine le temps d’import total était inférieur à 30 minutes.

Seul le concepteur peut dire ce qui a changé entre les différentes versions, car visiblement c’est au niveau de la gestion de la BDD qu’il y a un problème lorsque qu’on arrive à 99 % en 14 minutes puis à la fin 1 H 10 plus tard.

Voici donc matière à faire fonctionner les neurones.

Bon dimanche.

Bruno


 

[Ancestrologie]

BDD qu’il y a un problème lorsque qu’on arrive à 99 % en 14 minutes puis à la fin 1 H 10 plus tard.

Non il n'y a pas de probleme, c'est la gestion des medias qui est longue, et que est différente des verion précédentes car les medias sont tous redimensionnés pour ne pas trop gonfler la base

Mais je vais essayer d'améliorer ca

[DDdeBerdeux]

Oui mais:

Informations du dossier courant :

Images/Documents 0

Ce n'est donc pas l'importation des médias qui est la cause, il n'en a pas!
Quand la progression affiche 99% les insertions dans les tables suivantes se déroulent dans l'ordre:
individu, adresses_ind, multimedia, media_pointeurs, evenements_ind, sources_record, evenements_fam, t_union et t_associations.
Puis est exécutée (inutilement) PROC_AFTER_IMPORT.
Dans la version 763, il me semble que la progression affiche alors 100%.
Vient ensuite la mise à jour des médias, opération effectivement longue, quand il y a des médias.
Et pour finir la validation ou commit final.
Il serait intéressant que bhochedez nous donne la répartition du temps passé à 99% et à 100%.
A+
André

[bhochedez]

Bonsoir André,

Effectivement, je n'ai aucun Média.

Pour l'import d'un fichier de 65.316 individus dans Ancestrologie, 14 minutes jusque 99 % puis ensuite 1 H 10 jusqu'au message de fin d'import.

Suite à de nombreux tests, j'ai constaté la chose suivante, après import dans un fichier vide, nous obtenons une taille de BDD qui se réduit de 25 à 30 % environ après optimisation.

Ce n'est bien sur qu'une hypothèse, mais n'y aurait-il pas des champs inutiles et vides générés lors de l'import initial.

Amicales salutations du Pas-de-Calais.

Bruno H.   

[Facon]

Bonsoir Bruno,
Toute la question est de savoir si tu es parti d'une base vide ou d'une base vidée.

Toujours le gedcom Lorg: après importation dans une base vide (de fabrication), la base a une taille de 47216 Ko. Une optimisation ramène cette taille à 42204 Ko.

Comme l'a indiqué par ailleurs Philippe, une base de 40000 Ko vidée de son contenu, conserve sa taille. Un optimisation remettra tout en ordre.
De même l'import d'un gedcom dans un nouveau dossier d'une base peut se traduire après optimisation par une cure d'amaigrissement mais qui prendra en compte tous les dossiers.

Toutefois ton commentaire est intéressant et mérite d'être analysé.

[bhochedez]

Bonsoir Christian,

J’entends par base vide, la BDD créée lors de l’installation de Ancestrologie, vidée des généalogies célèbres et optimisée.

Ce fichier a été sauvegardé sur un second disque dur et je peux ainsi l’utiliser autant de fois que je le souhaite sans autre manipulation que de remplacer la BDD en cours.

Lors du dernier test effectué, le gain en taille a été de 21 % après optimisation, c’est beaucoup et c’est pourquoi j’ai pensé à des champs qui seraient générés inutilement.

Je précise bien qu’à chaque test je suis reparti avec la base vide sauvegardée.

Bonne nuit.

Bruno H.

   

[DDdeBerdeux]

Bonsoir,
Une question pour Bruno Hochedez.
Quelles sont les options qu'il a cochées qui doivent s'exécuter à la fin de l'importation?
Je pense en particulier au calcul de consanguinité. Sa durée peut varier dans des proportions très importantes selon que la base a été optimisée récemment ou non et selon le nombre de niveaux pris en compte pour le calcul. Sur ma base de 3000 individus, en prenant en compte 10 niveaux, il varie ainsi de 8s sur la base fraîchement optimisée, à plusieurs minutes. D'ailleurs Philippe va supprimer cette option du menu d'importation gedcom, car la base devrait être optimisée avant de lancer le calcul (depuis le menu Outils).
A+
André

[bhochedez]

Bonjour André,

J'ai déjà anticipé sur ce que souhaite faire Philippe, aussi je n'ai jamais lancé le calcul de consanguinité à la fin de l'import. Il est en effet souhaitable de faire d'abord l'optimisation.

Cette question ne résoud néanmoins pas le temps important de l'import.

Au plaisir.

Bruno Hochedez