Auteur Sujet: Corrections et améliorations des procedures stockées  (Lu 9774 fois)

plus minus reset

0 Membres et 1 Invité sur ce sujet

Hors ligne Roger 1

  • AncestroExpert
  • *****
  • Messages: 627
Corrections et améliorations des procedures stockées
« Réponse #19 de la page précédente: 28 Octobre 2005 à 15:04:41 »
DESTRUCTEUR DE FORETS,

Certes non,la forêt c'est comme la généalogie.

C'est sur les anciennes pousses, que nait l'avenir.
 

Hors ligne Charlet

  • AncestroGrandMaitre
  • *******
  • Messages: 3 081
    • http://genealogiecharletleclercq.blogspirit.com/
Corrections et améliorations des procedures stockées
« Réponse #20 le: 28 Octobre 2005 à 15:19:40 »
: "André"
laisse moi un peu de temps  pour le récupérer dans les métadatas (et puis il y a du bois à rentrer, une voiture à réparer... :wink: )


Et je l'espère les archives départementales à consulter... :wink:
Cordialement Roger
 

Hors ligne DDdeBerdeux

  • AncestroGrandMaitre
  • *******
  • Messages: 3 244
  • Remercié: 2 fois !
Corrections et améliorations des procedures stockées
« Réponse #21 le: 28 Octobre 2005 à 23:33:50 »
C'est çà, vous vous absentez quelques heures, le temps d'abattre une forêt, et vous retrouvez une tonne de messages à lire. On voit bien que certains ignorent le prix du fuel. D'autre part, mamy garde les petits enfants et mes fils aînés, à bientôt 35 ans, çà fait longtemps qu'ils ne sont plus là. Et si j'ai choisi Ancestrologie, entre autres qualités, c'est parce qu'il me permettait d'allier 2 de mes hobbies, l'informatique et la généalogie. Donc je n'oublie pas la généalogie et je ne manquerai pas de "taper" Charlet quand je voudrai confirmer ma généalogie nordiste (mon père était schtimi et sa famille originaire de Neuvilly).

Très content aussi de vous voir sur ce forum, je commençais à m'y sentir bien seul. :wink:

Et puis j'ai pris le temps de faire des tests pour "charger la mule".

Mule utilisée: Athlon 64 3500+, 1Go de RAM. Antivirus et pare-feu activés sans exclure les fichiers .BDD de l'analyse, aucune optimisation de Firebird (paramètres d'allocation mémoire de l'installation par défaut).

Ma base de départ: 2238 individus dont 882 ont déjà une cle fixe unique (doublons précédemment éliminés), 223 images intégrées. Je l'ai exportée en gedcom, puis j'ai réimportée 6 fois de suite pour avoir une base 7 fois plus importante soit 15666 individus dont 6174 avec clé fixe uniques (j'ai appliqué à ma base toutes les solutions proposées) et 1561 images. J'en ai exporté le nouveau gedcom (que j'ai évidemment appelé 7FAMILLES.ged).

J'ai repris ma base vide et j'ai importé cette base vide (avec les images). Durée de l'opération, près de 11mn 57s.

A partir de la base standard récupérée sur le site ancestrologie.org, mise à niveau de version par ancestrologie et vidée. Durée de l'opération: 5mn 8s. Par contre, j'ai retrouvé un doublon de cle_fixe dans cette base, ce qui me laisse perplexe. J'ai vérifié qu'il n'y en a pas dans le gedcom. J'ai recommencé l'opération; même doublon! Il y a une cle_fixe de plus (6175), attribuée à un individu qui n'en avait pas. Particularité: le NIP attribué à cet individu est égal à la cle_fixe. N'y aurait-il pas une autre "coucouille" comme dit Philippe que j'aurai corrigée par hasard? Mystère :?:

Les 6mn 50s de plus sont donc uniquement le temps mis pour vérifier que dans les 6174 cle_fixe importées, il n'y a pas de doublons.

Un raisonnement mathématique que je ne vais pas développer ici, démontre qu'avec la méthode de calcul de la clé proposée, le temps croit proportionnellement au carré du nombre de clés déjà attribuées. Lors des imports successifs du même gedcom que j'ai du effectuer pour obtenir le gedcom de 15666 individus, je réimportais à chaque fois 882 doublons que la base devait recalculer. Lors de la dernière importation, lorsqu'il y avait donc déjà environ 6000 clés affectées, le temps de calcul d'une nouvelle clé prenait environ 0,4s.

C'est à mon avis beaucoup moins que le temps mis à retrouver ces doublons et à les corriger. Qu'en pensez-vous :?:

Par contre si quelqu'un avait une idée d'un test plus rapide que par le COUNT(CLE_FIXE)? qui donnerait un résultat sans avoir besoin de balayer toute la table.

Comme j'ai constaté que lors de l'import gedcom, ancestrologie n'attribuait pas (sauf erreur :wink: ) la CLE_FIXE, n'y aurait-il pas un intérêt à ce que je le fasse automatiquement dans le trigger before insert?

Espérant ne pas vous avoir assommés,

Bonsoir, A+

André

PS: pour les métadatas, on verra demain, il fait nuit depuis longtemps ici.
Une application pleinement satisfaisante est toujours complétée par une mise à jour buggée. (Loi des Mises à Jour)
 

Hors ligne Ancestrologie

  • AncestroGrandMaitre
  • *******
  • Messages: 5 083
  • Remercié: 3 fois !
    • Ancestrologie
  • Programme: 1995
  • Base: 5.130
  • Système: Windows 8
Corrections et améliorations des procedures stockées
« Réponse #22 le: 28 Octobre 2005 à 23:42:21 »
pour les métadatas, on verra demain




prends ton temps,



Bien pour les tests
Ancestrologie développé par   PCM sous // Desktop sur Mac Book Pro - 2.4ghz*2 - 4Go Ram - OSX 10.8 - DD : 200 giga - DD ext 500 gigas
 

Hors ligne Bruno T.

  • Administrateur
  • AncestroGrandMaitre
  • *****
  • Messages: 4 553
  • Remercié: 52 fois !
    • Notre Généalogie
  • Programme: 1997.1.3 - dev: 2017.1998
  • Base: 5.131 emb/serv
  • Système: w7/w8.1/w10x64 - VirtualXP32
Corrections et améliorations des procedures stockées
« Réponse #23 le: 28 Octobre 2005 à 23:49:13 »
Je n'ai pas vérifier, mais j'ai ces 2 Proc qui trainent, si vous les avez déja recenser tres bien, sinon faudra pas les oubliées



http://msbt.free.fr/ancestro/autres/PROC_TROUVE_UNIONS.sp

http://msbt.free.fr/ancestro/autres/PROC_ACTES_A_TROUVER_FAMILLES.sp



qui concernent: http://msbt.free.fr/ancestro/autres/memo_modif_encours_base%203.57



Merci  :wink:
Téléchargez des images supplémentaires pour Ancestr'Arbres Images au choix enrichissez en ajoutant les votres
A+    Bruno
                                                                                               
 

Hors ligne Ancestrologie

  • AncestroGrandMaitre
  • *******
  • Messages: 5 083
  • Remercié: 3 fois !
    • Ancestrologie
  • Programme: 1995
  • Base: 5.130
  • Système: Windows 8
Corrections et améliorations des procedures stockées
« Réponse #24 le: 28 Octobre 2005 à 23:53:29 »
André



as tu recu mes mails ?
Ancestrologie développé par   PCM sous // Desktop sur Mac Book Pro - 2.4ghz*2 - 4Go Ram - OSX 10.8 - DD : 200 giga - DD ext 500 gigas
 

Hors ligne DDdeBerdeux

  • AncestroGrandMaitre
  • *******
  • Messages: 3 244
  • Remercié: 2 fois !
Corrections et améliorations des procedures stockées
« Réponse #25 le: 29 Octobre 2005 à 00:21:48 »
: "macpc"
Je n'ai pas vérifier, mais j'ai ces 2 Proc qui trainent, si vous les avez déja recenser tres bien, sinon faudra pas les oubliées

http://msbt.free.fr/ancestro/autres/PROC_TROUVE_UNIONS.sp

http://msbt.free.fr/ancestro/autres/PROC_ACTES_A_TROUVER_FAMILLES.sp

Il me semble qu'elles sont prises en compte avec des solutions presque identiques (sans le savoir), par des messages dans ce fil.

le 17 septembre: PROC_TROUVE_UNIONS, en plus la procédure est "bisexuée" et prend en compte la première date d'un évènement familial (date exacte si elle existe, sinon année).

le 20 septembre: PROC_ACTES_A_TROUVER, DEJA_TROUVES et RAZ pour retrouver une complète symétrie entre homme et femme.



Bonne nuit

André

PS pour Philippe: je n'ai reçu qu'un email. Merci

Réédition: 2ième reçu le lendemain
Une application pleinement satisfaisante est toujours complétée par une mise à jour buggée. (Loi des Mises à Jour)
 

Hors ligne DDdeBerdeux

  • AncestroGrandMaitre
  • *******
  • Messages: 3 244
  • Remercié: 2 fois !
Corrections et améliorations des procedures stockées
« Réponse #26 le: 31 Octobre 2005 à 15:53:06 »
Cà y est, je pense avoir trouvé une solution qui vérifie les CLE_FIXE et les modifient si nécessaire lors de l'importation d'un gedcom, sans perdre trop de temps. J'ai mis à jour en conséquence mon message du 28 octobre 9:43 (ancienne heure). L'importation d'un gedcom de 15666 individus dont 6174 avec CLE_FIXE et pas mal de médias prend 5mn08 avec la base originale et 5mn28 avec la base modifiée. 20s pour être sûr qu'il n'y a pas de doublons, çà n'est pas cher payé, comparé au temps passé pour les éliminer!

En fin de compte j'ai mis le contrôle dans 2 nouveaux triggers. Cà permettra à Philippe de proposer de les désactiver par une option "Garder les anciens liens externes" lors de l'importation.

J'ai renoncé à numéroter systématiquement les CLE_FIXE à NULL, car en les renumérotant, j'augmente considérablement les risques de rejet et modification des clé suivantes. D'ailleurs je me demande encore s'il ne serait pas préférable de simplement supprimer les clés en double? Leur attribuer un N° risque également de faire renuméroter une clé suivante. Dans ce cas, il vaudra mieux cocher l'option "Garder les anciens liens externes", et rechercher les doublons avec la requête déjà vu sur ce forum.

Et pour ceux qui voudront créer à priori tous les liens externes, il leur suffira d'exécuter après importation la requête
:
UPDATE INDIVIDU SET CLE_FIXE = CLE_FICHE WHERE CLE_FIXE IS NULLles triggers se chargeront de rectifier les clés en double.

Ceux qui veulent tester la base intégrant toutes les modifications peuvent la télécharger ici Le fichier compacté contient un fichier texte avec la liste des modifications et un fichier FAMILLEVIDE.BDD. Ce dernier fichier est à renommer et placer où vous voulez, du moment que vous le sélectionniez par "Emplacement de la base de données". Après la sélection, Ancestrologie propose de le remplir directement par un gedcom ou une fiche.

Si çà marche, YAPUKA éditer les modif pour que PCM les intègre aux prochaines versions.

A+

André
Une application pleinement satisfaisante est toujours complétée par une mise à jour buggée. (Loi des Mises à Jour)
 

Hors ligne Ancestrologie

  • AncestroGrandMaitre
  • *******
  • Messages: 5 083
  • Remercié: 3 fois !
    • Ancestrologie
  • Programme: 1995
  • Base: 5.130
  • Système: Windows 8
Corrections et améliorations des procedures stockées
« Réponse #27 le: 31 Octobre 2005 à 15:57:32 »
Si çà marche, YAPUKA éditer les modif pour que PCM les intègre aux prochaines versions.




pas de pb pour les integrer



Mais j attends le SQL pour faire ca et surtout dans l ordre de creation



Bon travail que tu fais la
Ancestrologie développé par   PCM sous // Desktop sur Mac Book Pro - 2.4ghz*2 - 4Go Ram - OSX 10.8 - DD : 200 giga - DD ext 500 gigas
 

Hors ligne DDdeBerdeux

  • AncestroGrandMaitre
  • *******
  • Messages: 3 244
  • Remercié: 2 fois !
Corrections et améliorations des procedures stockées
« Réponse #28 le: 01 Novembre 2005 à 00:01:36 »
C'est fait, je t'ai envoyé 3 scripts sur ta messagerie. Je les ai aussi ajoutés au fichier zip dont le lien est dans mon message précédent.

Il n'y a pas d'ordre particulier pour passer les scripts. Mais le script blr2txt doit être passé tout d'un bloc.

A+

André
Une application pleinement satisfaisante est toujours complétée par une mise à jour buggée. (Loi des Mises à Jour)
 

Hors ligne DDdeBerdeux

  • AncestroGrandMaitre
  • *******
  • Messages: 3 244
  • Remercié: 2 fois !
Corrections et améliorations des procedures stockées
« Réponse #29 le: 06 Novembre 2005 à 21:03:19 »
J'ai remodifié la procédure PROC_EXPORT_IMAGES pour que le fichier exporté ait pour nom "NON AFFECTEE" si le média n'est pas affecté à un individu, et "SANS NOM" si l'individu n'a pas de nom.

Le fichier en téléchargement a été mis à jour.

André
Une application pleinement satisfaisante est toujours complétée par une mise à jour buggée. (Loi des Mises à Jour)
 

Hors ligne Ancestrologie

  • AncestroGrandMaitre
  • *******
  • Messages: 5 083
  • Remercié: 3 fois !
    • Ancestrologie
  • Programme: 1995
  • Base: 5.130
  • Système: Windows 8
Corrections et améliorations des procedures stockées
« Réponse #30 le: 08 Novembre 2005 à 15:29:25 »
André , tai envoyé mail, as tu recu ?
Ancestrologie développé par   PCM sous // Desktop sur Mac Book Pro - 2.4ghz*2 - 4Go Ram - OSX 10.8 - DD : 200 giga - DD ext 500 gigas
 

Hors ligne DDdeBerdeux

  • AncestroGrandMaitre
  • *******
  • Messages: 3 244
  • Remercié: 2 fois !
Corrections et améliorations des procedures stockées
« Réponse #31 le: 08 Novembre 2005 à 15:51:20 »
: "Cazaux-Moutou Philippe"
André , tai envoyé mail, as tu recu ?
OK, bien reçu. Je mets à jour la base vide en v4.00, je mets le tout sur mon site avec la procédure de maj et passe un appel à volontaires pour les tests avant officialisation dans un nouveau sujet sous Développement.

A bientôt

André
Une application pleinement satisfaisante est toujours complétée par une mise à jour buggée. (Loi des Mises à Jour)
 

Hors ligne Ancestrologie

  • AncestroGrandMaitre
  • *******
  • Messages: 5 083
  • Remercié: 3 fois !
    • Ancestrologie
  • Programme: 1995
  • Base: 5.130
  • Système: Windows 8
Corrections et améliorations des procedures stockées
« Réponse #32 le: 08 Novembre 2005 à 15:55:45 »
Je penses que si tu met la 4.0, ok, mais faut arreter d y faire des modifs

pour que deja ils testent

et qu apres ce que je te propose c est si tu fait des modifs garde les et on les proposera 1 fois par mois et on les fera integrer par ancestro



dans ta proc peux tu sortir un fichier log de ce que fais isql ?



a+
Ancestrologie développé par   PCM sous // Desktop sur Mac Book Pro - 2.4ghz*2 - 4Go Ram - OSX 10.8 - DD : 200 giga - DD ext 500 gigas
 

Hors ligne DDdeBerdeux

  • AncestroGrandMaitre
  • *******
  • Messages: 3 244
  • Remercié: 2 fois !
Corrections et améliorations des procedures stockées
« Réponse #33 le: 08 Novembre 2005 à 18:44:03 »
OK, pour regrouper, en espérant que comme il s'agit pour la plupart de réparation de bugs, la source sera tarie :wink:

Isql peut générer un fichier d'erreurs. Je t'ai envoyé tout çà par email.

A+

André
Une application pleinement satisfaisante est toujours complétée par une mise à jour buggée. (Loi des Mises à Jour)
 

Tags: