Auteur Sujet: Grosse Base  (Lu 8533 fois)

plus minus reset

0 Membres et 1 Invité sur ce sujet

Hors ligne Bob du Vaucluse

  • AncestroTest
  • AncestroExpert
  • *****
  • Messages: 402
  • Remercié: 11 fois
  • Programme: v2015-1996.3
  • Base: v5.131
  • Système: W10
Grosse Base
« le: 02 Avril 2007 à 18:53:18 »
Bojour

Dans la mesure où tout augment la base aussi, c’est un beau bébé de 169M (réorganisation faite). (ANCESTROLOGIE V695 B5,17 XP-SP2)

Et cela posse quelque problèmes.

Jusqu’a 165M: Je ne pouvais pas utiliser CREATION_WEB sans avoir au préalable arrêté tout sur l’ordinateur, malgré ses 1G de Mémoire (et le fichier de swapping n’atteint pas sa taille maximum) il semblerait que XP sp2 (ou ANCESTROLOGIE) ne libère plus de mémoire physique (cette dernière n’est utilisé qu’a 90% d’après le gestionnaire de tache). C’était un problème connu aussi dans la liaison de CASSINIVISION, mais Frédéric l’a rendu moins gourmand.

Maintenant CREATION_WEB se plante systématiquement avec message « pas assez de mémoire »
Ci joint quelques 7 mesures
1 ANCESTROLOGIE sans création Web
2 ANCESTROLOGIE avec création Web
3 Début fiches individuelles
4 Fin des pages individus

5 Fin des Patronymes
6 Fin des Prénoms
7 au début des lieux au moment du message


Soit ANCESTROLOGIE ne rend pas assez de mémoire
Soit CREATION_WEB est trop gourmand
Soit … je sais-pas

Merci
« Modifié: 10 Avril 2007 à 12:32:07 par Bob du Vaucluse »
 

Hors ligne Yves Bruant

Grosse Base
« Réponse #1 le: 03 Avril 2007 à 18:49:48 »
Bonjour,

Il se pourrait qu'on ait atteint là un maximum ?

Quelqu'un a-t-il l'expérience d'une base plus grosse ?

Que se passe-t-il si on accroît la taille de la mémoire ?
« Modifié: 04 Avril 2007 à 08:08:51 par Yves Bruant »
Amitiés.Yves.
 

Hors ligne DDdeBerdeux

Grosse Base
« Réponse #2 le: 03 Avril 2007 à 23:46:40 »
Bonsoir,
Il se pourrait qu'on ait atteint là un maximum ?
Faut voir.
Je viens de faire l'essai.
AMD3500+ RAM 1Go, XP Pro, Mémoire virtuelle 2Go, Firebird 2.0.1 serveur
A l'aide de Mutancestre, j'ai copié 5 fois de suite ma base dans une base vide (b5.018), puis je l'ai optimisée.
J'ai ainsi obtenu une base de 16030 individus et 1600 médias faisant 183 Mo.
A eux seuls les médias représentent 125 Mo (pour le savoir j'ai exporté toutes les images, la b5.018 ne les exportant qu'une seule fois).
A l'aide du gestionnaire de tâches, j'ai mesuré les quantités de mémoire RAM et de mémoire virtuelle occupé par les processus fbserver.exe et par ancestrologie.exe, sachant que la mémoire occupée par la dllcretionWeb.dll est comptée dans le processus ancestrologie.exe.
1) Ancestrologie seul avant chargement de la dll: Ancestrologie RAM 30 Mo, MV 28 Mo; fbserver RAM 20 Mo, MV 140Mo
2) Après chargement de la dll: Ancestrologie RAM 41 Mo, MV 40 Mo; fbserver RAM 24 Mo MV 141 Mo
Toutes les créations de pages ont été sélectionnées.
La charge totale maxi a été atteinte lors de la génération des pages des lieux:
Ancestrologie RAM 110 Mo, MV 106 Mo; fbserver RAM 98 Mo, MV 203 Mo.
Pendant toutes la génération des pages, la RAM restant disponible n'est jamais tombée en dessous de 350 Mo. La Mémoire virtuelle n'a jamais dépassé 700 Mo.
Seul point noir, sur les 44 mn qu'a duré l'exportation, 34 mn ont été uniquement pour générer la page des implexes :cry:
Afin de comparer, il serait bon que Bob nous communique les caractéristiques de son matériel et de sa base (individus, médias, dossiers). Et s'il a plusieurs dossiers, on connait déjà un remède, un dossier par base.
A+
André

Une application pleinement satisfaisante est toujours complétée par une mise à jour buggée. (Loi des Mises à Jour)
 

Hors ligne Bob du Vaucluse

  • AncestroTest
  • AncestroExpert
  • *****
  • Messages: 402
  • Remercié: 11 fois
  • Programme: v2015-1996.3
  • Base: v5.131
  • Système: W10
Grosse Base
« Réponse #3 le: 04 Avril 2007 à 11:08:39 »
Bonjour
Merci André de m’aider à éclaircir ce truc
Je clowne le message pour donner les même types d’informations

Mon Ordi
X86 Familly 15 Model 4 Stepping 1 GenuiIntel ~3192Mhz
Ram 1Go  XP Pro SP2 Mémoire Virtuelle (plusieurs essais) 2 Go (Défaut) Firbird 2.0.1. Imbeded

Base  28000 individus et 1465 médias faisant 169 Mo. Zippé 113Mo

- Avant chargement dll
Ancestrologie RAM 136 Mo, MV 167 Mo;
- Après chargement
Ancestrologie RAM 153 Mo, MV 185 Mo;
- Apres fiches individuelles
Ancestrologie RAM 322  Mo, MV 372 Mo
- Au plantage
Ancestrologie RAM 334  Mo, MV 385 Mo et mémoire max 361Mo

Cela plante au début des lieux (Page Lieux 0/3353 0%)

La mémoire virtuelle (swapp) n’a jamais passé 60% mais la mémoire physique est utilisée à 90%

Quand aux implexes !!! j’en avais déjà parlé à Yves, et j’ai abandonné leur utilisations (j’ai laissé mouliner trois jours sans résultat, ni messages …)

Je ne vois qu’une grosse différence c’est la fonction serveur le fait d’être dans deux processus permet peut-être à XP de libérer de la mémoire ?? Alors qu’Ancestrologie seul n’est pas préteur
Ne faut-il pas avoir un processus séparé pour la création Web ?? Comme Mutance ou Incohérences

A+
Bob
 

Hors ligne awilligsecker

  • Débutant
  • *
  • Messages: 6
Grosse Base
« Réponse #4 le: 05 Avril 2007 à 13:12:38 »
Bonjour,

D'emblée, précisons CreationWeb est un  des, sinon le, meilleur export  web que j'ai pu tester et adopter.

Par contre, il est  assez mal adapté aux bases importantes. J'avais déjà contacté M. Bruant à ce sujet mais son test avec un PC équipé d'un processeur véloce et de 2Go de  RAM lui a permis de mouliner ma base de plus de 20000 personnes (uniquement textuelle ... sans image ni multimédia).

Malheureusement, nos PC n'ont pas tous  la même  puissance.

Je pousse donc mon PC à 1,5 Go de RAM sans plus de succès d'où une reprise de différents essais.

Mes conclusions  sur la même base de plus de 20000 personnes  avec 1 Go de RAM  :
- en désactivant  l'export des  lieux et même en gardant l'export des implexes sur toute la base  ... ca passe
- en désactivant l'export  des fiches mais en activant l'export des lieux  ... ca passe aussi
A mon humble avis, mais je ne suis pas spécialiste  en développement, une incompatibilité entre export des fiches et export des lieux provoque  l'erreur annonçant le manque de mémoire ... mais  M. Bruant me contredira très certainement et on peut comprendre son argumentation.
Une révision du plugin par le développeur permettrait peut-être de  détecter le 'couic' qui bloque les utilisateurs  traitant les bases  lourdes.
Et si le prix augmente un peu  ... perso cela ne me gène pas !

Très cordialement

A. Willigsecker
 

Hors ligne Bob du Vaucluse

  • AncestroTest
  • AncestroExpert
  • *****
  • Messages: 402
  • Remercié: 11 fois
  • Programme: v2015-1996.3
  • Base: v5.131
  • Système: W10
Grosse Base
« Réponse #5 le: 05 Avril 2007 à 15:17:15 »
Donc … installation de FB Serveur … etc …
Mesures faites avec FB super serveur : et le problème a disparu.

- Après chargement
Ancestrologie RAM 160 Mo, MV 185 Mo; fbserver RAM 195 Mo MV 194 Mo
- Apres fiches individuelles
Ancestrologie RAM 162  Mo, MV 187 Mo ; fbserver RAM 117 Mo MV 143 Mo
- Au plantage
Ancestrologie RAM 146  Mo, MV 171 Mo ; fbserver RAM 154 Mo MV 209 Mo

Mais ici les chiffres sont approximatifs car cela monte et descend constamment, ce qu’il n’était pas le cas en imbeded.

Décidément Ancestrologie imbeded semble gourmand.
Donc une solution pour les gros : serveur S.V.P. !!

Faut-il clore ce fils ??
 

Hors ligne BLefebvre

  • AncestroExpert
  • *****
  • Messages: 885
Grosse Base
« Réponse #6 le: 05 Avril 2007 à 15:58:05 »
Juste une petite question concernant les différences entre serveur et embedded.
Est-ce que le serveur ne tourne pas à demeure dans le PC en tant que service? Ou est-ce qu'il démarre avec ancestrologie et s'arrête avec? A moins qu'on ne puisse (ou ne doive) le lancer à la main avant ancestrologie, et l'arrêter ensuite?
XP SP3 V1360 B5.130
 

Hors ligne DDdeBerdeux

Grosse Base
« Réponse #7 le: 05 Avril 2007 à 16:48:10 »
Bonjour,
Par défaut FB serveur s'installe comme service. Mais celà peut être modifié lors de l'installation ou depuis la console "Firebird Server Control" du panneau de configuration. S'il n'est pas utilisé, le service ne prend pas beaucoup de mémoire (4 Mo). Si vous préférez un autre fonctionnement, la console permet de définir le fonctionnement comme application ou comme service, le démarrage automatique ou manuel, de mettre en marche ou arrêter le serveur.
A+
André
Une application pleinement satisfaisante est toujours complétée par une mise à jour buggée. (Loi des Mises à Jour)
 
Les utilisateurs suivants ont remercié ce message : jfd

Hors ligne Yves Bruant

Grosse Base
« Réponse #8 le: 05 Avril 2007 à 20:53:22 »
Bravo pour cette découverte.

Firebird embedded : le plus simple à installer,
Firebird server : le plus efficace dans le cas des très grosses bases.

Amitiés.
Amitiés.Yves.
 

Hors ligne awilligsecker

  • Débutant
  • *
  • Messages: 6
Grosse Base
« Réponse #9 le: 06 Avril 2007 à 10:37:07 »
Bonjour,

La question s'adresse peut-être surtout à André ...

Après l'installation de FB Serveur, comment faire la liaison entre ancestrologie et fbserveur ?

Serait-il possible de disposer de quelques lignes de tuto ?

Merci d'avance

Très cordialement

Alain W.
 

Hors ligne Yves Bruant

Grosse Base
« Réponse #10 le: 06 Avril 2007 à 11:01:57 »
Bonjour,

Une fois fb serveur installé, il suffit, pour que Ancestro et Quisontils passent par lui pour les accès base, de faire disparaître de leurs répertoires les fichiers correspondant à la version embedded, c'est à dire :
  • firebird.conf
  • gds32.dll
  • ib_util.dll
  • icudt30.dll
  • icuin30.dll
  • icuuc30.dll
  • msvcp71.dll
  • mcvcr71.dll
Je vous recommande de les copier dans un répertoire de sauvegarde, pour pouvoir les réinstaller au cas où vous seriez tentés par des essais en mode embedded.
Amitiés.Yves.
 

Hors ligne Facon

Grosse Base
« Réponse #11 le: 06 Avril 2007 à 11:10:15 »
Bonjour,
Pour le tuto il est possible de jeter un oeil ici au point 1.4
http://www.ancestrologie.org/forum/index.php?PHPSESSID=25a8d1cbfdbcc75272f05cd280472b86&topic=7881.0

Pour se simplifier la vie, au lieu de retirer tout ce qui est embedded, il suffit de renommer gds32.dll en gds32.dll.stop, ainsi le cas échéant il suffit de stopper FB SuperServer et de retirer le stop.
Christian
 

Hors ligne BLefebvre

  • AncestroExpert
  • *****
  • Messages: 885
Grosse Base
« Réponse #12 le: 06 Avril 2007 à 11:14:58 »
Donc rien ne m'empêche d'avoir deux dossiers ancestrologie (avec un nom différent), l'un contenant fb embedded, l'autre non. Ceci afin de pouvoir comparer sereinement les temps d'accès dans les deux versions. La base sera évidemment commune dans un dossier indépendant des deux.
Sachant que je n'utilise pas les deux versions en même temps, mais soit l'une, soit l'autre.
XP SP3 V1360 B5.130
 

Hors ligne Yves Bruant

Grosse Base
« Réponse #13 le: 06 Avril 2007 à 11:17:56 »
Je suis curieux de voir les résultats à propos des temps, mais c'est aussi l'occupation mémoire qui change.
Amitiés.Yves.
 

Hors ligne DDdeBerdeux

Grosse Base
« Réponse #14 le: 06 Avril 2007 à 11:26:50 »
Bonjour,
Je répondais, mais je vois que Christian et Yves m'ont précédés.
Je complèterai juste en disant qu'il n'y a rien à craindre si vous supprimez entièrement toutes les traces de Firebird embedded  une fois que vous avez vérifié le fonctionnement de la version serveur, (à moins que vous voulliez vraiment faire des tests comparatifs entre les 2 versions). A la liste rappelée par Yves, vous pouvez ajouter le sous-répertoire \firebird du répertoire ancestrologie.
Pour récupérer FB embedded, il suffit de savoir que le logiciel de migration de la base s'en charge, s'il détecte la présence d'un fichier gds32.dll dans le répertoire d'Ancestrologie. Donc même si vous n'avez pas ce fichier, il suffit de créer un fichier (même avec le bloc-note) et de le nommer gds32.dll, avant d'exécuter la mise à jour de la base.
A+
André
PS pour blefebvre: avoir 2 répertoires ancestrologie risque de lui amener d'autres problèmes à cause de la mémorisation des chemins dans la BDR. Il est bien plus simple et moins risqué d'ajouter ou supprimer le ".stop" au fichier gds32.dll comme le suggère Christian.
« Modifié: 06 Avril 2007 à 11:44:48 par DDdeBerdeux »
Une application pleinement satisfaisante est toujours complétée par une mise à jour buggée. (Loi des Mises à Jour)
 

Hors ligne awilligsecker

  • Débutant
  • *
  • Messages: 6
Grosse Base
« Réponse #15 le: 06 Avril 2007 à 15:30:30 »
Bonjour,

Je suis preneur de toute explication sur vos configurations respectives car avec mon processeur AMD et 1,5 Go de Ram, malgré l'utilisation du serveur Firebird, l'arrêt de tout service inutile ... la génération des pages de lieux démarre mais s'arrête brutalement après 450 pages sur 2820 pour cause de ... mémoire insuffisante !
Je ne comprends plus rien et vais être obligé d'abandonner creationweb pour utiliser d'autres outils du marché, moins sympathiques mais qui gèrent la mémoire et les grosses bases sans souci.

Merci encore pour vos conseils dont je reste preneur pour me remotiver sur cette application.

Très cordialement
 

Hors ligne DDdeBerdeux

Grosse Base
« Réponse #16 le: 06 Avril 2007 à 17:45:29 »
Bonjour,
Pour essayer de trouver une limite, sur la même configuration que précédemment, toujours à l'aide de Mutancestre (çà me permet en même temps de tester ses capacités), j'ai doublé la taille de ma base précédente.
J'ai ainsi exporté une base de 350 Mo contenant 32060 individus en 23 mn, sans les pages d'implexes (ma patience a des limites).
Il est toujours resté au moins 320Mo de RAM disponibles avec un cache système qui n'est pas descendu sous les 400Mo (il s'adapte en fonction de la charge).
La charge maxi de 225 Mo par le processus ancestrologie (CreationWeb compris) intervient au début de la génération des pages de lieux. Sur ce point, mon test n'est pas très sévère, puisqu'en copiant 10 fois ma base d'origine, le nombre de lieux est resté le même: 937. Mais si çà peut orienter les recherches d'Yves...
Pour l'anecdote, celà fait un site web de 220 Mo :???:
A+
André
PS: dans cette configuration, je n'utilise aucun utilitaire du type réorganisateur mémoire ou autre.
Une application pleinement satisfaisante est toujours complétée par une mise à jour buggée. (Loi des Mises à Jour)
 

Hors ligne Bob du Vaucluse

  • AncestroTest
  • AncestroExpert
  • *****
  • Messages: 402
  • Remercié: 11 fois
  • Programme: v2015-1996.3
  • Base: v5.131
  • Système: W10
Grosse Base
« Réponse #17 le: 07 Avril 2007 à 14:08:50 »
Bonjour

39 heures d’exécution de Création web et … arrêt volontaire.

34 minutes pour atteindre les longévités, puis écritures des cousinages (3% des implexes) pendant 3 heures 10 puis plus de créations de fichiers 99% de cpu et de grosses difficultés pour prendre la main au dispatching (l’économiseur d’écran étant en fonction c’est le grand noir), et a part l’affichage du gestionnaire de tâches pas possibilité de faire grand chose
Même le refresh d’écran de Création_Web ne se fait pas

Je recommencerai en limitant le nombre de générations à prendre en compte
 

Hors ligne DDdeBerdeux

Grosse Base
« Réponse #18 le: 07 Avril 2007 à 14:25:34 »
Juste une idée en passant,.. si vous avez 2 PC (un fixe et un portable par exemple) connectés en réseau ethernet, vous pouvez faire tourner Ancestrologie sur l'un et installer FB serveur avec la base sur l'autre (le fixe de préférence, souvent mieux équipé en mémoire et disque dur plus rapide).
C'est une manière de répartir la charge..., si CW ne charge pas trop le réseau...
A+
André
Une application pleinement satisfaisante est toujours complétée par une mise à jour buggée. (Loi des Mises à Jour)
 

Hors ligne Bob du Vaucluse

  • AncestroTest
  • AncestroExpert
  • *****
  • Messages: 402
  • Remercié: 11 fois
  • Programme: v2015-1996.3
  • Base: v5.131
  • Système: W10
Grosse Base
« Réponse #19 le: 10 Avril 2007 à 11:24:05 »
Bonjour

C’est une bonne idée

Mais pas pour tout de suite.

Mon problème restant étant les implexes et j'imagine que c'est plus la profondeur de la base (nombre de générations) qui provoque des boucles infernales, que la charge machine
 
Certes Ancestrologie se met à 99,99% ce qui rend difficile la prise de main pour voir où on en est, mais qui permet aussi d'avoir des temps d'exécution acceptable.

Merci

Je clos le sujet si Yves est d'accord.