Remplissage de la base de données lent (local)

Un problème avec votre base de données MySQL, PostgreSQL ou autres.

Modérateurs : jturlier, Météo Villarzel

Répondre
meteo-melin
Messages : 5
Enregistré le : 21 janv. 2015, 18:40

Remplissage de la base de données lent (local)

Message par meteo-melin » 05 févr. 2015, 18:38

Bonsoir,

Je me demande si c'est tout à fait normal que la constitution de la base de données soit si lente en local.
J'ai installé Wamp et je rempli la DB directement sur le localhost. Il faut environ 2 sec pour traiter une ligne du fichier csv.

Ce qui est "étrange", c'est que lors de la lecture du premier fichier, la base de données s'est rempli à une vitesse plutôt élevée. 10 minutes pour traiter un mois avec enregistrement toutes les 2 minutes.

Il y aurait-il quelque chose que je ne fait pas bien?

Merci.

EDIT: voici mon my.ini:

Code : Tout sélectionner

# Uncomment the following if you are using InnoDB tables
innodb_data_home_dir = C:\mysql\data/
innodb_data_file_path = ibdata1:10M:autoextend
innodb_log_group_home_dir = C:\mysql\data/
innodb_log_arch_dir = C:\mysql\data/
# You can set .._buffer_pool_size up to 50 - 80 %
# of RAM but beware of setting memory usage too high
innodb_buffer_pool_size = 16M
innodb_additional_mem_pool_size = 2M
# Set .._log_file_size to 25 % of buffer pool size
innodb_log_file_size = 5M
innodb_log_buffer_size = 8M
innodb_flush_log_at_trx_commit = 1
innodb_lock_wait_timeout = 50
La machine suit:
Image
Vantage Pro 2, Wswin, Weatherlink et Weather-Display. Membre de Blitzortung.

Avatar du membre
Météo Villarzel
Administrateur du site
Messages : 524
Enregistré le : 06 févr. 2014, 09:48
Contact :

Re: Remplissage de la base de données lent (local)

Message par Météo Villarzel » 06 févr. 2015, 13:44

Salut,
Je ne pense pas que c'est un problème de ta machine, j'ai le même problème avec un I7.
Jean m'avais effectivement dit de décommenter les lignes innodb dans le fichier my.ini, mais ça n'a rien changé.

Maintenant avec 5 ans de données, ça devient cata à reconstruire la BDD, mais une fois reconstruite ça ne pose pas de problème pour la mise à jour avec le pas d'enregistrement de la station.

Je trouve quand même aussi étrange ce temps de chargement qui devient de plus en plus important ?

A+
Station Vantage Pro2+ avec station agricole - Weatherlink - GraphWeather 3.0.15b - Cumulus 1.9.4 - Windows 7/64
Graphique dynamique à partir d'une bd MySql - VP2SQL

Image

Avatar du membre
jturlier
Administrateur du site
Messages : 393
Enregistré le : 10 déc. 2014, 10:20
Localisation : Sérignan 34410
Contact :

Re: Remplissage de la base de données lent (local)

Message par jturlier » 06 févr. 2015, 21:02

Bonsoir Clément et Pierre-André,
lors du chargement initial, quand on atteint les 500k enregistrements, sur une machine "normale" au point de vue des performances, on est généralement à 2 enregistrement à la seconde, étant entendu que les réglages de la base de données sont optimisés. (c'est les performances que j'avais quand j'ai chargé les 500000 enregistrement de la wmr200 de Michel Arnaud). Il est probable que la VP2 soit plus lente au vu de la quantité de calculs. Cependant, il faut garder en mémoire que ce n'est que le chargement initial, et qu'une fois le rythme de chargement normal atteint ( toutes les 5 minutes ou à la rigueur toutes les minutes,) 1s sur 5minutes c'est totalement transparent.
J'ai des performances machines identiques de 6.9, donc non significatif.
Cependant un point me heurte, à moins que tu n'aies pas de disque autre que le C:, je ne vois pas personnellement d'un bon œil l'écriture des données sur le disque système.

Quand on commence le chargement, il vaut mieux limiter les autres traitements à partir de le base de données.

Donc en résumé, il n'y a rien d'anormal dans les performances que tu mentionnes. Pour info, ton fichier My.ini ne présente rien d'anormal.

Les utilitaires de MySQL (MySQL workbench, MySQL Administrator qui est ancien et fonctionne par contre très bien), permettent de faire des réglages et des sauvegardes facilement (une sauvegarde créée sur une machine locale, qu'on transfère par ftp sur un serveur distant, ne prend qu'une ou deux minutes pour sa restauration).

En espérant avoir éclairci un peu la situation.

Edit, tu parles d'un fichier csv avec VP2, utilises-tu Cumulus ?
Jean

Station :
VP2pro + anémomètre ultrasons et console Vue
Cumulus 1.9.4 + Cumulus2SQL + MySQL

Audio :
FR
PC :
W10 64bits migré
http://meteoserignan.ddns.net
Image

Répondre