VP SQL chargement long

Chargement d'une base de données depuis les fichiers wlk de Weatherlink.
Uniquement pour les station Vantages

Modérateurs : jturlier, Météo Villarzel

Répondre
JP54
Messages : 331
Enregistré le : 15 févr. 2014, 06:44
Localisation : JARNY Meurthe-et-Moselle (54) Région Lorraine
Contact :

VP SQL chargement long

Message par JP54 » 23 janv. 2017, 19:08

Bonsoir,
Suite à un petit bug dans la table MiniMaxidata (maxi mini faux), j'ai supprimé trois jours dans ma base de données, j'ai relancé VP2SQl et le chargement est Hyper long. Pour vous donnez une idée, pour charger 1heure de données soit 13 lignes ça a pris 13 minutes :o
Est ce quelqu'un a déjà eu ce problème et quelle peut être la cause.
Station VP2 Weatherlink 5.8.1 VP2SQL 3.0.0.17 NOAAtable 1.0.0.30 Windows 7 Pro
http://www.meteo-jarny.com/

Avatar du membre
jturlier
Administrateur du site
Messages : 393
Enregistré le : 10 déc. 2014, 10:20
Localisation : Sérignan 34410
Contact :

Re: VP SQL chargement long

Message par jturlier » 23 janv. 2017, 21:01

Bonsoir,
quand tu supprimes des lignes dans minimaxi, il faut aussi supprimer les jours correspondants dans la table data car la tentative de réécrire génère des erreurs d'écriture sur data (pas de problème de validité) mais des tentatives de réécriture et de correction.
Jean

Station :
VP2pro + anémomètre ultrasons et console Vue
Cumulus 1.9.4 + Cumulus2SQL + MySQL

Audio :
FR
PC :
W10 64bits migré
http://meteoserignan.ddns.net
Image

JP54
Messages : 331
Enregistré le : 15 févr. 2014, 06:44
Localisation : JARNY Meurthe-et-Moselle (54) Région Lorraine
Contact :

Re: VP SQL chargement long

Message par JP54 » 23 janv. 2017, 23:08

C'est ce que je fais Jean, je supprime dans les deux tables
Station VP2 Weatherlink 5.8.1 VP2SQL 3.0.0.17 NOAAtable 1.0.0.30 Windows 7 Pro
http://www.meteo-jarny.com/

JP54
Messages : 331
Enregistré le : 15 févr. 2014, 06:44
Localisation : JARNY Meurthe-et-Moselle (54) Région Lorraine
Contact :

Re: VP SQL chargement long

Message par JP54 » 24 janv. 2017, 07:55

VP2 SQL a planté cette nuit

Jean je t'envoie le fichier Log en espérant que tu puisses me dire d'où vient le problème
Vous n’avez pas les permissions nécessaires pour voir les fichiers joints à ce message.
Station VP2 Weatherlink 5.8.1 VP2SQL 3.0.0.17 NOAAtable 1.0.0.30 Windows 7 Pro
http://www.meteo-jarny.com/

Avatar du membre
jturlier
Administrateur du site
Messages : 393
Enregistré le : 10 déc. 2014, 10:20
Localisation : Sérignan 34410
Contact :

Re: VP SQL chargement long

Message par jturlier » 24 janv. 2017, 09:00

Salut,
la longueur du chargement peut être affectée par l'utilisation de trigger, par exemple si tu charges Alldata. Là pas grand chose à y faire sinon désactiver le trigger et relancer la construction de la table quand le chargement est terminé.
Pour ton erreur, je comprend le texte, mais tu n'as pas affiché les détails, donc difficile de savoir où se situe le problème !
Il s'agit certainement d'un caractère alpha qui traine dans la date.
Si tu récupères d'autres infos, fais le moi savoir.
L'ennui c'est que VP2SQL est stabilisé car je n'ai pas eu de retour depuis quasiment 2 ans et que le traitement des opérations sur la base de données a lui beaucoup évolué (pas de backup suite à la perte de 2 disques simultanément donc impossible de recompiler tel quel). 3 nouvelles tables ont été crées (dont alldata, Noaa, Sun&Wind) et aucun test n'a été ceffectué sur la VP. Seul Xnet est vérifié. Il faudrait donc faire une compilation pour la VP2, l'ennui c'est qu'il serait nécessaire de recharger complètement toute la base de données. Il m'avait fallut plus de 24 heures pour 600k enregistrements sur une base locale. J'en ai 10054000... ce serait donc plus près de 2 jours, toujours sur une base locale. Pour une base distante, il est conseillé de charger d'abord en local puis de faire une sauvegarde et de l'exporter.
C'est pourquoi je n'ai pas voulu mettre en ligne une nouvelle version.
Jean

Station :
VP2pro + anémomètre ultrasons et console Vue
Cumulus 1.9.4 + Cumulus2SQL + MySQL

Audio :
FR
PC :
W10 64bits migré
http://meteoserignan.ddns.net
Image

JP54
Messages : 331
Enregistré le : 15 févr. 2014, 06:44
Localisation : JARNY Meurthe-et-Moselle (54) Région Lorraine
Contact :

Re: VP SQL chargement long

Message par JP54 » 24 janv. 2017, 09:07

je n'ai pas tout compris :oops: , mais je ne charge que data et MinMaxidata
Station VP2 Weatherlink 5.8.1 VP2SQL 3.0.0.17 NOAAtable 1.0.0.30 Windows 7 Pro
http://www.meteo-jarny.com/

JP54
Messages : 331
Enregistré le : 15 févr. 2014, 06:44
Localisation : JARNY Meurthe-et-Moselle (54) Région Lorraine
Contact :

Re: VP SQL chargement long

Message par JP54 » 24 janv. 2017, 17:34

Je pense avoir trouver la source du problème.
Dans ma base de données j'avais mes deux tables "data" et "MiniMaxidata" et deux autres tables ou je chargeais les mêmes données avec un tstamp différent "2017-01-01-20-14" ou quelques chose comme ça je ne me rappelle plus trop, j'ai supprimé ces deux tables qui ne me servaient pas à grand chose ainsi que les déclencheurs, maintenant le transfert des données se fait à 8 à 9 secondes par ligne ce qui est nettement plus raisonnable.
Les deux tables que j'ai supprimer étaient dans la base de données depuis plusieurs mois et n'ont jamais posé problèmes, alors pourquoi aujourd'hui, si quelqu'un a une explication.
Je surveille quand même les transferts affaire à suivre...
Station VP2 Weatherlink 5.8.1 VP2SQL 3.0.0.17 NOAAtable 1.0.0.30 Windows 7 Pro
http://www.meteo-jarny.com/

Avatar du membre
jturlier
Administrateur du site
Messages : 393
Enregistré le : 10 déc. 2014, 10:20
Localisation : Sérignan 34410
Contact :

Re: VP SQL chargement long

Message par jturlier » 24 janv. 2017, 19:00

OK Pascal,
apparemment tu n'as pas de base locale ?
Jean

Station :
VP2pro + anémomètre ultrasons et console Vue
Cumulus 1.9.4 + Cumulus2SQL + MySQL

Audio :
FR
PC :
W10 64bits migré
http://meteoserignan.ddns.net
Image

JP54
Messages : 331
Enregistré le : 15 févr. 2014, 06:44
Localisation : JARNY Meurthe-et-Moselle (54) Région Lorraine
Contact :

Re: VP SQL chargement long

Message par JP54 » 24 janv. 2017, 19:55

Non je n'en ai pas Jean.
Station VP2 Weatherlink 5.8.1 VP2SQL 3.0.0.17 NOAAtable 1.0.0.30 Windows 7 Pro
http://www.meteo-jarny.com/

Répondre