VP SQL chargement long
Modérateurs : jturlier, Météo Villarzel
-
- Messages : 331
- Enregistré le : 15 févr. 2014, 06:44
- Localisation : JARNY Meurthe-et-Moselle (54) Région Lorraine
- Contact :
VP SQL chargement long
Bonsoir,
Suite à un petit bug dans la table MiniMaxidata (maxi mini faux), j'ai supprimé trois jours dans ma base de données, j'ai relancé VP2SQl et le chargement est Hyper long. Pour vous donnez une idée, pour charger 1heure de données soit 13 lignes ça a pris 13 minutes
Est ce quelqu'un a déjà eu ce problème et quelle peut être la cause.
Suite à un petit bug dans la table MiniMaxidata (maxi mini faux), j'ai supprimé trois jours dans ma base de données, j'ai relancé VP2SQl et le chargement est Hyper long. Pour vous donnez une idée, pour charger 1heure de données soit 13 lignes ça a pris 13 minutes
Est ce quelqu'un a déjà eu ce problème et quelle peut être la cause.
Station VP2 Weatherlink 5.8.1 VP2SQL 3.0.0.17 NOAAtable 1.0.0.30 Windows 7 Pro
http://www.meteo-jarny.com/
http://www.meteo-jarny.com/
- jturlier
- Administrateur du site
- Messages : 394
- Enregistré le : 10 déc. 2014, 10:20
- Localisation : Sérignan 34410
- Contact :
Re: VP SQL chargement long
Bonsoir,
quand tu supprimes des lignes dans minimaxi, il faut aussi supprimer les jours correspondants dans la table data car la tentative de réécrire génère des erreurs d'écriture sur data (pas de problème de validité) mais des tentatives de réécriture et de correction.
quand tu supprimes des lignes dans minimaxi, il faut aussi supprimer les jours correspondants dans la table data car la tentative de réécrire génère des erreurs d'écriture sur data (pas de problème de validité) mais des tentatives de réécriture et de correction.
Jean
Station :
VP2pro + anémomètre ultrasons et console Vue
Cumulus 1.9.4 + Cumulus2SQL + MySQL
Audio :
FR
PC :
W10 64bits migré
http://meteoserignan.ddns.net
Station :
VP2pro + anémomètre ultrasons et console Vue
Cumulus 1.9.4 + Cumulus2SQL + MySQL
Audio :
FR
PC :
W10 64bits migré
http://meteoserignan.ddns.net
-
- Messages : 331
- Enregistré le : 15 févr. 2014, 06:44
- Localisation : JARNY Meurthe-et-Moselle (54) Région Lorraine
- Contact :
Re: VP SQL chargement long
C'est ce que je fais Jean, je supprime dans les deux tables
Station VP2 Weatherlink 5.8.1 VP2SQL 3.0.0.17 NOAAtable 1.0.0.30 Windows 7 Pro
http://www.meteo-jarny.com/
http://www.meteo-jarny.com/
-
- Messages : 331
- Enregistré le : 15 févr. 2014, 06:44
- Localisation : JARNY Meurthe-et-Moselle (54) Région Lorraine
- Contact :
Re: VP SQL chargement long
VP2 SQL a planté cette nuit
Jean je t'envoie le fichier Log en espérant que tu puisses me dire d'où vient le problème
Jean je t'envoie le fichier Log en espérant que tu puisses me dire d'où vient le problème
Vous n’avez pas les permissions nécessaires pour voir les fichiers joints à ce message.
Station VP2 Weatherlink 5.8.1 VP2SQL 3.0.0.17 NOAAtable 1.0.0.30 Windows 7 Pro
http://www.meteo-jarny.com/
http://www.meteo-jarny.com/
- jturlier
- Administrateur du site
- Messages : 394
- Enregistré le : 10 déc. 2014, 10:20
- Localisation : Sérignan 34410
- Contact :
Re: VP SQL chargement long
Salut,
la longueur du chargement peut être affectée par l'utilisation de trigger, par exemple si tu charges Alldata. Là pas grand chose à y faire sinon désactiver le trigger et relancer la construction de la table quand le chargement est terminé.
Pour ton erreur, je comprend le texte, mais tu n'as pas affiché les détails, donc difficile de savoir où se situe le problème !
Il s'agit certainement d'un caractère alpha qui traine dans la date.
Si tu récupères d'autres infos, fais le moi savoir.
L'ennui c'est que VP2SQL est stabilisé car je n'ai pas eu de retour depuis quasiment 2 ans et que le traitement des opérations sur la base de données a lui beaucoup évolué (pas de backup suite à la perte de 2 disques simultanément donc impossible de recompiler tel quel). 3 nouvelles tables ont été crées (dont alldata, Noaa, Sun&Wind) et aucun test n'a été ceffectué sur la VP. Seul Xnet est vérifié. Il faudrait donc faire une compilation pour la VP2, l'ennui c'est qu'il serait nécessaire de recharger complètement toute la base de données. Il m'avait fallut plus de 24 heures pour 600k enregistrements sur une base locale. J'en ai 10054000... ce serait donc plus près de 2 jours, toujours sur une base locale. Pour une base distante, il est conseillé de charger d'abord en local puis de faire une sauvegarde et de l'exporter.
C'est pourquoi je n'ai pas voulu mettre en ligne une nouvelle version.
la longueur du chargement peut être affectée par l'utilisation de trigger, par exemple si tu charges Alldata. Là pas grand chose à y faire sinon désactiver le trigger et relancer la construction de la table quand le chargement est terminé.
Pour ton erreur, je comprend le texte, mais tu n'as pas affiché les détails, donc difficile de savoir où se situe le problème !
Il s'agit certainement d'un caractère alpha qui traine dans la date.
Si tu récupères d'autres infos, fais le moi savoir.
L'ennui c'est que VP2SQL est stabilisé car je n'ai pas eu de retour depuis quasiment 2 ans et que le traitement des opérations sur la base de données a lui beaucoup évolué (pas de backup suite à la perte de 2 disques simultanément donc impossible de recompiler tel quel). 3 nouvelles tables ont été crées (dont alldata, Noaa, Sun&Wind) et aucun test n'a été ceffectué sur la VP. Seul Xnet est vérifié. Il faudrait donc faire une compilation pour la VP2, l'ennui c'est qu'il serait nécessaire de recharger complètement toute la base de données. Il m'avait fallut plus de 24 heures pour 600k enregistrements sur une base locale. J'en ai 10054000... ce serait donc plus près de 2 jours, toujours sur une base locale. Pour une base distante, il est conseillé de charger d'abord en local puis de faire une sauvegarde et de l'exporter.
C'est pourquoi je n'ai pas voulu mettre en ligne une nouvelle version.
Jean
Station :
VP2pro + anémomètre ultrasons et console Vue
Cumulus 1.9.4 + Cumulus2SQL + MySQL
Audio :
FR
PC :
W10 64bits migré
http://meteoserignan.ddns.net
Station :
VP2pro + anémomètre ultrasons et console Vue
Cumulus 1.9.4 + Cumulus2SQL + MySQL
Audio :
FR
PC :
W10 64bits migré
http://meteoserignan.ddns.net
-
- Messages : 331
- Enregistré le : 15 févr. 2014, 06:44
- Localisation : JARNY Meurthe-et-Moselle (54) Région Lorraine
- Contact :
Re: VP SQL chargement long
je n'ai pas tout compris , mais je ne charge que data et MinMaxidata
Station VP2 Weatherlink 5.8.1 VP2SQL 3.0.0.17 NOAAtable 1.0.0.30 Windows 7 Pro
http://www.meteo-jarny.com/
http://www.meteo-jarny.com/
-
- Messages : 331
- Enregistré le : 15 févr. 2014, 06:44
- Localisation : JARNY Meurthe-et-Moselle (54) Région Lorraine
- Contact :
Re: VP SQL chargement long
Je pense avoir trouver la source du problème.
Dans ma base de données j'avais mes deux tables "data" et "MiniMaxidata" et deux autres tables ou je chargeais les mêmes données avec un tstamp différent "2017-01-01-20-14" ou quelques chose comme ça je ne me rappelle plus trop, j'ai supprimé ces deux tables qui ne me servaient pas à grand chose ainsi que les déclencheurs, maintenant le transfert des données se fait à 8 à 9 secondes par ligne ce qui est nettement plus raisonnable.
Les deux tables que j'ai supprimer étaient dans la base de données depuis plusieurs mois et n'ont jamais posé problèmes, alors pourquoi aujourd'hui, si quelqu'un a une explication.
Je surveille quand même les transferts affaire à suivre...
Dans ma base de données j'avais mes deux tables "data" et "MiniMaxidata" et deux autres tables ou je chargeais les mêmes données avec un tstamp différent "2017-01-01-20-14" ou quelques chose comme ça je ne me rappelle plus trop, j'ai supprimé ces deux tables qui ne me servaient pas à grand chose ainsi que les déclencheurs, maintenant le transfert des données se fait à 8 à 9 secondes par ligne ce qui est nettement plus raisonnable.
Les deux tables que j'ai supprimer étaient dans la base de données depuis plusieurs mois et n'ont jamais posé problèmes, alors pourquoi aujourd'hui, si quelqu'un a une explication.
Je surveille quand même les transferts affaire à suivre...
Station VP2 Weatherlink 5.8.1 VP2SQL 3.0.0.17 NOAAtable 1.0.0.30 Windows 7 Pro
http://www.meteo-jarny.com/
http://www.meteo-jarny.com/
- jturlier
- Administrateur du site
- Messages : 394
- Enregistré le : 10 déc. 2014, 10:20
- Localisation : Sérignan 34410
- Contact :
Re: VP SQL chargement long
OK Pascal,
apparemment tu n'as pas de base locale ?
apparemment tu n'as pas de base locale ?
Jean
Station :
VP2pro + anémomètre ultrasons et console Vue
Cumulus 1.9.4 + Cumulus2SQL + MySQL
Audio :
FR
PC :
W10 64bits migré
http://meteoserignan.ddns.net
Station :
VP2pro + anémomètre ultrasons et console Vue
Cumulus 1.9.4 + Cumulus2SQL + MySQL
Audio :
FR
PC :
W10 64bits migré
http://meteoserignan.ddns.net
-
- Messages : 331
- Enregistré le : 15 févr. 2014, 06:44
- Localisation : JARNY Meurthe-et-Moselle (54) Région Lorraine
- Contact :
Re: VP SQL chargement long
Non je n'en ai pas Jean.
Station VP2 Weatherlink 5.8.1 VP2SQL 3.0.0.17 NOAAtable 1.0.0.30 Windows 7 Pro
http://www.meteo-jarny.com/
http://www.meteo-jarny.com/