********* Programme Xnet2SQL *********

Chargement d'une base de données depuis les fichiers *.csv des stations connectées à Xnet

Modérateurs : jturlier, Météo Villarzel

Avatar du membre
jturlier
Administrateur du site
Messages : 393
Enregistré le : 10 déc. 2014, 10:20
Localisation : Sérignan 34410
Contact :

Re: ********* Programme Xnet2SQL *********

Message par jturlier » 24 févr. 2016, 18:22

Oui, tu peux, mais ce n'est pas réellement l'optimum pour le faire, il est peut-être plus simple de les faire avec php et jpgraph ! (pour ce type de graphique )
Jean

Station :
VP2pro + anémomètre ultrasons et console Vue
Cumulus 1.9.4 + Cumulus2SQL + MySQL

Audio :
FR
PC :
W10 64bits migré
http://meteoserignan.ddns.net
Image

kekedou
Messages : 24
Enregistré le : 23 févr. 2016, 17:04

Re: ********* Programme Xnet2SQL *********

Message par kekedou » 18 mars 2016, 22:05

Pour Jean
Je viens de constater que dans la dernière version de Xnet2SQL, le nom de la table pour Météotemplate n'est pas "alldata" mais "alldatadata". S'agit-il d'une erreur ou bien tes doigts ont-il bégayé sur le clavier?
Merci
Jean-Yves

Davis Vantage Pro 2 sans fil
VirtualVP+ Cumulus+ Graphweather v3+ Cumulus2Sql +Wampserver (en local)
Windows 10 64bits - hébergé par Hostpapa
Membre de Blitzortung
https://www.lafrancaise-meteo.fr

Avatar du membre
jturlier
Administrateur du site
Messages : 393
Enregistré le : 10 déc. 2014, 10:20
Localisation : Sérignan 34410
Contact :

Re: ********* Programme Xnet2SQL *********

Message par jturlier » 19 mars 2016, 17:54

Bonjour,
ce n'est pas une erreur, c'est intentionnel car je veux que chaque table comporte le même nom de racine.
Pour l'utiliser, tu as 2 possibilités : soit créer une variable $table1 et lui affecter le nom alldatadata dans le fichier de config, puis modifier en bloc toutes les occurrences de alldata par $table1 avec notepad++, il suffit de sélectionner tous les fichiers à éditer, ( bien mettre un espace devant et derrière car le mot alldata est aussi utilisé dans des variables. Il faut modifier dans tous les scripts php du sous-répertoire pages/station, ainsi que dans homepage et dans les scripts du répertoire de base. C'est une opération qui prend au maximum 10 minutes,
soit créer une view create view alldata as select * from alldatadata.
La première solution est à privilégier car il n'y a pas la possibilité d'utiliser un index avec les views.
En espérant avoir été clair.
J'avais demandé à Jachym de faire cette modif dans le source, mais cela ne lui a pas semblé utile.

Jean
Jean

Station :
VP2pro + anémomètre ultrasons et console Vue
Cumulus 1.9.4 + Cumulus2SQL + MySQL

Audio :
FR
PC :
W10 64bits migré
http://meteoserignan.ddns.net
Image

kekedou
Messages : 24
Enregistré le : 23 févr. 2016, 17:04

Re: ********* Programme Xnet2SQL *********

Message par kekedou » 05 mai 2016, 17:54

Pour Jean
Bonjour,
je reviens vers vous sur l'utilisation de Xnet2SQL. Jusqu'à présent je l'utilisais en "1ère instance" en local pour continuer à développer mon site. Cela fonctionne très bien, merci.
Mais les choses se gâtent lorsque je veux l'utiliser en "2ème instance" pour mettre à jour ma BDD distante, l'instance en question se fige et reste bloquée. Fermeture à "l'arrache" et relance: même problème!! Suis-je le seul dans ce cas?
je précise qu'après avoir rentré les paramètres du serveur SQL distant, le test de connection est OK.

cordialement
Jean-Yves

Davis Vantage Pro 2 sans fil
VirtualVP+ Cumulus+ Graphweather v3+ Cumulus2Sql +Wampserver (en local)
Windows 10 64bits - hébergé par Hostpapa
Membre de Blitzortung
https://www.lafrancaise-meteo.fr

Avatar du membre
jturlier
Administrateur du site
Messages : 393
Enregistré le : 10 déc. 2014, 10:20
Localisation : Sérignan 34410
Contact :

Re: ********* Programme Xnet2SQL *********

Message par jturlier » 05 mai 2016, 21:08

Bonjour,
le problème n'est pas un blocage de la seconde instance mais c'est le fait que tu as à charger une base distante avec des fichiers xnet qui sont lourds. es performances de chargement initial sur la base distante sont généralement mauvaise à cause des délais de transmission qui font que l'application semble dormir.
La solution, c'est de faire une sauvegarde de ta base locale et de la restaurer sur ton serveur distant. pour une base qui contient 700 k enregistrements il faut compter une bonne vingtaine de minutes.
Il me semble qu'il y a eu une ou des discussions sur le sujet.
Si tu ne t'en sors pas passe moi un MP.
Jean

Station :
VP2pro + anémomètre ultrasons et console Vue
Cumulus 1.9.4 + Cumulus2SQL + MySQL

Audio :
FR
PC :
W10 64bits migré
http://meteoserignan.ddns.net
Image

kekedou
Messages : 24
Enregistré le : 23 févr. 2016, 17:04

Re: ********* Programme Xnet2SQL *********

Message par kekedou » 13 mai 2016, 18:00

Bonjour Jean, je reviens!
j'ai déjà restauré ma base sur le serveur distant, mais c'est lors de la mise à jour que cela se gâte. Ci joint le log correspondant.
je précise que sur le port 3306 la connexion est refusée par le serveur.

Cordialement
Jean-Yves
Vous n’avez pas les permissions nécessaires pour voir les fichiers joints à ce message.
Jean-Yves

Davis Vantage Pro 2 sans fil
VirtualVP+ Cumulus+ Graphweather v3+ Cumulus2Sql +Wampserver (en local)
Windows 10 64bits - hébergé par Hostpapa
Membre de Blitzortung
https://www.lafrancaise-meteo.fr

Avatar du membre
jturlier
Administrateur du site
Messages : 393
Enregistré le : 10 déc. 2014, 10:20
Localisation : Sérignan 34410
Contact :

Re: ********* Programme Xnet2SQL *********

Message par jturlier » 14 mai 2016, 14:27

Bonjour Jean-Yves,
es-tu sûr que Mysql n'est pas sur un serveur mutualisé ? Si c'est le cas, celui-ci n'accepte pas les connexions de clients distants.
Il y a déjà eu des discussions sur le sujet. Tu peux essayer de faire une recherche.
Jean

Station :
VP2pro + anémomètre ultrasons et console Vue
Cumulus 1.9.4 + Cumulus2SQL + MySQL

Audio :
FR
PC :
W10 64bits migré
http://meteoserignan.ddns.net
Image

Avatar du membre
Météo Villarzel
Administrateur du site
Messages : 524
Enregistré le : 06 févr. 2014, 09:48
Contact :

Re: ********* Programme Xnet2SQL *********

Message par Météo Villarzel » 14 mai 2016, 15:49

Bonjour,
effectivement certain hébergeur n'accepte pas les connexions externe, voir ce sujet
http://www.boock.ch/meteo/forum/viewtop ... eu%2A#p267

Tu peux tester ta BDD ici
https://db4free.net/

j'ai fait un petit tuto
http://www.boock.ch/meteo/tuto_mysql_hi ... b4free.php

A+
Station Vantage Pro2+ avec station agricole - Weatherlink - GraphWeather 3.0.15b - Cumulus 1.9.4 - Windows 7/64
Graphique dynamique à partir d'une bd MySql - VP2SQL

Image

kekedou
Messages : 24
Enregistré le : 23 févr. 2016, 17:04

Re: ********* Programme Xnet2SQL *********

Message par kekedou » 15 mai 2016, 17:15

Bonjour Jean, je reviens encore,
C
ça y est, cela fonctionne, il s'agissait d'une erreur de mon hébergeur qui m'indiquait le port 21 au lieu du 3306.
Maintenant je peux mettre à jour ma base en temps réel.

Merci beaucoup de ton aide

Cordialement
Jean-Yves
Jean-Yves

Davis Vantage Pro 2 sans fil
VirtualVP+ Cumulus+ Graphweather v3+ Cumulus2Sql +Wampserver (en local)
Windows 10 64bits - hébergé par Hostpapa
Membre de Blitzortung
https://www.lafrancaise-meteo.fr

Avatar du membre
jturlier
Administrateur du site
Messages : 393
Enregistré le : 10 déc. 2014, 10:20
Localisation : Sérignan 34410
Contact :

Re: ********* Programme Xnet2SQL *********

Message par jturlier » 12 févr. 2018, 14:02

Bonjour,
une nouvelle version de xnet2sql est disponible.
elle est, après petite modification de la table data, parfaitement compatible avec l'ancienne version.
La différence principale est qu'elle ne crée plus, simultanément à la table data, la table minimaxidata.
Cela signifie que tous les programmes de type xxxx2SQL ne font plus que de la récupération de données et leur insertion dans la table data.

Cependant, pour les utilisateurs de la table des minmax, un nouveau programme a été créé qui reprend les mêmes données que minimaxidata avec les mêmes noms de champs. Cette nouvelle table s'appelle "minimaxi". Certains champs inutilisés comme les recdateUTC de chacun des champs ont été supprimé, de même que les minimaxi champs des sondes agricoles (Même Pierre-André ne s'en servait pas). Par contre le champ recdateUTC de chaque ligne est conservé, bien que je sois plutôt sceptique quant à son utilité !

Il n'est pas conseillé de détruire la précédente table data car son chargement complet reste très long et qu'il n'apporte rien de plus que les 3 requêtes qui modifient la table en créant une colonne supplémentaire.

Comme pour tous les autres programmes xxx2sql, NOAAtable, copie4sql, cette nouvelle version ne sera disponible sur demande par MP à mon adresse, ou par email direct à ceux qui ont mon adresse mail personnelle. Ceci pour me permettre de contrôler la distribution.
Comme par le passé, ces programmes sont et resteront totalement gratuits. Sur demande, je peux aussi distribuer les sources.

Pour information, les anciennes versions ne sont plus supportées
Jean

Station :
VP2pro + anémomètre ultrasons et console Vue
Cumulus 1.9.4 + Cumulus2SQL + MySQL

Audio :
FR
PC :
W10 64bits migré
http://meteoserignan.ddns.net
Image

Répondre