Quelle structure de bdd ?

[meteo13]

Bonjour,

nouveau "météorologue" en herbe je suis aussi nouveau sur ce forum et j'aurai bien sûr des milliers de questions ...

Commençons par le début, je monte ma station à partir d'un arduino et ne dispose donc bien sur de rien de "standard". Mes premiers capteurs me sortent des données qu'il me faut enregistrer afin de pouvoir par la suite les exploiter.
Ma première idée est évidement d'enregistrer tout ça dans une BDD. J'ai donc mis en place une tache CRON qui interroge régulièrement ma station, récupère les données et les envoie dans mon esquisse de BDD. Et voici venir mes premières questions : Y-a-t-il un format "universel" à respecter afin de pouvoir exploiter ces données avec des outils existants ?

J'ai vu en parcourant ce forum que vous utiliser un format type de BDD contenant deux tables "data" et "minmaxdata". J'ai trouvé ici la structure de la table data, mais pas celle de la seconde table ... Cette structure est-elle propre aux utilisateurs de ce forum ou correspond-elle à quelque chose de reconnu plus largement dans le monde de la météo amateur ? Dois-je impérativement m'y conformer pour utiliser d'autre outils et peut-être un jour échanger mes données, suis-je libre de gérer ma BDD comme bon me semble et sans contraintes ultérieures ?

D'avance, merci de m'aider à y voir plus clair.

[PascalWMR]

Bonjour

La structure des tables dont on parle dans ce forum, sont propre à des softs développés par Jean Turlier et qui exploitent les données issues de stations météo comme les Vantages de Davis instrument, les Lacrosse technology, ou encore de soft comme Xnet ou Cumulus. Elles servent principalement à afficher nos données dans des graphiques dynamiques Highcharts
La table data contiens les enregistrements générés tous les x minutes par les station.
La table minimaxi est elle un récap de tous les minis et maxi de chaque jour (comme sont nom l'indique).
Il existe aussi d'autre tables comme noaa_jour et noaa_mois qui servent à remplacer les données que l'on extrayait auparavant de fichiers texte créés par GraphWeather pour les afficher dans des pages comme celle-ci
https://www.monsite-meteo.eu/Page/stati ... ompare.php.
Ce prog est en cours d'élaboration par moi-même et Jean (bientôt fini) . Le but est de se passer de Graphweather et d'exploiter les données directement depuis des BDD beaucoup plus souple.

Si tu veux plus d'info sur la structure de ces tables, tu peux contacter directement Jean par MP depuis ce forum

A+
Pascal

[meteo13]

Bonjour et merci Pascal pour ces informations.
Ce sont justement ces tables "NOAA" qui m'avais fait penser à une structure plus universelle que la communauté de ce site ...Cela ne retire rien bien évidement à leur intérêt.

En regardant de plus prés le fonctionnement des différents outils permettant d'exploiter les données issues de ma station (et en particulier ma page logiciel de ton site) j'ai réalisé qui ces logiciels tournent sur un PC qui n'existe pas dans mon système tel que je le conçois puisque ma station va enregistrer ses données directement dans la Bdd en ligne (c'est justement le but de ne pas faire tourner un PC H24 ...). C'est à dire que par rapport à toute la chaine logicielle que tu as mise en place, je passe directement du premier niveau (la station) au dernier (le PHP) sans intermédiaire !

Focalisé sur l'architecture de mon projet je m'étais mis en tête que des outils comme GraphWeather tournaient en PHP pour générer directement les pages statistiques et les graphiques sur mon site mais en faite il semble qu'il n'en est rien. Si vous connaissaient des outils remplissant cette fonction je suis preneur, sinon je ferais un script PHP maison...

[jturlier]

Bonjour et sois le bienvenu sur ce forum,

Question intéressante !

Comme ton Arduino est capable de se connecter à un serveur MySQL, de te créer une base de données, la gérer et alimenter ses tables, je ne vois pas ce qui pourrait t'empêcher de travailler avec l'architecture que tu proposes.

Pour info, Pascal termine actuellement les scripts de comparaison basés sur des tables MySQL NOAA avec des résultats excellents en terme de temps de réponse.

Si tu veux créer ta/tes propre(s) table(s), je peux sans aucun problème te fournir leurs structures, passe moi un MP.
Par contre, n'utilise pas celles des programmes actuellement disponibles dans ce forum puisque de nombreuses modifications sont intervenues, et pour pouvoir suivre comment elles sont utilisées, les programmes ne seront plus disponibles que sur demande.

Si tu crées tes tables en conformité avec leur structure actuelle, tu pourras sans problème utiliser les scripts NOAA de Pascal.
Par contre toute la partie GW (qui ne tourne que sous PC) te sera interdite en temps réel. Il te faudra, pour réaliser les graphes utiliser Highchart/highstock. Cela ne devrait pas être très compliqué.

En espérant avoir été suffisamment clair !

[jturlier]

Après avoir relu ton post, il y a quelque chose qui m'interpelle :

Ma première idée est évidement d'enregistrer tout ça dans une BDD. J'ai donc mis en place une tache CRON qui interroge régulièrement ma station, récupère les données et les envoie dans mon esquisse de BDD.

Ton Arduino ne devrait pas être le générateur des appels à ta station ou à tes sondes, mais il devrait être à l'écoute en permanece, sans quoi tu perdras un nombre important de données comme les rafales de vent.

[meteo13]

Bonsoir Jean,

j'ai bien pris note des évolutions en cours et comme proposé je te contacte en MP pour récupérer la nouvelle structure de la Bdd. Cela me permettra d'une part d'avoir la possibilité d'exploiter les scripts de Pascal et d'autre part, il me semble intéressant de bénéficier de l'expérience de météorologues nettement plus expérimentés que moi

J'ai bien compris que l'utilisation de GW (comme de nombreux autres logiciels météo) n'est pas envisageable dans le cadre de mon projet tel que je l'ai défini mais j'aurai de toute façon le live via le site internet et pourquoi pas dans un deuxième temps via un appli Android ...

Ton Arduino ne devrait pas être le générateur des appels à ta station ou à tes sondes, mais il devrait être à l'écoute en permanece, sans quoi tu perdras un nombre important de données comme les rafales de vent.

oui, en fait pour le moment l'Arduino est LA station et fait tout tout seul, envoyant les données quand on lui demande. Comme je n'ai pas encore intégré la mesure du vent, une mesure toutes les 10 minutes me suffisait pour valider le concept.

[jturlier]

Bonsoir,
en ce qui concerne GW, il n'y a pas réellement de raison pour laquelle tu ne pourrait pas l'utiliser, car son plugin ODBC permet d'attaquer une base de données même distante.