Forum

Reprise du message précédent

Lire des fichiers C binaires ?
Désolé je ne comprends pas.
Des fichiers C, sont des fichiers textes, lisible en mode texte.
Les structures, une fois compilé dans un programme binaires, ne sont plus que des pointeurs sur des valeurs.

je le sais pas trop où je vais!
ce que je constate, c'est que ça fait plus de trois ans maintenant que j'ai un système linux;
de part mon histoire personnelle, je conçois deux façon d'interagir avec un ordinateur : soit tu crées des applications, soit tu les utilises;
à mon époque, c'était clair : une des activités se faisait en console, l'autre se faisait avec un minitel;
le terminal était différent, suivant l'usage;
aujourd'hui, quand on utilise des applications graphiques on est un peu comme un utilisateur d'un minitel évolué;
et en console, c'est toujours du développement;
et c'est ce qui me plaisait le plus;
or, depuis que j'ai cette machine, je peut pas dire que j'ai beaucoup programmé;
je n'arrive pas à trouver un écosystème où je me sente bien et surtout efficace;

sur les conseils du copain qui m'a installé ma première mageia, j'ai jusqu'à présent résisté à installer lazarus et un pascal;
c'est l'occasion de poser la question si d'autre personne utilise ici lazarus pour faire du pascal;
j'aime bien m'imposer des contraintes, c'est ainsi qu'on avance, mais faut aussi parfois se remettre en question;
qu'est ce j'espère trouver si j'installe un pascal ?
une niche, où une fois que j'en aurait fait le tour et vu les possibilités et les limites, je saurais quoi en faire;

le python au premier abords est très séduisant; d'ailleurs, grâce à python, j'ai put entrer un peu dans Qt, sans problèmes; donc, pour faire une IHM avec Qt, en python, c'est beaucoup plus facile qu'en C++ et Qtcreator; ça, en 2017, j'y ait passé pas mal de temps en vain; cette univers de QObject, je m'y suis perdu sans jamais m'y retrouver; pour finit par comprendre que ce que les gens de Qt appelle application, c'est en fait la couche présentation du modèle ISO; la véritable application, c'est ce qu'il y a derrière;

et c'est peut être la le problème, faudrait que je me décide à faire du C++, ça résoudrait peut être certains problèmes;
je ne sais pas pourquoi, j'ai comme une répulsion avec le C++, j'arrive pas à me convaincre que ça vaut la peine;
donc, du point de vue du programmeur que j'étais autrefois, après trois an de linux, j'ai toujours pas trouvé mon environnement de dévelloppement;

j'ai passé l'année 2018 surtout à faire du système, je me suis amusé avec le multiboot, navigué avec d'autres distributions;
j'ai voulu du btrfs, et j'ai finit par installer une opensuse, faute de pas être arriver à installer une mageia sur du btrfs;
je suis très contents de cette aventure, mais maintenant, j'aimerais vraiment me remettre un peu à créer quelque chose par moi même;

ce que j'appelle fichier binaire en C, c'est des fichiers ouverts avec l'option "rb" ou "wb", que tu manipules avec les fonctions fread et fwrite;
peut de gens les utilise, contrairement à fgets ou fscanf et consors .... largement utilisé pour manipuler des fichiers textes;
si tu essaies de lire un tel fichier avec less, c'est illisible, il t'avertit que c'est du binaire;
c'est un buffer de bytes; mais pour les utiliser, il faut le "caster" sur une structure, qui peut être plus ou moins complexe.
c'est ce que font fread et fwrite ; ça écrit ou ça lit "sizeof(la structure)" byte dans le flux, dans une variable qui a la structure en question;

Bonjour Marc,
Je ne crois pas qu'il y ait de langage idéal. Certains sont plus accessibles que d'autres, mais plus ou moins bien adaptés en fonction de ce qu'on souhaite faire.
Personnellement, je ne suis qu'un amateur, et j'ai décidé de me concentrer sur un nombre limité de langages pour pouvoir bien rentrer dedans et ne pas avoir l'impression de tout réapprendre à chaque occasion. Donc exit, le C, C++, Perl, Ruby. Ce sera Python, et quand il y a de la technologie Web, PHP/javascript car c'est incontournable.

Et oui,
Il était un temps, quand tu n'étais pas encore né, la place disque était chère, il fallait optimiser son utilisation et le temps de lecture. Stocker les données en binaire est très efficace.
Stocker un réel : 4 octets. Si tu le fais en fichier texte, il te faut de l'ordre de 13 caractères ( 1 signe, 7 chiffres significatifs, 4 pour l'exposant, 1 séparateur). Tu vois tout de suite le ratio. Autre avantage, dès que les octets sont lus, ils sont directement stockables dans la mémoire, sans conversion. En texte, il faut convertir le texte lu en nombre représentable dans la mémoire de l'ordi. L'opération est infiniment plus longue.
L'inconvénient, c'est que ça ne marche que pour des données structurées. Voir l'explication de Magnux plus haut.
Toi qui manœuvres des microprocesseurs, tu dois certainement être sensible à ces arguments. :p

Salut
voilà une bonne explication de la raison d'utiliser des fichiers binaires en C;
c'est plus économe en mémoire, et c'est directement utilisable, c'est les données de ton programme que tu stockes et que tu retrouves telles quelles, sans avoir à les convertir en texte;
le lien sur la librairie python "struct", je l'ai lu déjà deux fois, sans avoir encore réussi à comprendre l'usage;
mais bon on est sur la voie;
c'est effectivement ça que je cherche à faire, échanger entre C et python via ce format de fichier, dans les deux sens si possible;
mais malgré tout cette librairie utilise me semble-t-il le "format string" de "printf", donc on est encore avec des strings de texte;
donc cette librairie, je pense qu'elle ne fera pas le job que je cherche, mais c'est l'idée;

Édité par marc-andré Le 07/04/2019 à 17h01

On y parle de string parce que la fonction compresse une structure, laquelle peut comprendre toute sorte de variables, donc y compris des chaînes de caractères. Mais si tu te limites à des nombres, tu n'a pas à te préoccuper des chaînes.

Ah oui, des fonctions que je utilise presque jamais en C ! Car je ne manipule que très rarement des fichiers car j'ai la plus part du temps un accès directe à la mémoire.


ahh ok je comprends ! J'ai justement beaucoup de défis pour me contenter de la mémoire et ne pas déborder ! Mais d'ailleurs, en parlant de fichier binaire, j'ai fait un petit projet ou je souhaitais transférer des données vers un microcontroleur. Comme la mémoire, les performances sont faibles, j'ai opté pour faire une communications légère et transmettre mes données en forme brute, non converti en texte. (On peut aussi ouvrir un fichier texte en mode binaire, aucun soucis.) Mais, je me suis fait avoir quelques minutes ! MSB LSB ! Si ça ne vous parle pas :
15 14 13 12 11 10 09 08
07 06 05 04 03 02 01 00
ou
07 06 05 04 03 02 01 00
15 14 13 12 11 10 09 08



Je vois très bien le problème de mélanger données binaires avec python. Python est un langage non typé ! Pour moi, python reste "dessus un système d'exploitation", et on ne se prend pas la tête avec le binaire. Mais, tu peux toujours l'utiliser pour !

Je me disais qu'à force de lire par petit bout, j'avais certainement loupé quelque chose. Alors j'ai relu tout ce que tu postais ici pour essayer de comprendre un peu ce que tu voulais... Et je suis tombé là-dessus :Ouh la la ! marc-andré, tu confuses ! Je n'ai jamais étudié Qt, mais le modèle ISO (or OSI) a tout à voir avec le réseau et la distribution applicative sur ce réseau et rien à voir avec le graphique. Et dans ce modèle, l'application est grosso modo, tout ce qui n'a pas à voir avec le réseau. Graphique ou pas graphique, ce n'est pas le sujet du modèle ISO.

Ceci dit, je n'ai pas cerné davantage quel était ton problème. mais j'ai l'impression que :
1° tu t'es coincé tout seul entre un système de manipulation de données (struc+rb/wb+fread/fwrite) forcément exigeant sur la qualité des données et des données qui en réalité n'ont pas ce niveau de qualité. Ce format struc semble te motiver davantage pour les économies de code qu'il devrait te permettre que par sa juste adéquation au problème traité.
2° tu n'as pas les connaissances nécessaires pour faire le choix d'architecture nécessaires face au volume et le niveau de qualité des données. Tu ne sais pas quels pourraient être les avantages et les inconvénients du XML, par exemple, pour ton problème. Dans certaines applications, les programmes de contrôle des données sont parfois de 3 à 10 fois plus volumineux que les programmes de traitement, il faut l'admettre, c'est du boulot.

Alors que faire ?
1° Je pense que tu n'arriveras pas à passer au XML, ses possibilités et ses outils. (Je ne t'accuse pas, moi, non plus. On fait avec ce qu'on est)
2° Il faut D'ABORD clarifier les données avant tout traitement, cela simplifie les programmes de traitement.
3° Pour ce faire, je te suggère de regarder vers les merveilleux outils de manipulation de texte que sont awk et sed. Ils fonctionnent comme un petit moteur de règles : au lieu de bâtir une algorithmique de contrôle (alternatives et boucles), tu listes "simplement" des règles de transformation. C'est plus concis et très puissant. Si tu les mixes, les pipes et si tu combines avec les expressions régulières, c'est presque illimité...

Après tu pourras passer au struc

Édité par magnux77 Le 08/04/2019 à 11h13

pour en finir avec les fichiers binaires, un avantage qui n'a pas été cité, c'est qu'ils permettent l'accès direct, dans certains cas;
en réalité, il y a deux variantes à ces fichiers, et d'ailleurs en pascal, on les déclare différemment;
soit c'est des "file of un_type", soit c'est des "file" tout cours, sous entendu "de ce que qu'on veux";
en C, il n'y a pas cette subtilité, mais le résultat est le même;
dans un premier cas, les fichiers "typés" en pascal, on peut faire de l'accès direct, sur tel article, il suffit de connaître son indice;
en C, si tu ne mets dans ton fichier que des "struct" identiques, tu auras le même comportement; (accès direct avec fseek);
dans le cas de fichiers "non typés" en pascal, et c'est pareil en C, tu peux mettre dans ton fichier, en vrac, toutes sortes d'objets différents, de tailles variables, des collections, etc, ;
dans ce cas là, l'accès direct n'est plus possible, bien sûr, et tu ne peut lire ton fichier que séquentiellement, dans le même ordre que tu l'as écrit;
ou alors, il te faux créer un deuxième fichier d'index, typé celui ci, sur lequel tu peux faire un accès direct, pour récupérer l'offset dans l'autre fichiers où se trouve le début de ta structure;donc, l'accès direct dans ce cas, demande la lecture de deux data, mais c'est toujours mieux que de lire séquentiellement tout le fichiers;
les fichiers textes, c'est tout ce qu'on peut faire, la lecture séquentielle de tout le paquet!

bon, a une époque en pascal c'est ce que j'avais fait; mais parce que je n'avais pas de sgbd à ma disposition;
aujourd'hui, je m'amuserais pas à faire ça en C (les fichiers d'index pour accès directs), je confierais ce job à une sgbdr qui fera ça bien mieux que moi!

Édité par marc-andré Le 08/04/2019 à 14h49

pour répondre à magnus77 à propos de confusion sur Qt et le modèle ISO pour les réseaux;
cette conversation a le mérite de clarifier le vocabulaire, ce qui n'est pas superflu;
pourquoi j'ai fait ce parallèle qui te semble une confusion ?
tel que je l'ai perçu, Qt te permet de faire des masques d'écrans très sophistiqués, avec rien dedans;
c'est ce qui m'a ennuyé avec la doc et les vidéos, tutos, sur Qt, c'est un truc qui se regarde le nombril!
ce que moi j'appelle application, c'est les données qui vont apparaître dans ces écrans;
et en général, ces données, elles vont provenir d'une sgdb, et c'est là que se trouve l'application;
et la relation entre une "application" Qt, et postgresql par exemple, même en local, ça passe par le réseau;
pas forcément, si on utilise python pour faire du Qt, on peut se contenter d'utiliser la librairie "sqlite3", et tu n'as pas besoin de réseau;
m'enfin, ton appli, c'est la façon dont sont organisées les données dans la base de données;
la façon dont elle seront présentées à l'écran si su utilise Qt, pour moi, ça reste de la présentation!
tu auras les mêmes résultats si tu fait les query directement dans un terminal, au lieu de te compliquer la vie avec Qt;
donc, faire une interface Qt, c'est juste pour moi, un luxe, et "ça n'en vaut peut être pas la chandelle"!

Contrairement à ce que tu affirmes, une application ce n'est pas que les données. Un SGBD n'est pas une application, cela supporte la modélisation des données utilisées par l'application.

Contrairement à ce que tu affirmes, l'accès au SGBDR ne passe pas forcément par le réseau. Ni même obligatoirement par des techniques réseau en boucle locale. On peut utiliser les IPC.

Tu as des connaissances limitées en informatique, comme beaucoup d'entre nous et c'est normal, mais je pense que tu en tires trop d'affirmations généralistes, non vérifiées et donc parfois inexactes. La couche présentation du modèle ISO vise uniquement à universaliser les données qui vont transiter par le réseau (conversion de character-set, fin de ligne ou d'enregistrement, compression, cryptage/décryptage. Et c'est tout. Cela n'a rien strictement à voir avec le "look" d'un interface graphique.

Enfin, comme tu le dis, si ta conception de l'interface graphique consiste à afficher dans une fenêtre ce qui aurait été aussi bien affiché dans une console, tu as raison, il doit y avoir plus simple que Qt.

IPC ?
j'ai cherché et trouvé en autre ceci
http://man7.org/conf/lca2013/IPC_Overview-LCA-2013-printable.pdf

à méditer!

oui, l'intérêt de Qt, c'est de prendre en charge ces choses là;
et il me semble que ça utilise un mécanisme de "signal et slots" qui lui est propre, et différent de celui du système ?
mais peut être j'ai rien compris, je n'ai fait que jeter un œil rapide;

au final, je sais ce que je veux, c'est me faire plaisir;
or, depuis deux ans, il y a des trucs que j'ai aimé étudié, suivre des tutos, comme postrgesql ou python, et le C;
puis il y des trucs qui me barbent comme en autre Qt et le C++;
enfin, ça peut changer;
en effet, quand j'avais essayé Qt, il y a deux ans, non seulement je m'ennuyait, mais j'avais téléchargé leur série d'exemples et aucun de marchait;
ça m'avait un peu dégouté;
récemment, par hasard, faisant du ménage, je clique dessus, oh miracle ça marche;
entre temps, que c'est-il passé ?
le passage de mageia5 à mageia6;
j'en ai conclue qu'à l'époque il devait y avoir sur mga5 une version de Qt qui n'était pas la bonne avec les exemples;
donc, je suis peut être à reconsidérer Qt, maintenant que j'ai une meilleure idée que comment ça marche!

Heu... Excuses, excuses. C'est tout ça en effet, c'est pour Inter-Process Communication. Je pensais plus particulièrement à la bufferisation des SGBD en shared memory pour soutenir qu'entre le client et le serveur de données, en local, on peut ne pas passer par des mécanismes réseau.

Mais je t'en prie...

J'ai lu un super livre sur Linux, orienté système et C, si tu aimes la lecture, je ne peux que te le conseiller !
Il se nomme "Programmation avancée sous linux", c'est un livre sous licence GNU, mais malheureusement il n'a pas été fini d'être relu après la traduction en 2004 et le site est maintenant à vendre, les données du site inaccessible...

Il reste cependant des tas de copies sur internet, comme ici :
https://graal.ens-lyon.fr/~ycaniou/Teaching/1718/L3/book-screen.pdf

Personnellement, j'imprime mes livres et les relie, c'est plus agréable pour la lecture. Ce livre est mon coup de cœur de la programmation, j'ai appris énormément, et je l'ai trouvé intéressant du début à la fin ! Je lis pas mal de livre d'info, donc je peux comparer.

merci pour le bouquin, je l'ai téléchargé;
le problème c'est qu'il est assez ancien, mais il y a sûrement beaucoup de chose qui sont toujours vraies;

d'un point de vue pratique, j'aimerais pratiquer au moins une fois, pour voir une chaîne que je pourrais définir ainsi :
1 acquisition de données sur internet
2 filtrage et normalisation, en C ou python ou les deux (le peux que j'ai vu sur cython me semble pas mal)
3 transfert vers un sgbdr
4 recherche des query qui pourraient être intéressantes
5 analyse statistique des vues intéressantes extraites et graphiques
pour la dernière étape, ça pourrait être du python avec pandas et matplotlib ou R;

en tout cas, c'est les soft et le genre d'activités qui me plaisent et avec lesquels j'aimerais bricoler un peu;

pour élargir un peu la conversation sur le code je suis persuadé que l'on est conditionné par ce que l'on fait;
ça fini par faire partie de nous mêmes, de notre identité;
les gens souvent se définissent par leur métier : tel est boulanger, tel autre maçon ou médecin ou ...
d'où d'ailleurs le problème du chômage, c'est que ça prive de revenu certes, c'est embêtant, mais ça prive aussi d'une partie de l'identité;
en tout cas, c'est la leçon de l'existentialisme : tu es ce que tu fais.
donc, sachant que l'on est conditionné par ce qu'on fait, et qu'on devient ce qu'on fait, le choix de tel type de logiciels ou d'activités n'est pas anodin; car ça va finir par influencer notre identité même;

ayant vu pas mal de vidéos en tout genre, c'est ce que j'ai retenu : les gens qui font du python ou du sql, ils ont l'air enthousiastes et sympas; tient je me dis j'aimerais bien leur ressembler; tandis que les vidéos sur Qt ou C++, bof, ça me donne pas trop envie;

tout ça pour me rendre compte que je suis toujours aussi con que quand j'étais au lycée : j'étais bon élève avec les bons pros et mauvais élève avec les "mauvais" profs; avec le recul, c'était quoi les mauvais profs ?
ceux avec qui je n'avais pas de bon contacts et aucune envie de leur ressembler
on ne se refait pas!