Utiliser la puissance de calcul (CPU) d'un autre serveur par le réseau.

Adrien.D Membre non connecté

Le 02/09/2015 à 11h02

#199406

Voir le profil du membre Adrien.D
Inscrit le : 30/05/2011
Site internet
Groupes :

Bonjour,

Je cherche à faire quelque chose qui est peut être impossible mais tentons.

J'ai 2 serveurs Linux : info02 et info03 avec le même CPU, 2 cœurs.
Ils sont reliés par un switch, en GigaEthernet, et la liaison est fiable.

Sur info02, je compresse une archive au format bz2.

Je voudrais, pour accélérer ma compression, utiliser le CPU de info03 en transférant les instructions de calculs avec le réseau.

Je sais qu'il existe ce type de fonctionnement en mode "communautaire" via BOINC je crois, mais je voudrais savoir si c'est possible de réaliser cette opération en P2P entre deux serveurs qui ne sont pas connectés directement à Internet.

C'est peut être fou ce que je demande, car je n'ai pas beaucoup trouvé de documentation à ce sujet.

Merci

Config : PC Fixe : X470 GAMING PRO- AMD Ryzen 5 2600X - 16Go RAM - Radeon RX 560 (Pilote libre) - Gentoo Linux - GNOME Desktop - Kernel 5.10 LTS
Ancien Webmaster de MageiaLinuxOnline. Les remplaçants assurent !

magnux77 Membre non connecté

Membre d'Honneur

Le 02/09/2015 à 15h33

#199424

Voir le profil du membre magnux77
Inscrit le : 21/09/2009
Groupes :
Membre d'Honneur

Passer les instructions ne devrait effectivement pas poser problème. Mais partager la charge de travail, c'est aussi partager les données à traiter et cela nécessite une gestion de sémaphores mutualisée pour un accès multiOS !...

Par contre, il doit être possible de paralléliser la compression sur les processeurs du même host. Je l'ai eu fait, mais j'ai oublié. Peut-être regarde bzip2smp...

...depuis Mandrake 7
Membre de l'April - « promouvoir et défendre le Logiciel Libre»
Soutien Framasoft - « Changer le monde, un octet à la fois»
Config n°1 : cpu=AMD64x6 mem=16G SSD=64G HDD=1T OS=Mageia8-64 DE=Xfce, Config n°2 : Dell Latitude E6410 SSD=120G OS=Mageia8 DE=Xfce, Config n°3 : ThinkpadR40 SSD=32G OS=[Manjaro, Parabola, Mageia6] DE=Xfce, Config n°4 : EeePC901 SSD=20Gb, OS=[SliTaz5/Lxde, Mageia8/Xfce]

Adrien.D Membre non connecté

Le 02/09/2015 à 15h46

#199427

Voir le profil du membre Adrien.D
Inscrit le : 30/05/2011
Site internet
Groupes :

Oui, j'ai déjà lbzip2 pour paralléliser.

Mais avec 2 cœurs sur 1 CPU.
Je ne peux pas paralléliser 2 cœurs de 2 CPU (1 CPU sur chaque serveur)

Pour "contourner" ma limitation, je suis arrivé à 2 "solutions" :

1 - monter un partage SSHFS sur mon super PC avec un i7 et compresser depuis mon PC. (Mais bonjour le trafic réseau quand je ne suis pas dans la même pièce. )
2- exécuter sur le serveur concerné tar cf - dossier | ssh user@serveurAvecCPUplusPuissant bzip2 > archive.tar.bz2

Avec ces 2 cas, c'est pas mal mais c'est ralenti avec le chiffrement de SSH.

Adrien.D Membre non connecté

Le 02/09/2015 à 16h10

#199431

Voir le profil du membre Adrien.D
Inscrit le : 30/05/2011
Site internet
Groupes :

Test avec fichier de 500Mo (urandom)

Depuis le SSHFS :

Code BASH :

time tar -cjf archive.tar.bz2 bigfile
 
real    0m37.521s
user    0m5.861s
sys     0m1.793s

Avec le tar | ssh bzip

Code BASH :

time tar cf - bigfile | ssh pc bzip2 > archive.tar.bz2
###############################################################################
#                                                                             #
#  WARNING : Unauthorized access to this system is forbidden and will be      #
#  prosecuted by law. By accessing this system, you agree that your actions   #
#  may be monitored if unauthorized usage is suspected.                       #
#                                                                             #
###############################################################################
Password:
 
real    0m42.223s
user    0m27.733s
sys     0m6.983s

magnux77 Membre non connecté

Membre d'Honneur

Le 02/09/2015 à 21h52

#199453

Voir le profil du membre magnux77
Inscrit le : 21/09/2009
Groupes :
Membre d'Honneur

Qu'est-ce que tu nous ennuies avec des décompressions qui ne durent même pas 1 minute !

Adrien.D Membre non connecté

Le 02/09/2015 à 21h54

#199454

Voir le profil du membre Adrien.D
Inscrit le : 30/05/2011
Site internet
Groupes :

Non mais c'est pour la démo.
J'ai une archive de 120Go à créer sur une machine.

magnux77 Membre non connecté

Membre d'Honneur

Le 02/09/2015 à 22h04

#199455

Voir le profil du membre magnux77
Inscrit le : 21/09/2009
Groupes :
Membre d'Honneur

Mais je plaisante Adrien.D, je suis con mais j'avais compris quand même.

Ceci dit 120G, cela devrait durer un peu plus de 2 heures avec la méthode la plus rapide, pas de quoi s'affoler...

Discussions Libres

Répondre

Vous n'êtes pas autorisé à écrire dans cette catégorie

Notre Mission	Liens du site	Nous joindre	MLO est hébergé par
MLO est le forum francophone de la distribution Mageia et vous propose également un portail dédié aux débutants. MLO vous apporte un support sur la distribution grâce à son forum et vous offre des nouvelles de la distribution, des logiciels libres et de l'Open Source en général. Notre site a aussi pour but de vous montrer que Mageia est un système d'exploitation complet et facile à prendre en main. Vous apprendrez à installer simplement et à administrer efficacement votre système en un temps record.	Forum Documentation News du libre Mageia	Contacter MLO Mastodon MLO Flux RSS	MLO est un projet soutenu par Nos partenaires et amis
MLO est mis à disposition selon les termes de la licence Creative Commons.