Faire le ménage

Cherche commande pour déplacer en bloc les fichiers Système et matériels / Administration système

Jybz Membre non connecté

Administrateur Forgeron

Le 06/04/2020 à 11h32

#267244

Voici un script avec l'option -x pour afficher l'exécution ligne par ligne.

Code BASH :

 
#!/bin/bash -x
 
#Ce script :
# déplace tous les fichiers de tous les sous dossiers d'un dossier origine
# vers un unique dossier.
# Dans là cas où un fichier porte déjà le même nom,
# le script rajoute .X à la fin, où X est un nombre qui s'incrémente.
DOSSIER_ORIGINE="/home/${USER}/tmp/origine"
DOSSIER_UNIQUE="/home/${USER}/tmp/unique"
 
# On fait une liste de fichier à déplacer :
LISTE_FICHIERS=$(find "${DOSSIER_ORIGINE}" -type f -name "*")
 
# On parcours la liste 
for FICHIER in ${LISTE_FICHIERS} ; do
    # et vérifie qu'il n'existe pas déjà dans le dossier unique,
    # Avant ça, on récupère le nom du fichier sans son chemin :
    NOM_FICHIER=$(basename ${FICHIER})
    # Vérification de l'existance à la destination :
    if [ -e ${DOSSIER_UNIQUE}/${NOM_FICHIER} ] ; then
        # On incrémente un compteur qu'on initialise à zero
        COMPTEUR=0
        # tant que les fichiers à la destination existe, on l'incrémente
        while [ -e ${DOSSIER_UNIQUE}/${NOM_FICHIER}.${COMPTEUR} ] ; do
            COMPTEUR=$((${COMPTEUR}+1))
        done
        #Lorsque le fichier à la destination n'existe pas déjà,
        #on peut l'utiliser pour le nouveau nom de fichier
        mv ${FICHIER} ${DOSSIER_UNIQUE}/${NOM_FICHIER}.${COMPTEUR}
    #S'il n'existe pas déjà un fichier du même nom,
    else
        #On l'y colle simplement:
        mv ${FICHIER} ${DOSSIER_UNIQUE}/${NOM_FICHIER}
    fi
done
#Fin du script, la liste des fichiers à été parcourue. 
 
#On peut quitter avec le code de retour 0 (tout va bien).
exit 0

Environnement de test :

Code TEXT :

[jybz@localhost tmp]$ tree
.
├── img2.jpg
├── origine
│   ├── dossierA
│   │   └── img2.jpg
│   ├── dossierB
│   │   └── img2.jpg
│   ├── dossierC
│   │   ├── img2.jpg
│   │   └── sousDossierC
│   │       └── img2.jpg
│   └── img2.jpg
└── unique

Exécution du script :

Code TEXT :

[jybz@localhost menage]$ ./DeplacementFichierUniqueDossier.sh 
+ DOSSIER_ORIGINE=/home/jybz/tmp/origine
+ DOSSIER_UNIQUE=/home/jybz/tmp/unique
++ find /home/jybz/tmp/origine -type f -name '*'
+ LISTE_FICHIERS='/home/jybz/tmp/origine/img2.jpg
/home/jybz/tmp/origine/dossierA/img2.jpg
/home/jybz/tmp/origine/dossierC/img2.jpg
/home/jybz/tmp/origine/dossierC/sousDossierC/img2.jpg
/home/jybz/tmp/origine/dossierB/img2.jpg'
+ for FICHIER in ${LISTE_FICHIERS}
++ basename /home/jybz/tmp/origine/img2.jpg
+ NOM_FICHIER=img2.jpg
+ '[' -e /home/jybz/tmp/unique/img2.jpg ']'
+ mv /home/jybz/tmp/origine/img2.jpg /home/jybz/tmp/unique/img2.jpg
+ for FICHIER in ${LISTE_FICHIERS}
++ basename /home/jybz/tmp/origine/dossierA/img2.jpg
+ NOM_FICHIER=img2.jpg
+ '[' -e /home/jybz/tmp/unique/img2.jpg ']'
+ COMPTEUR=0
+ '[' -e /home/jybz/tmp/unique/img2.jpg.0 ']'
+ mv /home/jybz/tmp/origine/dossierA/img2.jpg /home/jybz/tmp/unique/img2.jpg.0
+ for FICHIER in ${LISTE_FICHIERS}
++ basename /home/jybz/tmp/origine/dossierC/img2.jpg
+ NOM_FICHIER=img2.jpg
+ '[' -e /home/jybz/tmp/unique/img2.jpg ']'
+ COMPTEUR=0
+ '[' -e /home/jybz/tmp/unique/img2.jpg.0 ']'
+ COMPTEUR=1
+ '[' -e /home/jybz/tmp/unique/img2.jpg.1 ']'
+ mv /home/jybz/tmp/origine/dossierC/img2.jpg /home/jybz/tmp/unique/img2.jpg.1
+ for FICHIER in ${LISTE_FICHIERS}
++ basename /home/jybz/tmp/origine/dossierC/sousDossierC/img2.jpg
+ NOM_FICHIER=img2.jpg
+ '[' -e /home/jybz/tmp/unique/img2.jpg ']'
+ COMPTEUR=0
+ '[' -e /home/jybz/tmp/unique/img2.jpg.0 ']'
+ COMPTEUR=1
+ '[' -e /home/jybz/tmp/unique/img2.jpg.1 ']'
+ COMPTEUR=2
+ '[' -e /home/jybz/tmp/unique/img2.jpg.2 ']'
+ mv /home/jybz/tmp/origine/dossierC/sousDossierC/img2.jpg /home/jybz/tmp/unique/img2.jpg.2
+ for FICHIER in ${LISTE_FICHIERS}
++ basename /home/jybz/tmp/origine/dossierB/img2.jpg
+ NOM_FICHIER=img2.jpg
+ '[' -e /home/jybz/tmp/unique/img2.jpg ']'
+ COMPTEUR=0
+ '[' -e /home/jybz/tmp/unique/img2.jpg.0 ']'
+ COMPTEUR=1
+ '[' -e /home/jybz/tmp/unique/img2.jpg.1 ']'
+ COMPTEUR=2
+ '[' -e /home/jybz/tmp/unique/img2.jpg.2 ']'
+ COMPTEUR=3
+ '[' -e /home/jybz/tmp/unique/img2.jpg.3 ']'
+ mv /home/jybz/tmp/origine/dossierB/img2.jpg /home/jybz/tmp/unique/img2.jpg.3
+ exit 0

Résultat :

Code TEXT :

 
[jybz@localhost tmp]$ tree
.
├── img2.jpg
├── origine
│   ├── dossierA
│   ├── dossierB
│   └── dossierC
│       └── sousDossierC
└── unique
    ├── img2.jpg
    ├── img2.jpg.0
    ├── img2.jpg.1
    ├── img2.jpg.2
    └── img2.jpg.3

Alors :
Le script à bien déplacé tous les fichiers de tous les dossiers et sous-dossiers du dossier "origine" vers "unique" sans sous dossiers, aucun dossier n'a été déplacé, les fichiers du même on un préfix .0, .1 ainsi de suite jusqu'à ce que le nom de fichier soit disponible.

Téléverser une image : /wiki/hebergement-de-fichiers-sur-mlo

Arch	Machine	OS
x86_64	lenovo x250	mga9
armv7hl	bananapro	mga9
aarch64	Raspberry Pi 4B	mga9

Jybz Membre non connecté

Administrateur Forgeron

Le 06/04/2020 à 12h30

#267246

Voilà, j'ai retravaillé le premier script pour qu'il soit plus compréhensible, et je l'ai testé !

En second test, cette fois si, je mets 3 fichiers différents, dont 2 que je duplique dans deux autres dossiers, je les nommes tous d'un nom différent.

Ainsi, j'ai 5 fichiers "différents" (de nom).

Code TEXT :

 
[jybz@localhost tmp]$ tree
.
├── origine
│   ├── dossierA
│   │   └── fichier2.png
│   ├── dossierB
│   │   └── fichier1-nom1.jpg
│   ├── dossierC
│   │   ├── fichier3-nom2.png
│   │   └── sousDossierC
│   │       └── fichier1-nom2.jpg
│   └── fichier3-nom1.png
└── unique

5 fichiers :
fichier1-nom1.jpg
fichier1-nom2.jpg
fichier2.png
fichier3-nom1.png
fichier3-nom2.png

Après le premier script :

Code TEXT :

 
[jybz@localhost tmp]$ tree
.
├── origine
│   ├── dossierA
│   ├── dossierB
│   └── dossierC
│       └── sousDossierC
└── unique
    ├── fichier1-nom1.jpg
    ├── fichier1-nom2.jpg
    ├── fichier2.png
    ├── fichier3-nom1.png
    └── fichier3-nom2.png

On a bien 5 fichiers de nom différents, donc "aucun doublon".

Voici le script utilisé :

Code BASH :

 
#!/bin/bash -x
 
#Ce script :
# déplace supprime tous les doublons en "contenu" d'un dossier, basé sur la somme MD5
DOSSIER="/home/${USER}/tmp/unique"
CALCULE=md5sum
 
# On liste tous les fichiers (sans prendre en compte les dossiers),
# Attention, on vient aussi lister les fichiers dans les sous-dossiers !
LISTE_FICHIERS=$(find "${DOSSIER}" -type f -name "*")
 
#On crée un fichier temporaire qui contiendra la liste des sommes et des fichiers
LISTE_HASH_FICHIERS=$(mktemp)
#On crée un autre fichier temporaire contenant que la liste des fichiers à supprimer
LISTE_SUPPRESSION=$(mktemp)
 
# On parcours la liste,
for FICHIER in ${LISTE_FICHIERS} ; do
    #Comme calculer des sommes prends un temps non négligeable,
    #on la calcule pour tous les fichiers une seule et unique fois.
    #On ajoute chaque somme au fichier contenant la liste.
    ${CALCULE} ${FICHIER} >> ${LISTE_HASH_FICHIERS}
done
 
#On génère une liste avec uniquement les sommes,
# On coupe pour ne récupérer que la première partie,
# On trie par numéro du HASH,
# On ne garde qu'une unique occurence
LISTE_HASH=$(cat ${LISTE_HASH_FICHIERS} | cut -d ' ' -f 1 | sort | uniq)
 
# On parcours la liste des sommes,
for HASH in ${LISTE_HASH} ; do
    #On regarde le nombre de fois que la somme existe dans la liste
    FICHIERS_IDENTIQUES=$(grep ${HASH} ${LISTE_HASH_FICHIERS})
    NOMBRE=$(echo "${FICHIERS_IDENTIQUES}" | wc -l)
    #S'il y en a plus d'un, on supprime les doublons...
    if [ ${NOMBRE} -gt 1 ] ; then
        #On supprime la première ligne de la liste d'un doublon, donc le premier fichier
        #Et on génère une liste de fichiers à supprimer.
        #Nous avons à chaque ligne une somme, des espaces puis le nom de fichier à supprimer,
        #donc pour chaque ligne, nous remplaçons son début de ligne commençant par une chaine de caractère alpha numérique
        # puis suivit d'espaces, par rien.
        grep ${HASH} ${LISTE_HASH_FICHIERS} | sed -e '1d' | sed -e 's/^[[:alnum:]]*[[:space:]]*//' >>${LISTE_SUPPRESSION}
    fi
done
 
# On parcours la liste des doublons,
for DOUBLON in $(cat ${LISTE_SUPPRESSION}) ; do
    #On supprime les fichiers doublons
    rm -f ${DOUBLON}
done
 
#On supprime les fichiers temporaires
rm -f ${LISTE_HASH_FICHIERS} ${LISTE_SUPPRESSION}
 
exit 0

Son exécution :

Code TEXT :

 
[jybz@localhost menage]$ ./SuppressionFichierDoublonMD5.sh 
+ DOSSIER=/home/jybz/tmp/unique
+ CALCULE=md5sum
++ find /home/jybz/tmp/unique -type f -name '*'
+ LISTE_FICHIERS='/home/jybz/tmp/unique/fichier3-nom1.png
/home/jybz/tmp/unique/fichier2.png
/home/jybz/tmp/unique/fichier1-nom1.jpg
/home/jybz/tmp/unique/fichier1-nom2.jpg
/home/jybz/tmp/unique/fichier3-nom2.png'
++ mktemp
+ LISTE_HASH_FICHIERS=/tmp/tmp.zR4LgYAwjA
++ mktemp
+ LISTE_SUPPRESSION=/tmp/tmp.ZbFXWrj0UI
+ for FICHIER in ${LISTE_FICHIERS}
+ md5sum /home/jybz/tmp/unique/fichier3-nom1.png
+ for FICHIER in ${LISTE_FICHIERS}
+ md5sum /home/jybz/tmp/unique/fichier2.png
+ for FICHIER in ${LISTE_FICHIERS}
+ md5sum /home/jybz/tmp/unique/fichier1-nom1.jpg
+ for FICHIER in ${LISTE_FICHIERS}
+ md5sum /home/jybz/tmp/unique/fichier1-nom2.jpg
+ for FICHIER in ${LISTE_FICHIERS}
+ md5sum /home/jybz/tmp/unique/fichier3-nom2.png
++ cat /tmp/tmp.zR4LgYAwjA
++ cut -d ' ' -f 1
++ sort
++ uniq
+ LISTE_HASH='4c36cb4caa2174ada07f9268ea4bf4e8
62a023a3ba3156aa09b097230f921ceb
8f556c3f9aa0e80a3f19e0d85736f0d7'
+ for HASH in ${LISTE_HASH}
++ grep 4c36cb4caa2174ada07f9268ea4bf4e8 /tmp/tmp.zR4LgYAwjA
+ FICHIERS_IDENTIQUES='4c36cb4caa2174ada07f9268ea4bf4e8  /home/jybz/tmp/unique/fichier1-nom1.jpg
4c36cb4caa2174ada07f9268ea4bf4e8  /home/jybz/tmp/unique/fichier1-nom2.jpg'
++ echo '4c36cb4caa2174ada07f9268ea4bf4e8  /home/jybz/tmp/unique/fichier1-nom1.jpg
4c36cb4caa2174ada07f9268ea4bf4e8  /home/jybz/tmp/unique/fichier1-nom2.jpg'
++ wc -l
+ NOMBRE=2
+ '[' 2 -gt 1 ']'
+ grep 4c36cb4caa2174ada07f9268ea4bf4e8 /tmp/tmp.zR4LgYAwjA
+ sed -e 1d
+ sed -e 's/^[[:alnum:]]*[[:space:]]*//'
+ for HASH in ${LISTE_HASH}
++ grep 62a023a3ba3156aa09b097230f921ceb /tmp/tmp.zR4LgYAwjA
+ FICHIERS_IDENTIQUES='62a023a3ba3156aa09b097230f921ceb  /home/jybz/tmp/unique/fichier2.png'
++ echo '62a023a3ba3156aa09b097230f921ceb  /home/jybz/tmp/unique/fichier2.png'
++ wc -l
+ NOMBRE=1
+ '[' 1 -gt 1 ']'
+ for HASH in ${LISTE_HASH}
++ grep 8f556c3f9aa0e80a3f19e0d85736f0d7 /tmp/tmp.zR4LgYAwjA
+ FICHIERS_IDENTIQUES='8f556c3f9aa0e80a3f19e0d85736f0d7  /home/jybz/tmp/unique/fichier3-nom1.png
8f556c3f9aa0e80a3f19e0d85736f0d7  /home/jybz/tmp/unique/fichier3-nom2.png'
++ echo '8f556c3f9aa0e80a3f19e0d85736f0d7  /home/jybz/tmp/unique/fichier3-nom1.png
8f556c3f9aa0e80a3f19e0d85736f0d7  /home/jybz/tmp/unique/fichier3-nom2.png'
++ wc -l
+ NOMBRE=2
+ '[' 2 -gt 1 ']'
+ grep 8f556c3f9aa0e80a3f19e0d85736f0d7 /tmp/tmp.zR4LgYAwjA
+ sed -e 1d
+ sed -e 's/^[[:alnum:]]*[[:space:]]*//'
++ cat /tmp/tmp.ZbFXWrj0UI
+ for DOUBLON in $(cat ${LISTE_SUPPRESSION})
+ rm -f /home/jybz/tmp/unique/fichier1-nom2.jpg
+ for DOUBLON in $(cat ${LISTE_SUPPRESSION})
+ rm -f /home/jybz/tmp/unique/fichier3-nom2.png
+ rm -f /tmp/tmp.zR4LgYAwjA /tmp/tmp.ZbFXWrj0UI
+ exit 0

Le résultat :

Code TEXT :

 
[jybz@localhost tmp]$ tree
.
├── origine
│   ├── dossierA
│   ├── dossierB
│   └── dossierC
│       └── sousDossierC
└── unique
    ├── fichier1-nom1.jpg
    ├── fichier2.png
    └── fichier3-nom1.png

Nous avons bien supprimé les fichiers identiques.

Téléverser une image : /wiki/hebergement-de-fichiers-sur-mlo

Arch	Machine	OS
x86_64	lenovo x250	mga9
armv7hl	bananapro	mga9
aarch64	Raspberry Pi 4B	mga9

mabthera Membre non connecté

Le 06/04/2020 à 13h11

#267250

Merci pour le travail.
Je crois qu'il y a eu d'autres messages, le temps que j'écrive le mien...

J'ai essayé, cela marche, mais pas complètement. Je crois qu'il saucissonne les noms de fichiers et de répertoires qui présentent un espace (en principe, j'évite de mettre des espaces, mais je récupère beaucoup de fichiers d'ailleurs) et ne les trouve pas (336 fichiers restants dans origine et 2701 dans unique) :

mv: impossible d'évaluer '/home/toto/tmp/origine/SANTE/semaine': Aucun fichier ou dossier de ce type
mv: impossible d'évaluer 'contre': Aucun fichier ou dossier de ce type
mv: impossible d'évaluer 'le': Aucun fichier ou dossier de ce type
mv: impossible d'évaluer 'cancer.pdf': Aucun fichier ou dossier de ce type
...
mv: impossible d'évaluer '/home/toto/tmp/origine/tata/JEANNE': Aucun fichier ou dossier de ce type
mv: impossible d'évaluer "D'ARC/bulletin_2013_2.jpg": Aucun fichier ou dossier de ce type
mv: impossible d'évaluer '/home/toto/tmp/origine/tata/JEANNE': Aucun fichier ou dossier de ce type
mv: impossible d'évaluer "D'ARC/bulletin-LJA.jpg": Aucun fichier ou dossier de ce type
mv: impossible d'évaluer '/home/toto/tmp/origine/tata/JEANNE': Aucun fichier ou dossier de ce type
mv: impossible d'évaluer "D'ARC/CV": Aucun fichier ou dossier de ce type
mv: impossible d'évaluer 'JEANNE': Aucun fichier ou dossier de ce type
mv: impossible d'évaluer "D'ARC.rtf": Aucun fichier ou dossier de ce type
...

PS : j'ai remplacé 2 prénoms par toto et tata

Par ailleurs, mon idée de renommer les noms de fichiers génériques en accolant une partie du nom du répertoire était bonne (ie IMG_0008.jpg -> titi_0008.jpg, 108.jpg -> 108_tonton.jpg), parce que cela me donne idée de l'objet du fichier document. Mais, je peux préparer le répertoire avant. De même pour les noms comportant des espaces.

Encore merci et bonne journée !

Édité par mabthera Le 06/04/2020 à 13h13

Jybz Membre non connecté

Administrateur Forgeron

Le 06/04/2020 à 15h03

#267253

mabthera :

J'ai essayé, cela marche, mais pas complètement. Je crois qu'il saucissonne les noms de fichiers et de répertoires qui présentent un espace (en principe, j'évite de mettre des espaces, mais je récupère beaucoup de fichiers d'ailleurs) et ne les trouve pas (336 fichiers restants dans origine et 2701 dans unique) :

mv: impossible d'évaluer '/home/toto/tmp/origine/SANTE/semaine': Aucun fichier ou dossier de ce type
mv: impossible d'évaluer 'contre': Aucun fichier ou dossier de ce type
mv: impossible d'évaluer 'le': Aucun fichier ou dossier de ce type
mv: impossible d'évaluer 'cancer.pdf': Aucun fichier ou dossier de ce type
...
mv: impossible d'évaluer '/home/toto/tmp/origine/tata/JEANNE': Aucun fichier ou dossier de ce type
mv: impossible d'évaluer "D'ARC/bulletin_2013_2.jpg": Aucun fichier ou dossier de ce type
mv: impossible d'évaluer '/home/toto/tmp/origine/tata/JEANNE': Aucun fichier ou dossier de ce type
mv: impossible d'évaluer "D'ARC/bulletin-LJA.jpg": Aucun fichier ou dossier de ce type
mv: impossible d'évaluer '/home/toto/tmp/origine/tata/JEANNE': Aucun fichier ou dossier de ce type
mv: impossible d'évaluer "D'ARC/CV": Aucun fichier ou dossier de ce type
mv: impossible d'évaluer 'JEANNE': Aucun fichier ou dossier de ce type
mv: impossible d'évaluer "D'ARC.rtf": Aucun fichier ou dossier de ce type
...

Ah ! Ok, je pense qu'il suffit de rajouter IFS=$'\n' juste avant !

Code BASH :

 
#!/bin/bash -x
 
#Ce script :
# déplace tous les fichiers de tous les sous dossiers d'un dossier origine
# vers un unique dossier.
# Dans là cas où un fichier porte déjà le même nom,
# le script rajoute .X à la fin, où X est un nombre qui s'incrémente.
DOSSIER_ORIGINE="/home/${USER}/tmp/origine"
DOSSIER_UNIQUE="/home/${USER}/tmp/unique"
 
# On fait une liste de fichier à déplacer :
LISTE_FICHIERS=$(find "${DOSSIER_ORIGINE}" -type f -name "*")
 
#On redéfini le "séparateur" par une ligne au lieu de "n'importe quoi". #EDIT : MomentMagnétique l'explique bien mieux que moi, je découvre ses compétences ;)
IFS=$'\n'
# On parcours la liste 
for FICHIER in ${LISTE_FICHIERS} ; do
    # et vérifie qu'il n'existe pas déjà dans le dossier unique,
    # Avant ça, on récupère le nom du fichier sans son chemin :
    NOM_FICHIER=$(basename ${FICHIER})
    # Vérification de l'existance à la destination :
    if [ -e ${DOSSIER_UNIQUE}/${NOM_FICHIER} ] ; then
        # On incrémente un compteur qu'on initialise à zero
        COMPTEUR=0
        # tant que les fichiers à la destination existe, on l'incrémente
        while [ -e ${DOSSIER_UNIQUE}/${NOM_FICHIER}.${COMPTEUR} ] ; do
            COMPTEUR=$((${COMPTEUR}+1))
        done
        #Lorsque le fichier à la destination n'existe pas déjà,
        #on peut l'utiliser pour le nouveau nom de fichier
        mv ${FICHIER} ${DOSSIER_UNIQUE}/${NOM_FICHIER}.${COMPTEUR}
    #S'il n'existe pas déjà un fichier du même nom,
    else
        #On l'y colle simplement:
        mv ${FICHIER} ${DOSSIER_UNIQUE}/${NOM_FICHIER}
    fi
done
#Fin du script, la liste des fichiers à été parcourue. 
 
#On peut quitter avec le code de retour 0 (tout va bien).
exit 0

Édité par Jybz Le 06/04/2020 à 15h07

Téléverser une image : /wiki/hebergement-de-fichiers-sur-mlo

Arch	Machine	OS
x86_64	lenovo x250	mga9
armv7hl	bananapro	mga9
aarch64	Raspberry Pi 4B	mga9

Répondre

Vous n'êtes pas autorisé à écrire dans cette catégorie

Notre Mission	Liens du site	Nous joindre	MLO est hébergé par
MLO est le forum francophone de la distribution Mageia et vous propose également un portail dédié aux débutants. MLO vous apporte un support sur la distribution grâce à son forum et vous offre des nouvelles de la distribution, des logiciels libres et de l'Open Source en général. Notre site a aussi pour but de vous montrer que Mageia est un système d'exploitation complet et facile à prendre en main. Vous apprendrez à installer simplement et à administrer efficacement votre système en un temps record.	Forum Documentation News du libre Mageia	Contacter MLO Mastodon MLO Flux RSS	MLO est un projet soutenu par Nos partenaires et amis
MLO est mis à disposition selon les termes de la licence Creative Commons.

mabthera Membre non connecté

nic80 Membre non connecté

mabthera Membre non connecté

magnux77 Membre non connecté

Papoteur Membre non connecté

mabthera Membre non connecté

Jybz Membre non connecté

mabthera Membre non connecté

Jybz Membre non connecté

Jybz Membre non connecté

Hodos Membre non connecté

Jybz Membre non connecté

mabthera Membre non connecté

moment magnetique Membre non connecté

Jybz Membre non connecté