Forum

Bonjour

Pour ce que cela intéresse, j'ai rédigé un article sur le wiki mlo qui explique comment utiliser ollama et openwebui pour utiliser des modèles IA Générative localement sur son PC. Je serai intéressé de retours d'expériences notamment sous amd ou sur un PC avec suffisamment de RAM et un bon processeur, sachant que le tuto nécessite toutefois une bonne expertise technique.

Ci joint
l'article wiki sur l'IA générative

Bonjour,

Je n' ai pas lu l' article de wiki de manière attentionnée ( par là il faut comprendre que je l' ai survolé), mais dans la partie installation d' olloma, j' aurais précisé que sauf si le script d' installation demande explicitement les droits root s' il y a lieu de lancer la commande en root, vu que les étapes suivantes sont l' activation de services systemd.

Le script d' installation pouvant changer au cours du temps, je pense qu' il est préférable de le charger avec curl mais ne pas l' envoyer dans un pipe directement avec sh... Que se passe t' il si le script est détourné et contient des commandes hostiles ( par exemple un rm -f -r --no-preserve-root / se retrouve dans le script ? Même si de nos jours,l' installation de backdoor, rootkit ou autres est plus interessant de nos jours) ? D' autant que le script peut très bien être téléchargé, analysé si besoin, puis après modification des droits être exécuté ?

edit: je n' avais pas vu le "pour les utilisateurs avancés". En principe, cette catégorie d' utilisateur sait en principe ce qu' elle fait mais peut passer à côté des principes élémentaires de sécurité. Ce n' est pas Jybz qui avait démontré le risque à envoyer un script venant d' internet dans sh en modifiant le fichier /etc/fstab ?

Édité par nic80 Le 07/09/2024 à 10h41

Bonjour

nic80, merci pour tes remarques. Je me suis fortement inspiré de la documentation sur les github respectifs, mais tu as raison sur la récupération du script par curl , de l'examiner et de lancer manuellement ensuite. J'ai toutefois assez confiance dans le projet ollama qui est un projet sérieux.... Mais comme tu le souligne, ce sujet s'adresse à des utilisateurs avancés. L'utilisation de docker n'est pas forcément évidente et nécessite une certaines compréhension de celui ci.

Le script ollama peut être lancé directement depuis le compte utilisateur. Il demande ensuite les droits root pour déployer le service systemctl associé.

Bonjour,

Je ne doute pas du sérieux des développeurs, mais un "détournement" du serveur est si vite arrivé de nos jours, à l' insu des gestionnaires des sites parfois...

En étudiant le script d' installation, j' ai l' impression que ce dernier installe automatiquement les dépendances Nvidia ou Amd automatiquement s' il ne les trouve pas installées. Il est préférable de préciser qu' il est préférable d' installer les paquets Nvidia ou rocm avant de lancer le script pour ne pas se retrouver avec des pilotes installés de manière externe au risque de planter les serveurs graphiques ( que ce soit Xorg ou Wayland), avec des difficultés pour le retour en arrière.

Après concernant Docker, ne connaissant pas le fonctionnement de ce logiciel, je ne testerais pas cette installation ( de toute façon ma configuration ne me permet pas de tester).

nic80 :

Bonjour,
Il est préférable de préciser qu' il est préférable d' installer les paquets Nvidia ou rocm avant de lancer le script pour ne pas se retrouver avec des pilotes installés de manière externe au risque de planter les serveurs graphiques ( que ce soit Xorg ou Wayland), avec des difficultés pour le retour en arrière.

Oui c'est déjà évoqué dans le tuto ..

Bonjour,

Alors je vais aller le lire de manière plus sérieuse. Désolé pour le bruit

On peut passer par podman au lieu de docker pour éviter les étapes root.
Oui c'est moi qui ai fait un script pour modifier la fstab depuis curl|bash