Forum

Je commence ici ce fil de discussion "technique".

Voici le problème que je rencontre avec la nouvelle version de NoComprendo : il me manque l'API en langage C vers Vosk.
Il faudrait un fichier vosk_api.h à jour de la bibliothèque, je suppose dans le paquet lib64kaldi-vosk-devel.
Le programme utilise libvosk.so fournit par le paquet python3_vosk-api.

Pour l'instant je l'ai intégré en dur dans le code de l'application, mais je préférerais utiliser des en-têtes de fichiers fournis dans les paquets.
La version que j'utilise de vosk_api.h est plus récente que celle de la bibliothèque. Certains appels de fonctions sont inconnus.

Bruno

Bonjour,
Le packaging a changé dans cauldron, vosk_api.h est avec lib64vosk-devel dans Cauldron. Il n'est pas dans Mageia 9.
Es-tu avec Mageia 9 ?

Oui, une mageia 9 mais pas Cauldron.
Suivant la date de sortie de la prochaine version, je peux attendre un peu et aller chercher un vosk_api.h à jour dans le paquet de Cauldron (si la bibliothèque n'a pas changé).

Bruno

Je viens de lire un fil de discussion sur la dictée vocale avec elograf.
J'essaye aussi de mon côté de résoudre les problèmes de ponctuations. J'ai mis au point une solution qui fonctionne, même si elle ne me satisfait pas encore totalement.
En mode dictée on peut dire une phrase, laisser un silence, dire "point à la ligne" qui apparaît dans la dictée d'abord comme une phrase, puis est remplacé par un "." et un saut de ligne.
L'effet est un peu bizarre, ça donne le résultat attendu, mais je n'ai pas encore dit mon dernier mot.

Le plus pénible c'est les majuscules.
Vosk n'en mets aucune, il a raison ce n'est pas son boulot, il ne fait que reconnaître les phrases.
J'en mets une automatiquement au début de chaque énoncé, mais derrière une virgule c'est moche. Je n'ai pas encore trouvé une solution simple.

NoComprendo permet déjà des commandes d'édition en mode dictée. Par exemple "Efface le dernier mot" (touches : Ctrl+Maj+Gauche, Effacement) ou "Sélectionne la ligne" (touches : Fin, Maj+Début) sont reconnus comme une commande vocale et pas comme une phrase de la dictée.
C'est le genre de fonctionnalité qui n'était pas prévue au départ et qui est devenue évidente au cours du développement.

Mais pour que ça fonctionne bien, il est important de bien articuler et détacher les syllabes. Dès qu'on parle un peu vite et qu'on avale les mots, ça marche pas.

Mais pourquoi ne pas avoir une séquence d'échappement ?
Dire "échappe" pour échapper,
échappe échappe pour écrire échappe,
Échappe quitter pour quitter,
Échappe point pour .
Échappe …

be.root :

Oui, une mageia 9 mais pas Cauldron.
Suivant la date de sortie de la prochaine version, je peux attendre un peu et aller chercher un vosk_api.h à jour dans le paquet de Cauldron (si la bibliothèque n'a pas changé).

Bruno

Normalement, cette version correspond à celle de Mageia 9 : https://github.com/alphacep/vosk-api/blob/v0.3.43/src/vosk_api.h

J'ai récupéré vosk_api.h depuis Cauldron. Il n'est pas très différent de celui que j'utilise.
Par contre le paquet lib64vosk-devel n'existe pas encore dans Mageia 9. J'utilise python3-vosk-api actuellement pour la bibliothèque.

Ça vous dirait une version de démo d'ici quelques jours ?

be.root :

J'ai récupéré vosk_api.h depuis Cauldron. Il n'est pas très différent de celui que j'utilise.
Par contre le paquet lib64vosk-devel n'existe pas encore dans Mageia 9. J'utilise python3-vosk-api actuellement pour la bibliothèque.

Ça vous dirait une version de démo d'ici quelques jours ?

Oh oui !

Je me permets de te signaler aussi numen et dotool https://numenvoice.org/
J'utilise dotool pour la simulation du clavier.
Par contre, je n'ai pas trouvé d'application à numen. Est-ce trop spécialisé pour l'anglais ? ou pour certains logiciels ?

Papoteur :

Je me permets de te signaler aussi numen et dotool https://numenvoice.org/
J'utilise dotool pour la simulation du clavier.
Par contre, je n'ai pas trouvé d'application à numen. Est-ce trop spécialisé pour l'anglais ? ou pour certains logiciels ?

J'avais déjà vu cette démo. C'est impressionnant, mais ça ne m'intéresse pas trop.
La commande vocale pour coder, c'est l'enfer, il faut vraiment être invalide et la productivité s'effondre.

La bibliothèque Vosk ne reconnaît pas des mots, mais des phrases.
Si on dit "Quitte l'application", quand le premier mot arrive, il comprend d'abord le mot "kit". Tant que ce mot est seul, il est plus probable que ce soit "kit". Quand les mots suivants arrivent, le premier mot est remis dans le contexte avant de former la bonne phrase.
C'est vraiment fait pour dicter du français et pas pour comprendre des mots isolés comme c'est le cas quand on code.
Ça a vraiment changé la façon de choisir les énoncés. Avant on disait "Quitte application", mais Vosk préfère les phrases bien formées.

À propos de dotool.
J'ai vu sur le site qu'ils prétendent la compatibilité X11/Wayland, mais je n'ai rien pour vérifier que ça marche effectivement sous Wayland.
Peux-tu me confirmer que la pub n'est pas mensongère ?

Édité par be.root Le 14/11/2024 à 11h06

be.root :

[quote=Papoteur]
À propos de dotool.
J'ai vu sur le site qu'ils prétendent la compatibilité X11/Wayland, mais je n'ai rien pour vérifier que ça marche effectivement sous Wayland.
Peux-tu me confirmer que la pub n'est pas mensongère ?

Non, je n'ai pas de session Wayland pour l'instant. Je fonctionne sous LXQt, et la fonctionnalité Wayland vient juste d'arriver avec la version 2.1, je n'ai pas encore mis en œuvre.
Il fonctionne bien. J'ai dû par contre le brider pour la dictée dans libreoffice car il y avait un problème de timing entre les effacements et les nouveaux caractères qui arrivaient.

Je vous ai préparé une version de démonstration de NoComprendo à tester ce week-end.
Il y a quelques précautions à prendre si vous utilisez une version précédente. Les fichiers de configuration ne sont pas compatibles entre les deux versions.
Si vous utilisez la version actuelle et que vous souhaitez garder vos fichiers de configuration, utilisez les boutons d'exportation pour les enregistrer quelque part.

Désinstaller le paquet NoComprendo
$ urpme nocomprendo
Faire une remise à zéro de l'application.
Supprimer le fichier de configuration : /home/<user>/.config/BeRoot/NoComprendo.conf.
Supprimer le répertoire du dictionnaire et des groupes de commandes : /home/<user>/.config/nocomprendo/.
Lors de la prochaine exécution, les groupes de commandes par défaut seront réinstallés.

Si vous n'avez jamais utilisé NoComprendo, il n'y a rien à faire.

Téléchargez la version de démo en suivant ce lien : http://be.root.free.fr/soft/nocomprendo/nocomprendo-1.55-1.mga9.x86_64.rpm
Ne lisez pas les informations contenues sur NoComprendo sur ce site, elles ne sont pas à jour.

Installez ce paquet (tout le monde sait faire ça chez Mageia).

Au premier démarrage
NoComprendo vous demandera de choisir un modèle de langage.
Si vous êtes déjà utilisateur de nerd-dictation ou de elograf, vous avez déjà des modèles de langage disponibles sur votre machine.
Sinon un bouton vous permettra d'aller en télécharger sur le site de vosk.
Pour le français, je conseille vosk-model-fr le plus récent. Les petits modèles sont plutôt destinés aux smartphones.

NoComprendo a également besoin de droits d'écriture pour simuler le clavier et la souris. S'il détecte que ces droits ne sont pas présents, Le mot de passe root vous sera demandé pour les affecter.

Ensuite
Différents groupes de commandes par défaut sont installés au premier démarrage. Ensuite vous pouvez les modifier et en faire ce que vous voulez. Certains énoncés mériteraient d'être améliorés.
Il y a des pages d'aide en français intégrées dans l'application (les anglais attendront) pour vous aider à la prise en main.

Si vous n'êtes intéressé que par le mode dictée, ne gardez que le groupe "Dictée" actif pour faire des essais.
N'oubliez pas d'aller faire un tour dans le menu de configuration. On y trouve quelques commandes vocales pour les multiplicateurs et les déplacements de souris.
Testez également les deux comportements possibles pour la dictée : opaque ou transparent.

Pour les plus geeks d'entre vous qui souhaiteraient regarder le code, j'ai un dépôt git chez KDE (je bosse aussi pour GCompris) :
https://invent.kde.org/beroot/nocomprendo

Bons tests et merci de me renvoyer vos impressions.

Édité par be.root Le 15/11/2024 à 11h21

Bonjour,
Le programme ne fonctionne pas dans Mageia 9 LXQt.
« Echec de L'ouverture des droits d'ecriture pour denis »

Rien d'important dans la console. Le mot de passe est correct. polkit et mate-polkit sont installés (rpmdrake fonctionne). Si j'entre un mauvais mot de passe, le système me dit que l'autorisation a échoué pour une raison quelconque. Puis « Echec de L'ouverture des droits d'ecriture pour denis ». Avec un mot de passe valide - immédiatement « Echec de L'ouverture des droits d'ecriture pour denis ». Sous root (su -) « Echec de L'ouverture des droits d'ecriture pour root ».

Cependant, si j'attends 30 secondes et que je n'entre pas le mot de passe, le programme démarre et fonctionne.

Édité par Visiteur Le 18/11/2024 à 03h02

Merci pour ce retour.

J'ai essayé d'automatiser une procédure manuelle lors de l'installation de dotool (partie permission, à faire sous root). C'est la première fois que j'essaye de faire ça. Ce n'est peut-être pas réussi.
Ils disent aussi que c'est plus sûr de redémarrer après cette manip. Mais je n'en avais pas eu besoin.

Je viens de faire une version plus permissive, qui permet de rentrer dans l'application même sans les droits d'accès.
À télécharger ici : http://be.root.free.fr/soft/nocomprendo/nocomprendo-1.57-1.mga9.x86_64.rpm

Par contre, le truc des 30 secondes, je ne comprends pas bien.

Pour information :
Ce message et le précédent ont été en partie dictés avec NoComprendo, ça n'empêche pas de nombreuses retouches manuelles.
Un petit contrôle avec grammalecte est aussi bien utile.

Édité par be.root Le 18/11/2024 à 14h36

Ah, il manque un patch dans la version 9 de dotool.
https://svnweb.mageia.org/packages/cauldron/dotool/current/SOURCES/0001-udev-rule-for-uaccess-user.patch?revision=1985050&view=markup
Pas encore pu tester, mais c'est au programme