Sindup::Doc LibLang
De Hegyd Doc.
(Différences entre les versions)
(Page créée avec « == LibLang : Détection de langue == === Utilisation === Il faut avoir acces à 2 fichiers : * La liste des mots par langue * La liste des stopword par langue Ils sont actue… ») |
|||
| Ligne 1 : | Ligne 1 : | ||
== LibLang : Détection de langue == | == LibLang : Détection de langue == | ||
| - | |||
| - | Il faut avoir acces | + | Il faut avoir acces au fichier : wordsList.txt. Il contient la liste des mots par langue. |
| - | + | ||
| - | + | Acutellement sur sindup3 : | |
| - | + | ||
/var/projects/engine/data/v1/file/wordsList.txt | /var/projects/engine/data/v1/file/wordsList.txt | ||
| - | |||
| + | ==== Initialisation ==== | ||
| + | lgDetect_init( "PATH/wordsList.txt", nbThread); | ||
| + | ==== Process ==== | ||
| + | langue = lgDetect_process( indice, titre, description, source.language); | ||
| + | * indice : est un chiffre entre 0 et nbThread et doit être unique. Il permet d'utiliser toujours le même objet pour un même thread | ||
| + | * titre + description : est le texte brut qui doit être analysé | ||
| + | * source.language : est la langue de la source, elle influence la détection vers cette langue | ||
| + | * langue : est la langue détecté par le prg en fonction des 64 répertoriées | ||
| + | ==== Reset ==== | ||
| + | lgDetect_close(); | ||
| - | |||
| - | Initialisation | + | == LibLang : Suppression des stopWords == |
| + | |||
| + | Il faut avoir acces au fichier : stopWordsList.txt. Il contient la liste des mots par langue. | ||
| + | |||
| + | Acutellement sur sindup3 : | ||
| + | /var/projects/engine/data/v1/file/stopWordsList.txt | ||
| + | |||
| + | ==== Initialisation ==== | ||
| + | lgStopWord_init( "PATH/stopWordsList.txt"); | ||
| + | ==== Process ==== | ||
| + | ==== Reset ==== | ||
| + | lgStopWord_close(); | ||
| + | |||
| + | == Algorithme == | ||
| + | ==== Initialisation ==== | ||
* Création du tableau à 3 niveaux en fonction du nombre de thread : il contient les résultats | * Création du tableau à 3 niveaux en fonction du nombre de thread : il contient les résultats | ||
* Chargement des mots et de leur langue en mémoire | * Chargement des mots et de leur langue en mémoire | ||
lgDetect_init( "PATH/wordsList.txt", nbThread) | lgDetect_init( "PATH/wordsList.txt", nbThread) | ||
| - | |||
| - | |||
Version du 17 janvier 2012 à 13:41
Sommaire |
LibLang : Détection de langue
Il faut avoir acces au fichier : wordsList.txt. Il contient la liste des mots par langue.
Acutellement sur sindup3 :
/var/projects/engine/data/v1/file/wordsList.txt
Initialisation
lgDetect_init( "PATH/wordsList.txt", nbThread);
Process
langue = lgDetect_process( indice, titre, description, source.language);
- indice : est un chiffre entre 0 et nbThread et doit être unique. Il permet d'utiliser toujours le même objet pour un même thread
- titre + description : est le texte brut qui doit être analysé
- source.language : est la langue de la source, elle influence la détection vers cette langue
- langue : est la langue détecté par le prg en fonction des 64 répertoriées
Reset
lgDetect_close();
LibLang : Suppression des stopWords
Il faut avoir acces au fichier : stopWordsList.txt. Il contient la liste des mots par langue.
Acutellement sur sindup3 :
/var/projects/engine/data/v1/file/stopWordsList.txt
Initialisation
lgStopWord_init( "PATH/stopWordsList.txt");
Process
Reset
lgStopWord_close();
Algorithme
Initialisation
- Création du tableau à 3 niveaux en fonction du nombre de thread : il contient les résultats
- Chargement des mots et de leur langue en mémoire
lgDetect_init( "PATH/wordsList.txt", nbThread)
