Sindup::Doc LibLang
De Hegyd Doc.
(Différences entre les versions)
| Ligne 17 : | Ligne 17 : | ||
==== Reset ==== | ==== Reset ==== | ||
lgDetect_close(); | lgDetect_close(); | ||
| + | |||
| + | |||
| + | |||
| Ligne 38 : | Ligne 41 : | ||
lgDetect_init( "PATH/wordsList.txt", nbThread) | lgDetect_init( "PATH/wordsList.txt", nbThread) | ||
| + | |||
| + | Alocation d'une zone mémoire "appartenant" a un thread grace à l'indice unique | ||
| + | |||
| + | *Appel de la fonction entrante | ||
| + | *Appel d'une fonction qui traite la chaine, les données sont poussé dans la structur alloué | ||
| + | * la fonction d'entrée peut alors avori acces au résultats du traaitement et extraire les information sous le formt souahiter | ||
[[Sindup#Programmes_C]] | [[Sindup#Programmes_C]] | ||
Version du 25 janvier 2012 à 14:31
Sommaire |
LibLang : Détection de langue
Il faut avoir acces au fichier : wordsList.txt. Il contient la liste des mots par langue.
Acutellement sur sindup3 :
/var/projects/engine/data/v1/file/wordsList.txt
Initialisation
lgDetect_init( "PATH/wordsList.txt", nbThread);
Process
langue = lgDetect_process( indice, titre, description, source.language);
- indice : est un chiffre entre 0 et nbThread et doit être unique. Il permet d'utiliser toujours le même objet pour un même thread
- titre + description : est le texte brut qui doit être analysé
- source.language : est la langue de la source, elle influence la détection vers cette langue
- langue : est la langue détecté par le prg en fonction des 64 répertoriées
Reset
lgDetect_close();
LibLang : Suppression des stopWords
Il faut avoir acces au fichier : stopWordsList.txt. Il contient la liste des mots par langue.
Acutellement sur sindup3 :
/var/projects/engine/data/v1/file/stopWordsList.txt
Initialisation
lgStopWord_init( "PATH/stopWordsList.txt");
Process
Reset
lgStopWord_close();
Algorithme
Initialisation
- Création du tableau à 3 niveaux en fonction du nombre de thread : il contient les résultats
- Chargement des mots et de leur langue en mémoire
lgDetect_init( "PATH/wordsList.txt", nbThread)
Alocation d'une zone mémoire "appartenant" a un thread grace à l'indice unique
- Appel de la fonction entrante
- Appel d'une fonction qui traite la chaine, les données sont poussé dans la structur alloué
- la fonction d'entrée peut alors avori acces au résultats du traaitement et extraire les information sous le formt souahiter
