Sindup::Doc LibLang
De Hegyd Doc.
(Différences entre les versions)
| Ligne 9 : | Ligne 9 : | ||
lgDetect_init( "PATH/wordsList.txt", nbThread); | lgDetect_init( "PATH/wordsList.txt", nbThread); | ||
==== Process ==== | ==== Process ==== | ||
| - | langue = lgDetect_process( indice, titre, description, source.language); | + | langue = '''lgDetect_process'''( indice, titre, description, source.language); |
* indice : est un chiffre entre 0 et nbThread et doit être unique. Il permet d'utiliser toujours le même objet pour un même thread | * indice : est un chiffre entre 0 et nbThread et doit être unique. Il permet d'utiliser toujours le même objet pour un même thread | ||
| - | * titre + description : | + | * titre + description : le texte à analyser |
* source.language : est la langue de la source, elle influence la détection vers cette langue | * source.language : est la langue de la source, elle influence la détection vers cette langue | ||
* langue : est la langue détecté par le prg en fonction des 64 répertoriées | * langue : est la langue détecté par le prg en fonction des 64 répertoriées | ||
| + | langue = '''lgDetect_processOption'''( indice, chaine, nb, tableau); | ||
| + | * indice : est un chiffre entre 0 et nbThread et doit être unique. Il permet d'utiliser toujours le même objet pour un même thread | ||
| + | * chaine : le texte brut à analyser | ||
| + | * nb : nombre d'élément dans le tableau de résultats | ||
| + | * tableau : liste des langues avec leur taux de correspondance au texte | ||
==== Reset ==== | ==== Reset ==== | ||
lgDetect_close(); | lgDetect_close(); | ||
| - | |||
| - | |||
| Ligne 34 : | Ligne 37 : | ||
==== Reset ==== | ==== Reset ==== | ||
lgStopWord_close(); | lgStopWord_close(); | ||
| + | |||
| + | |||
== Algorithme == | == Algorithme == | ||
Version du 25 janvier 2012 à 14:42
Sommaire |
LibLang : Détection de langue
Il faut avoir acces au fichier : wordsList.txt. Il contient la liste des mots par langue.
Acutellement sur sindup3 :
/var/projects/engine/data/v1/file/wordsList.txt
Initialisation
lgDetect_init( "PATH/wordsList.txt", nbThread);
Process
langue = lgDetect_process( indice, titre, description, source.language);
- indice : est un chiffre entre 0 et nbThread et doit être unique. Il permet d'utiliser toujours le même objet pour un même thread
- titre + description : le texte à analyser
- source.language : est la langue de la source, elle influence la détection vers cette langue
- langue : est la langue détecté par le prg en fonction des 64 répertoriées
langue = lgDetect_processOption( indice, chaine, nb, tableau);
- indice : est un chiffre entre 0 et nbThread et doit être unique. Il permet d'utiliser toujours le même objet pour un même thread
- chaine : le texte brut à analyser
- nb : nombre d'élément dans le tableau de résultats
- tableau : liste des langues avec leur taux de correspondance au texte
Reset
lgDetect_close();
LibLang : Suppression des stopWords
Il faut avoir acces au fichier : stopWordsList.txt. Il contient la liste des mots par langue.
Acutellement sur sindup3 :
/var/projects/engine/data/v1/file/stopWordsList.txt
Initialisation
lgStopWord_init( "PATH/stopWordsList.txt");
Process
Reset
lgStopWord_close();
Algorithme
Initialisation
- Création du tableau à 3 niveaux en fonction du nombre de thread : il contient les résultats
- Chargement des mots et de leur langue en mémoire
lgDetect_init( "PATH/wordsList.txt", nbThread)
Alocation d'une zone mémoire "appartenant" a un thread grace à l'indice unique
- Appel de la fonction entrante
- Appel d'une fonction qui traite la chaine, les données sont poussé dans la structur alloué
- la fonction d'entrée peut alors avori acces au résultats du traaitement et extraire les information sous le formt souahiter
