Sindup::Doc LibLang

De Hegyd Doc.

Sommaire 1 LibLang : Détection de langue 1.1 Initialisation 1.2 Process 1.3 Reset 2 LibLang : Suppression des stopWords 2.1 Initialisation 2.2 Process 2.3 Reset 3 Algorithme 3.1 Initialisation

LibLang : Détection de langue

Il faut avoir acces au fichier : wordsList.txt. Il contient la liste des mots par langue.

Acutellement sur sindup3 :

/var/projects/engine/data/v1/file/wordsList.txt

Initialisation

lgDetect_init( "PATH/wordsList.txt", nbThread);

Process

langue = lgDetect_process( indice, titre, description, source.language);

• indice : est un chiffre entre 0 et nbThread et doit être unique. Il permet d'utiliser toujours le même objet pour un même thread
• titre + description : est le texte brut qui doit être analysé
• source.language : est la langue de la source, elle influence la détection vers cette langue
• langue : est la langue détecté par le prg en fonction des 64 répertoriées

Reset

lgDetect_close();

LibLang : Suppression des stopWords

Il faut avoir acces au fichier : stopWordsList.txt. Il contient la liste des mots par langue.

Acutellement sur sindup3 :

/var/projects/engine/data/v1/file/stopWordsList.txt

Initialisation

lgStopWord_init( "PATH/stopWordsList.txt");

Process

Reset

lgStopWord_close();

Algorithme

Initialisation

• Création du tableau à 3 niveaux en fonction du nombre de thread : il contient les résultats
• Chargement des mots et de leur langue en mémoire

lgDetect_init( "PATH/wordsList.txt", nbThread)

Alocation d'une zone mémoire "appartenant" a un thread grace à l'indice unique

• Appel de la fonction entrante
• Appel d'une fonction qui traite la chaine, les données sont poussé dans la structur alloué
• la fonction d'entrée peut alors avori acces au résultats du traaitement et extraire les information sous le formt souahiter

Sindup#Programmes_C