Sindup::Doc LibLang

De Hegyd Doc.

Sommaire 1 LibLang : Détection de langue 1.1 Initialisation 1.2 Process 1.3 Reset 2 LibLang : Suppression des stopWords 2.1 Initialisation 2.2 Process 2.3 Reset 3 Algorithme 3.1 Initialisation

LibLang : Détection de langue

Il faut avoir acces au fichier : wordsList.txt. Il contient la liste des mots par langue.

Acutellement sur sindup3 :

/var/projects/engine/data/v1/file/wordsList.txt

Initialisation

lgDetect_init( "PATH/wordsList.txt", nbThread);

Process

langue = lgDetect_process( indice, titre, description, source.language);

• indice : est un chiffre entre 0 et nbThread et doit être unique. Il permet d'utiliser toujours le même objet pour un même thread
• titre + description : est le texte brut qui doit être analysé
• source.language : est la langue de la source, elle influence la détection vers cette langue
• langue : est la langue détecté par le prg en fonction des 64 répertoriées

Reset

lgDetect_close();

LibLang : Suppression des stopWords

Il faut avoir acces au fichier : stopWordsList.txt. Il contient la liste des mots par langue.

Acutellement sur sindup3 :

/var/projects/engine/data/v1/file/stopWordsList.txt

Initialisation

lgStopWord_init( "PATH/stopWordsList.txt");

Process

Reset

lgStopWord_close();

Algorithme

Initialisation

• Création du tableau à 3 niveaux en fonction du nombre de thread : il contient les résultats
• Chargement des mots et de leur langue en mémoire

lgDetect_init( "PATH/wordsList.txt", nbThread)