Hegyd Doc - Contributions de l’utilisateur [fr]

Sindup

Vanina Lebouvier — Wed, 29 Aug 2012 08:02:26 GMT

Vanina Lebouvier : Annulation des modifications 1523 de Vanina Lebouvier (discussion)

Attention : « Sindup » est référencé ici, mais vous ne disposez pas des autorisations pour y accéder.

Sindup

Vanina Lebouvier — Mon, 16 Jul 2012 15:48:42 GMT

Vanina Lebouvier :

Attention : « Sindup » est référencé ici, mais vous ne disposez pas des autorisations pour y accéder.

Sindup:ChangeLog ProgrammeC

Vanina Lebouvier — Tue, 27 Mar 2012 15:17:40 GMT

Vanina Lebouvier :

==27-03-2012==
===Rssflower===
* Ajout d'une option de debug permettant de tester les flux pubsub intern
* Ajout d'une option de debug permettant de ne pas afficher les items lors de test

===LibAddContent (patch)===
* Correction de la requete d'insertion de reviews en BDD

==20-03-2012==
===Rssflower===
* Ajout d'un test pour les réseaux sociaux non interne, recherche du post en base (comme pour les news) => gain en nombre de requetes, en process Decoder

===DetectLang===
* Création d'une socket server permettant la détection de langue de texte a la volé

===Divers===
* Création d'un script permettant la détection et la correction des news cassé a cause de caractères spéciaux

==29-02-2012==
===Rssflower===
* Ajout d'un test pour exclure les caractères non affichable ( xml.c)

==19-01-2012==
===LibLang===
* Ajout d'une fonction permettant le tri d'une liste de mot avec le fonction de tri utilisé par la lib
* Refonte des fichiers stopWordsList.txt et wordsList.txt
* Suppression des mots ayant une longueur >= 30 caractères
* Suppression + renomage d'une partie des varaible static de la lib

==23-11-2011==
===Rssflower===
'''Multilangue''' : Prise en compte de la langue pour les flux twitter

'''Gestion des rss''' : Refonte du parcours des rss
*rss.c : Centralisation des fonctions lié aux rss (init, update, ...)
*rssInfo.c : Gestion uniquement du tableau de rss et du contenus des rss
*rssList.c : Création d'un thread pour les fluxs pubsub (exec des requetes) + un thread pour l'ordonenscement des rss dans la files d'attente
*infoStat.c : Lors de l'init il n'y a qu'une requête d'executer au lieu d'une par rss

'''Problème d'espace manquant''' : Les caractères de contrôles ne sont plus obligatoirement supprimé. S'ils correspondent à un "blanc" ils sont remplacé par un espace.

'''Date null''' : Dans le cas où la date est null (0000-00-00 00:00:00), maintenant l'uts correspondant est l'uts courant.

===Decoder===
'''Multilangue''' : Recherche de la langue + traitement de la news en fonction
*liglangdetect : Détection la langue à partir d'un fichier de mot
*libged : Suppression des stopwords en fonction de la langue
*libged : Découpage des mots en stem en fonction de la langue
*libged : Insertion des stem dans des tables préfixé par le nom de la langue

'''Insertion des news''' : On arrête l'insertion du body dans les requête (toujours vide)

===Classifier===
'''Multilangue''' : Refonte de la gestion des models, un folder peux avoir plusieurs models en fonction des langues des news

'''Process''' : Modification du process pour que les folders et les subjects soient traité par le même classifier

'''OverQuota''' : Prise en compte des clients et des user ne devant pas être traité par filterlive

===ClassLearning===
'''Multilangue''' : Prise en compte de la langue pour la selection des news et les modifications des models

'''Log''' : Modification de la gestion des log pour être unifome entre les programmes

'''Conf''' : Mise en place d'un fichier de conf pour permettre un lancement plus rapide

===Clustering===
'''Multilangue = EXCLUSIVEMENT FR''' : Prise en compte de la langue pour la création des tables de tfidf

==04-11-2011==
===Rssflower (patch)===
'''Erreur sur requete mysql''' : Dans certain cas on gere les erreurs publié dans le flux rss, mais en plus du code d'erreur il y a une message
*item.c : Ajout d'un atoi pour extraire uniquement le code d'erreur

==19-10-2011==
===Rssflower===
'''Date non détecté''' : Pour certain flux ATOM la balise de la date n'est pas géré
*item.c > read_date : Ajout d'une recherche de updated

==06-10-2011==
===Rssflower (patch)===
'''Problème d'auteur''' : Les auteurs n'était plus remonté depuis le 25/08/2011
*rss_look.c > adjustXml : Changement de la fonction appelé

==04-08-2011==
===Rssflower===
''Gestion des décalage horaires''''
*rss_look.c : ajout d'un décalage de 12h pour la vérification des dates futures

==28-07-2011==
===Decoder===
*Mise en commentaire de tout les classement automatique de news dans des dossiers pour les news (reste en fonctionnement pour les avis et socialPost)

==29-06-2011==
===liblang===
Ajout d'une fonction qui donne l'Id d'une langue
*lgGetName : pour le moment la fonction retourne toujours 0

===libflow===
Prise en compte dans champ langXml et country

===libaddcontent===
Ajout du champ country lors de l'insertion

===Rssflower===
'''Mise en place de la gestion des entitées''' : replaceEntity.c
*Liste la totalité des entité de 0 à 655xx avec leur correspondance en utf8
*Le remplacement des entités par les caractères se fait 1 fois avant la convertion en utf8
'''Correction problème d'encodage''' : xml.c
*Dans le cadre de la langue arabe prise en compte de nouveau encodage quand ils sont spécifié dans le xml
'''Correction d'un problème de date''' : copy.c
*Problème avec les news dont la date est MM/DD/YYYY
'''Gestion du country''' : passage de l'information du feed au record

'''Ajout de la langue des flux''' : implémentation incomplete on passe juste 0 dans le record

===Decoder===
Prise en charge de la langue spécifié dans le flux si la détection renvoie 0 (langXml)

Envoie du contry pour l'insertion en base

==20-06-2011==
===Rssflower===
'''Mise en place du proxy''' : http.c
*Mise en place d'une IP fixe dans le code, il y a un changement d'ip automatique à chaque changement d'url
*Passage de l'ip du proxy et du port en dur dans la fonction de connection à la socket
*Modification de l'entête http pour supprimé le HOST:... et passé l'url en entière
*Plus besoin de recherché l'ip du site ou de découpé l'url pour la passé dans l'entête

===Clustering===
Correction d'une erreur lors de la recherche du subjet d'un cluster, jusque la le subject précédent n'était pas pris en compte
*thread.c : Ajout, en paramètres, du sujet à la fonction d'appel de la recherche du sujet + Correction le cluster étant supprimé de la mémoire au début du traitement, il manquait un certain nombre d'information
*udpdate.c : Prend en compte l'ancien subjet, si la détermination du subject ne fonctionne pas ( retourne 0) on renvoie la dernière détection

==14-06-2011==
===Rssflower===
Correction d'un '''problème de caractères''' de controle non supprimé
*isUTF8.c : maj mineur ( changement des valeur de retour de checkUTF8)
*xml.c : refonte de la fonction my_conv
- création de plusieurs fonction,
- Ajout d'une partie lié au traitement de caractères de controles
- Changement du comportement de validUTF8 (si des char utf8 trouvé pas de traitement globale => je pense qu'avant c'était l'inverse)

==27-05-2011==
===Rssflower===
'''Suppression du fichier cacheLog''' : utilisation des connexions mysql propre a chaque thread

'''Modification de la gestion des stats des rss''' : update a chaque interrogation + maj des stat 1fois par heure lors de l'interrogation

==15-03-2011==
===Rssflower===
'''Ajout de flagNewsDuplicate''' : Ajout du champ flagNewsDuplicate en base de données + dans rssInfo

'''Ajout d'une requête dans le process''' : Dans la table newsHeadline pour rechercher les doublon de news

[[Sindup#Programmes_C]]

Sindup:ChangeLog ProgrammeC

Vanina Lebouvier — Tue, 27 Mar 2012 15:17:11 GMT

Vanina Lebouvier :

==27-03-2012==
===Rssflower===
* Ajout d'une option de debug permettant de tester les flux pubsub intern
* Ajout d'une option de debug permettant de ne pas afficher les items lors de test

===LibAddContent===
* Correction de la requete d'insertion de reviews en BDD

==20-03-2012==
===Rssflower===
* Ajout d'un test pour les réseaux sociaux non interne, recherche du post en base (comme pour les news) => gain en nombre de requetes, en process Decoder

===DetectLang===
* Création d'une socket server permettant la détection de langue de texte a la volé

===Divers===
* Création d'un script permettant la détection et la correction des news cassé a cause de caractères spéciaux

==29-02-2012==
===Rssflower===
* Ajout d'un test pour exclure les caractères non affichable ( xml.c)

==19-01-2012==
===LibLang===
* Ajout d'une fonction permettant le tri d'une liste de mot avec le fonction de tri utilisé par la lib
* Refonte des fichiers stopWordsList.txt et wordsList.txt
* Suppression des mots ayant une longueur >= 30 caractères
* Suppression + renomage d'une partie des varaible static de la lib

==23-11-2011==
===Rssflower===
'''Multilangue''' : Prise en compte de la langue pour les flux twitter

'''Gestion des rss''' : Refonte du parcours des rss
*rss.c : Centralisation des fonctions lié aux rss (init, update, ...)
*rssInfo.c : Gestion uniquement du tableau de rss et du contenus des rss
*rssList.c : Création d'un thread pour les fluxs pubsub (exec des requetes) + un thread pour l'ordonenscement des rss dans la files d'attente
*infoStat.c : Lors de l'init il n'y a qu'une requête d'executer au lieu d'une par rss

'''Problème d'espace manquant''' : Les caractères de contrôles ne sont plus obligatoirement supprimé. S'ils correspondent à un "blanc" ils sont remplacé par un espace.

'''Date null''' : Dans le cas où la date est null (0000-00-00 00:00:00), maintenant l'uts correspondant est l'uts courant.

===Decoder===
'''Multilangue''' : Recherche de la langue + traitement de la news en fonction
*liglangdetect : Détection la langue à partir d'un fichier de mot
*libged : Suppression des stopwords en fonction de la langue
*libged : Découpage des mots en stem en fonction de la langue
*libged : Insertion des stem dans des tables préfixé par le nom de la langue

'''Insertion des news''' : On arrête l'insertion du body dans les requête (toujours vide)

===Classifier===
'''Multilangue''' : Refonte de la gestion des models, un folder peux avoir plusieurs models en fonction des langues des news

'''Process''' : Modification du process pour que les folders et les subjects soient traité par le même classifier

'''OverQuota''' : Prise en compte des clients et des user ne devant pas être traité par filterlive

===ClassLearning===
'''Multilangue''' : Prise en compte de la langue pour la selection des news et les modifications des models

'''Log''' : Modification de la gestion des log pour être unifome entre les programmes

'''Conf''' : Mise en place d'un fichier de conf pour permettre un lancement plus rapide

===Clustering===
'''Multilangue = EXCLUSIVEMENT FR''' : Prise en compte de la langue pour la création des tables de tfidf

==04-11-2011==
===Rssflower (patch)===
'''Erreur sur requete mysql''' : Dans certain cas on gere les erreurs publié dans le flux rss, mais en plus du code d'erreur il y a une message
*item.c : Ajout d'un atoi pour extraire uniquement le code d'erreur

==19-10-2011==
===Rssflower===
'''Date non détecté''' : Pour certain flux ATOM la balise de la date n'est pas géré
*item.c > read_date : Ajout d'une recherche de updated

==06-10-2011==
===Rssflower (patch)===
'''Problème d'auteur''' : Les auteurs n'était plus remonté depuis le 25/08/2011
*rss_look.c > adjustXml : Changement de la fonction appelé

==04-08-2011==
===Rssflower===
''Gestion des décalage horaires''''
*rss_look.c : ajout d'un décalage de 12h pour la vérification des dates futures

==28-07-2011==
===Decoder===
*Mise en commentaire de tout les classement automatique de news dans des dossiers pour les news (reste en fonctionnement pour les avis et socialPost)

==29-06-2011==
===liblang===
Ajout d'une fonction qui donne l'Id d'une langue
*lgGetName : pour le moment la fonction retourne toujours 0

===libflow===
Prise en compte dans champ langXml et country

===libaddcontent===
Ajout du champ country lors de l'insertion

===Rssflower===
'''Mise en place de la gestion des entitées''' : replaceEntity.c
*Liste la totalité des entité de 0 à 655xx avec leur correspondance en utf8
*Le remplacement des entités par les caractères se fait 1 fois avant la convertion en utf8
'''Correction problème d'encodage''' : xml.c
*Dans le cadre de la langue arabe prise en compte de nouveau encodage quand ils sont spécifié dans le xml
'''Correction d'un problème de date''' : copy.c
*Problème avec les news dont la date est MM/DD/YYYY
'''Gestion du country''' : passage de l'information du feed au record

'''Ajout de la langue des flux''' : implémentation incomplete on passe juste 0 dans le record

===Decoder===
Prise en charge de la langue spécifié dans le flux si la détection renvoie 0 (langXml)

Envoie du contry pour l'insertion en base

==20-06-2011==
===Rssflower===
'''Mise en place du proxy''' : http.c
*Mise en place d'une IP fixe dans le code, il y a un changement d'ip automatique à chaque changement d'url
*Passage de l'ip du proxy et du port en dur dans la fonction de connection à la socket
*Modification de l'entête http pour supprimé le HOST:... et passé l'url en entière
*Plus besoin de recherché l'ip du site ou de découpé l'url pour la passé dans l'entête

===Clustering===
Correction d'une erreur lors de la recherche du subjet d'un cluster, jusque la le subject précédent n'était pas pris en compte
*thread.c : Ajout, en paramètres, du sujet à la fonction d'appel de la recherche du sujet + Correction le cluster étant supprimé de la mémoire au début du traitement, il manquait un certain nombre d'information
*udpdate.c : Prend en compte l'ancien subjet, si la détermination du subject ne fonctionne pas ( retourne 0) on renvoie la dernière détection

==14-06-2011==
===Rssflower===
Correction d'un '''problème de caractères''' de controle non supprimé
*isUTF8.c : maj mineur ( changement des valeur de retour de checkUTF8)
*xml.c : refonte de la fonction my_conv
- création de plusieurs fonction,
- Ajout d'une partie lié au traitement de caractères de controles
- Changement du comportement de validUTF8 (si des char utf8 trouvé pas de traitement globale => je pense qu'avant c'était l'inverse)

==27-05-2011==
===Rssflower===
'''Suppression du fichier cacheLog''' : utilisation des connexions mysql propre a chaque thread

'''Modification de la gestion des stats des rss''' : update a chaque interrogation + maj des stat 1fois par heure lors de l'interrogation

==15-03-2011==
===Rssflower===
'''Ajout de flagNewsDuplicate''' : Ajout du champ flagNewsDuplicate en base de données + dans rssInfo

'''Ajout d'une requête dans le process''' : Dans la table newsHeadline pour rechercher les doublon de news

[[Sindup#Programmes_C]]

Sindup:BDD

Vanina Lebouvier — Tue, 20 Mar 2012 14:47:55 GMT

Vanina Lebouvier : Page créée avec « ==rss== ==rssStat== * rssStatId * rssId * utsCreate * intervalAvg : Moyenne du temps du process * delayAvg : Moyenne du temps d'attente entre l'heure prévus et le début du … »

==rss==
==rssStat==
* rssStatId
* rssId
* utsCreate
* intervalAvg : Moyenne du temps du process
* delayAvg : Moyenne du temps d'attente entre l'heure prévus et le début du process
* errRate : Nombre d'erreur / nombre d'interrogation
* nbLog : Nombre d'interrogation du flux

Sindup

Vanina Lebouvier — Tue, 20 Mar 2012 14:36:22 GMT

Vanina Lebouvier :

Attention : « Sindup » est référencé ici, mais vous ne disposez pas des autorisations pour y accéder.

Sindup:ChangeLog ProgrammeC

Vanina Lebouvier — Tue, 20 Mar 2012 10:47:06 GMT

Vanina Lebouvier :

==20-03-2012==
===Rssflower===
* Ajout d'un test pour les réseaux sociaux non interne, recherche du post en base (comme pour les news) => gain en nombre de requetes, en process Decoder

===DetectLang===
* Création d'une socket server permettant la détection de langue de texte a la volé

===Divers===
* Création d'un script permettant la détection et la correction des news cassé a cause de caractères spéciaux

==29-02-2012==
===Rssflower===
* Ajout d'un test pour exclure les caractères non affichable ( xml.c)

==19-01-2012==
===LibLang===
* Ajout d'une fonction permettant le tri d'une liste de mot avec le fonction de tri utilisé par la lib
* Refonte des fichiers stopWordsList.txt et wordsList.txt
* Suppression des mots ayant une longueur >= 30 caractères
* Suppression + renomage d'une partie des varaible static de la lib

==23-11-2011==
===Rssflower===
'''Multilangue''' : Prise en compte de la langue pour les flux twitter

'''Gestion des rss''' : Refonte du parcours des rss
*rss.c : Centralisation des fonctions lié aux rss (init, update, ...)
*rssInfo.c : Gestion uniquement du tableau de rss et du contenus des rss
*rssList.c : Création d'un thread pour les fluxs pubsub (exec des requetes) + un thread pour l'ordonenscement des rss dans la files d'attente
*infoStat.c : Lors de l'init il n'y a qu'une requête d'executer au lieu d'une par rss

'''Problème d'espace manquant''' : Les caractères de contrôles ne sont plus obligatoirement supprimé. S'ils correspondent à un "blanc" ils sont remplacé par un espace.

'''Date null''' : Dans le cas où la date est null (0000-00-00 00:00:00), maintenant l'uts correspondant est l'uts courant.

===Decoder===
'''Multilangue''' : Recherche de la langue + traitement de la news en fonction
*liglangdetect : Détection la langue à partir d'un fichier de mot
*libged : Suppression des stopwords en fonction de la langue
*libged : Découpage des mots en stem en fonction de la langue
*libged : Insertion des stem dans des tables préfixé par le nom de la langue

'''Insertion des news''' : On arrête l'insertion du body dans les requête (toujours vide)

===Classifier===
'''Multilangue''' : Refonte de la gestion des models, un folder peux avoir plusieurs models en fonction des langues des news

'''Process''' : Modification du process pour que les folders et les subjects soient traité par le même classifier

'''OverQuota''' : Prise en compte des clients et des user ne devant pas être traité par filterlive

===ClassLearning===
'''Multilangue''' : Prise en compte de la langue pour la selection des news et les modifications des models

'''Log''' : Modification de la gestion des log pour être unifome entre les programmes

'''Conf''' : Mise en place d'un fichier de conf pour permettre un lancement plus rapide

===Clustering===
'''Multilangue = EXCLUSIVEMENT FR''' : Prise en compte de la langue pour la création des tables de tfidf

==04-11-2011==
===Rssflower (patch)===
'''Erreur sur requete mysql''' : Dans certain cas on gere les erreurs publié dans le flux rss, mais en plus du code d'erreur il y a une message
*item.c : Ajout d'un atoi pour extraire uniquement le code d'erreur

==19-10-2011==
===Rssflower===
'''Date non détecté''' : Pour certain flux ATOM la balise de la date n'est pas géré
*item.c > read_date : Ajout d'une recherche de updated

==06-10-2011==
===Rssflower (patch)===
'''Problème d'auteur''' : Les auteurs n'était plus remonté depuis le 25/08/2011
*rss_look.c > adjustXml : Changement de la fonction appelé

==04-08-2011==
===Rssflower===
''Gestion des décalage horaires''''
*rss_look.c : ajout d'un décalage de 12h pour la vérification des dates futures

==28-07-2011==
===Decoder===
*Mise en commentaire de tout les classement automatique de news dans des dossiers pour les news (reste en fonctionnement pour les avis et socialPost)

==29-06-2011==
===liblang===
Ajout d'une fonction qui donne l'Id d'une langue
*lgGetName : pour le moment la fonction retourne toujours 0

===libflow===
Prise en compte dans champ langXml et country

===libaddcontent===
Ajout du champ country lors de l'insertion

===Rssflower===
'''Mise en place de la gestion des entitées''' : replaceEntity.c
*Liste la totalité des entité de 0 à 655xx avec leur correspondance en utf8
*Le remplacement des entités par les caractères se fait 1 fois avant la convertion en utf8
'''Correction problème d'encodage''' : xml.c
*Dans le cadre de la langue arabe prise en compte de nouveau encodage quand ils sont spécifié dans le xml
'''Correction d'un problème de date''' : copy.c
*Problème avec les news dont la date est MM/DD/YYYY
'''Gestion du country''' : passage de l'information du feed au record

'''Ajout de la langue des flux''' : implémentation incomplete on passe juste 0 dans le record

===Decoder===
Prise en charge de la langue spécifié dans le flux si la détection renvoie 0 (langXml)

Envoie du contry pour l'insertion en base

==20-06-2011==
===Rssflower===
'''Mise en place du proxy''' : http.c
*Mise en place d'une IP fixe dans le code, il y a un changement d'ip automatique à chaque changement d'url
*Passage de l'ip du proxy et du port en dur dans la fonction de connection à la socket
*Modification de l'entête http pour supprimé le HOST:... et passé l'url en entière
*Plus besoin de recherché l'ip du site ou de découpé l'url pour la passé dans l'entête

===Clustering===
Correction d'une erreur lors de la recherche du subjet d'un cluster, jusque la le subject précédent n'était pas pris en compte
*thread.c : Ajout, en paramètres, du sujet à la fonction d'appel de la recherche du sujet + Correction le cluster étant supprimé de la mémoire au début du traitement, il manquait un certain nombre d'information
*udpdate.c : Prend en compte l'ancien subjet, si la détermination du subject ne fonctionne pas ( retourne 0) on renvoie la dernière détection

==14-06-2011==
===Rssflower===
Correction d'un '''problème de caractères''' de controle non supprimé
*isUTF8.c : maj mineur ( changement des valeur de retour de checkUTF8)
*xml.c : refonte de la fonction my_conv
- création de plusieurs fonction,
- Ajout d'une partie lié au traitement de caractères de controles
- Changement du comportement de validUTF8 (si des char utf8 trouvé pas de traitement globale => je pense qu'avant c'était l'inverse)

==27-05-2011==
===Rssflower===
'''Suppression du fichier cacheLog''' : utilisation des connexions mysql propre a chaque thread

'''Modification de la gestion des stats des rss''' : update a chaque interrogation + maj des stat 1fois par heure lors de l'interrogation

==15-03-2011==
===Rssflower===
'''Ajout de flagNewsDuplicate''' : Ajout du champ flagNewsDuplicate en base de données + dans rssInfo

'''Ajout d'une requête dans le process''' : Dans la table newsHeadline pour rechercher les doublon de news

[[Sindup#Programmes_C]]

Sindup::Doc Crawler Forum

Vanina Lebouvier — Thu, 08 Mar 2012 11:04:19 GMT

Vanina Lebouvier : Page créée avec « '''Il y a 2 types des pages : ''' * Les pages "génériques", elles regroupent les listes de catégories et de topic : http://forum.zebulon.fr/ http://forum.zebulon.fr/secu… »

'''Il y a 2 types des pages : '''
* Les pages "génériques", elles regroupent les listes de catégories et de topic :
http://forum.zebulon.fr/
http://forum.zebulon.fr/securite-f40.html
http://forum.zebulon.fr/securisation-prevention-f52.html
...
* Les pages de topic, elles contiennent la discution :
http://forum.zebulon.fr/mot-de-passe-routeur-box-t146206.html
http://forum.zebulon.fr/resolu-hacking-suppose-t192033.html
...

===Les différents patterns : ===
'''Syntaxe : '''
*première lettre : p pour pattern ou f pour format
*dernière lettre : L pour liste ou T pour topic ou P pour post
*le millieu : le type de données extraitent par le pattern

'''Utilité des différents patterns :'''
*pContentL : découpage des pages "génériques" pour isolé l'url et la date modification quand elle est présente
*pDateL : extraction de la date du contenu
*fDateL format de la date pour permettre ça transformation en uts

*pSession : identification et suppression du paramètre lié à la session
*pUrlL
*pDateL
*fDateL
*pPageL
*pUrlT
*pPageT
*pIdT
*pTitleT
*pPostP
*pAuthorP
*pDateP
*fDateP
*pTextP
*redirect
*model

Sindup

Vanina Lebouvier — Thu, 08 Mar 2012 10:40:41 GMT

Vanina Lebouvier :

Attention : « Sindup » est référencé ici, mais vous ne disposez pas des autorisations pour y accéder.

Sindup:Doc DaemonDetectLang

Vanina Lebouvier — Tue, 06 Mar 2012 09:10:35 GMT

Vanina Lebouvier :

== Client PHP ==

La conf doit contenir :
$conf["SOCKET_ADDRESS"] = 'localhost'; // Host vers server avec le daemon
$conf["SOCKET_PORT"] = '5005'; // Port de connection pour la socket

Création de l'objet :
$dl = new DetectLang( $context);

== Serveur C++ ==

Sindup:Doc DaemonDetectLang

Vanina Lebouvier — Tue, 06 Mar 2012 09:00:17 GMT

Vanina Lebouvier : Page créée avec « == Client == == Serveur == »

== Client ==

== Serveur ==

Sindup

Vanina Lebouvier — Tue, 06 Mar 2012 08:59:31 GMT

Vanina Lebouvier :

Attention : « Sindup » est référencé ici, mais vous ne disposez pas des autorisations pour y accéder.

Sindup:ChangeLog ProgrammeC

Vanina Lebouvier — Thu, 01 Mar 2012 16:37:30 GMT

Vanina Lebouvier :

==29-02-2012==
===Rssflower===
* Ajout d'un test pour exclure les caractères non affichable ( xml.c)

==19-01-2012==
===LibLang===
* Ajout d'une fonction permettant le tri d'une liste de mot avec le fonction de tri utilisé par la lib
* Refonte des fichiers stopWordsList.txt et wordsList.txt
* Suppression des mots ayant une longueur >= 30 caractères
* Suppression + renomage d'une partie des varaible static de la lib

==23-11-2011==
===Rssflower===
'''Multilangue''' : Prise en compte de la langue pour les flux twitter

'''Gestion des rss''' : Refonte du parcours des rss
*rss.c : Centralisation des fonctions lié aux rss (init, update, ...)
*rssInfo.c : Gestion uniquement du tableau de rss et du contenus des rss
*rssList.c : Création d'un thread pour les fluxs pubsub (exec des requetes) + un thread pour l'ordonenscement des rss dans la files d'attente
*infoStat.c : Lors de l'init il n'y a qu'une requête d'executer au lieu d'une par rss

'''Problème d'espace manquant''' : Les caractères de contrôles ne sont plus obligatoirement supprimé. S'ils correspondent à un "blanc" ils sont remplacé par un espace.

'''Date null''' : Dans le cas où la date est null (0000-00-00 00:00:00), maintenant l'uts correspondant est l'uts courant.

===Decoder===
'''Multilangue''' : Recherche de la langue + traitement de la news en fonction
*liglangdetect : Détection la langue à partir d'un fichier de mot
*libged : Suppression des stopwords en fonction de la langue
*libged : Découpage des mots en stem en fonction de la langue
*libged : Insertion des stem dans des tables préfixé par le nom de la langue

'''Insertion des news''' : On arrête l'insertion du body dans les requête (toujours vide)

===Classifier===
'''Multilangue''' : Refonte de la gestion des models, un folder peux avoir plusieurs models en fonction des langues des news

'''Process''' : Modification du process pour que les folders et les subjects soient traité par le même classifier

'''OverQuota''' : Prise en compte des clients et des user ne devant pas être traité par filterlive

===ClassLearning===
'''Multilangue''' : Prise en compte de la langue pour la selection des news et les modifications des models

'''Log''' : Modification de la gestion des log pour être unifome entre les programmes

'''Conf''' : Mise en place d'un fichier de conf pour permettre un lancement plus rapide

===Clustering===
'''Multilangue = EXCLUSIVEMENT FR''' : Prise en compte de la langue pour la création des tables de tfidf

==04-11-2011==
===Rssflower (patch)===
'''Erreur sur requete mysql''' : Dans certain cas on gere les erreurs publié dans le flux rss, mais en plus du code d'erreur il y a une message
*item.c : Ajout d'un atoi pour extraire uniquement le code d'erreur

==19-10-2011==
===Rssflower===
'''Date non détecté''' : Pour certain flux ATOM la balise de la date n'est pas géré
*item.c > read_date : Ajout d'une recherche de updated

==06-10-2011==
===Rssflower (patch)===
'''Problème d'auteur''' : Les auteurs n'était plus remonté depuis le 25/08/2011
*rss_look.c > adjustXml : Changement de la fonction appelé

==04-08-2011==
===Rssflower===
''Gestion des décalage horaires''''
*rss_look.c : ajout d'un décalage de 12h pour la vérification des dates futures

==28-07-2011==
===Decoder===
*Mise en commentaire de tout les classement automatique de news dans des dossiers pour les news (reste en fonctionnement pour les avis et socialPost)

==29-06-2011==
===liblang===
Ajout d'une fonction qui donne l'Id d'une langue
*lgGetName : pour le moment la fonction retourne toujours 0

===libflow===
Prise en compte dans champ langXml et country

===libaddcontent===
Ajout du champ country lors de l'insertion

===Rssflower===
'''Mise en place de la gestion des entitées''' : replaceEntity.c
*Liste la totalité des entité de 0 à 655xx avec leur correspondance en utf8
*Le remplacement des entités par les caractères se fait 1 fois avant la convertion en utf8
'''Correction problème d'encodage''' : xml.c
*Dans le cadre de la langue arabe prise en compte de nouveau encodage quand ils sont spécifié dans le xml
'''Correction d'un problème de date''' : copy.c
*Problème avec les news dont la date est MM/DD/YYYY
'''Gestion du country''' : passage de l'information du feed au record

'''Ajout de la langue des flux''' : implémentation incomplete on passe juste 0 dans le record

===Decoder===
Prise en charge de la langue spécifié dans le flux si la détection renvoie 0 (langXml)

Envoie du contry pour l'insertion en base

==20-06-2011==
===Rssflower===
'''Mise en place du proxy''' : http.c
*Mise en place d'une IP fixe dans le code, il y a un changement d'ip automatique à chaque changement d'url
*Passage de l'ip du proxy et du port en dur dans la fonction de connection à la socket
*Modification de l'entête http pour supprimé le HOST:... et passé l'url en entière
*Plus besoin de recherché l'ip du site ou de découpé l'url pour la passé dans l'entête

===Clustering===
Correction d'une erreur lors de la recherche du subjet d'un cluster, jusque la le subject précédent n'était pas pris en compte
*thread.c : Ajout, en paramètres, du sujet à la fonction d'appel de la recherche du sujet + Correction le cluster étant supprimé de la mémoire au début du traitement, il manquait un certain nombre d'information
*udpdate.c : Prend en compte l'ancien subjet, si la détermination du subject ne fonctionne pas ( retourne 0) on renvoie la dernière détection

==14-06-2011==
===Rssflower===
Correction d'un '''problème de caractères''' de controle non supprimé
*isUTF8.c : maj mineur ( changement des valeur de retour de checkUTF8)
*xml.c : refonte de la fonction my_conv
- création de plusieurs fonction,
- Ajout d'une partie lié au traitement de caractères de controles
- Changement du comportement de validUTF8 (si des char utf8 trouvé pas de traitement globale => je pense qu'avant c'était l'inverse)

==27-05-2011==
===Rssflower===
'''Suppression du fichier cacheLog''' : utilisation des connexions mysql propre a chaque thread

'''Modification de la gestion des stats des rss''' : update a chaque interrogation + maj des stat 1fois par heure lors de l'interrogation

==15-03-2011==
===Rssflower===
'''Ajout de flagNewsDuplicate''' : Ajout du champ flagNewsDuplicate en base de données + dans rssInfo

'''Ajout d'une requête dans le process''' : Dans la table newsHeadline pour rechercher les doublon de news

[[Sindup#Programmes_C]]

Sindup:isUtf8

Vanina Lebouvier — Tue, 31 Jan 2012 15:54:04 GMT

Vanina Lebouvier :

''' En C '''
for (i = 0; (c = utf[i]); i+= nb, nb = 0) {
if( (c & 0x80) != 0x80) // 1 octet
nb = 1;
else if ((c & 0xE0) == 0xC0) // 2 octets
nb = 2;
else if ((c & 0xF0) == 0xE0) // 3 octets
nb = 3;
else if ((c & 0xF8) == 0xF0) // 4 octets
nb = 4;
else if ((c & 0xFC) == 0xF8) // 5 octets
nb = 5;
else if ((c & 0xFE) == 0xFC) // 6 octets
nb = 6;
else
return 1; // N'est pas de l'utf8
for( j = 1; j < nb && (c = utf[i+j]); j++) {
if( (c & 0xC0) != 0x80)
return 1;
}
}

''' En php '''
// Détecte si la le text est bien constitué uniquement d'utf8
public function isUtf8( $str) {
for( $i = 0; $i < strlen( $str); $i+= $nb, $nb = 0) {
$c = ord( $str[$i]);
if( ( $c & 0x80) != 0x80)
$nb = 1; # 0xxx xxxx
elseif( ( $c & 0xE0) == 0xC0)
$nb = 2; # 110x xxxx
elseif( ( $c & 0xF0) == 0xE0)
$nb = 3; # 1110 xxxx
elseif( ( $c & 0xF8) == 0xF0)
$nb = 4; # 1111 0xxx
elseif( ( $c & 0xFC) == 0xF8)
$nb = 5; # 1111 10xx
elseif( ( $c & 0xFE) == 0xFC)
$nb = 6; # 1111 110x
else
return false; # Does not match any model
for( $j = 1; $j < $nb && ($i + $j) < strlen( $str); $j++) {
if( ( ord( $str[$i]) & 0xC0) != 0x80)
return false;
}
}
return true;
}

'''Caractères UTF8 sur :'''
* 1 octet :
0xxx xxxx
c1 & 0x80 != 0x80
* 2 octets :
110x xxxx - 10xx xxxx
c1 & 0xE0 == 0xC0
c2 & 0xC0 == 0x80
* 3 octets :
1110 xxxx - 10xx xxxx - 10xx xxxx
c1 & 0xF0 == 0xE0
c2 & 0xC0 == 0x80
c3 & 0xC0 == 0x80
* 4 octets :
1111 0xxx - 10xx xxxx - 10xx xxxx - 10xx xxxx
c1 & 0xF8 == 0xF0
...
c4 & 0xC0 == 0x80
* 5 octets :
1111 10xx - 10xx xxxx - 10xx xxxx - 10xx xxxx - 10xx xxxx
c1 & 0xFC == 0xF8
...
c5 & 0xC0 == 0x80
* 6 octets :
1111 110x - 10xx xxxx - 10xx xxxx - 10xx xxxx - 10xx xxxx - 10xx xxxx
c1 & 0xFE == 0xFC
...
c6 & 0xC0 == 0x80
http://sebsauvage.net/python/charsets_et_encoding.html

Sindup:isUtf8

Vanina Lebouvier — Tue, 31 Jan 2012 10:26:42 GMT

Vanina Lebouvier : Page créée avec « ''' En C ''' for (i = 0; (c = utf[i]); i+= nb, nb = 0) { if( (c & 0x80) != 0x80) // 1 octet nb = 1; else if ((c & 0xE0) == 0xC0) // 2 octets nb = 2; else if ((c … »

''' En C '''
for (i = 0; (c = utf[i]); i+= nb, nb = 0) {
if( (c & 0x80) != 0x80) // 1 octet
nb = 1;
else if ((c & 0xE0) == 0xC0) // 2 octets
nb = 2;
else if ((c & 0xF0) == 0xE0) // 3 octets
nb = 3;
else if ((c & 0xF8) == 0xF0) // 4 octets
nb = 4;
else if ((c & 0xFC) == 0xF8) // 5 octets
nb = 5;
else if ((c & 0xFE) == 0xFC) // 6 octets
nb = 6;
else
return 1; // N'est pas de l'utf8
for( j = 1; j < nb && (c = utf[i+j]); j++) {
if( (c & 0xC0) != 0x80)
return 1;
}
}

'''Caractères UTF8 sur :'''
* 1 octet :
0xxx xxxx
c1 & 0x80 != 0x80
* 2 octets :
110x xxxx - 10xx xxxx
c1 & 0xE0 == 0xC0
c2 & 0xC0 == 0x80
* 3 octets :
1110 xxxx - 10xx xxxx - 10xx xxxx
c1 & 0xF0 == 0xE0
c2 & 0xC0 == 0x80
c3 & 0xC0 == 0x80
* 4 octets :
1111 0xxx - 10xx xxxx - 10xx xxxx - 10xx xxxx
c1 & 0xF8 == 0xF0
c2 & 0xC0 == 0x80
c3 & 0xC0 == 0x80
c4 & 0xC0 == 0x80
* 5 octets :
1111 10xx - 10xx xxxx - 10xx xxxx - 10xx xxxx - 10xx xxxx
c1 & 0xFC == 0xF8
c2 & 0xC0 == 0x80
c3 & 0xC0 == 0x80
c4 & 0xC0 == 0x80
c5 & 0xC0 == 0x80
* 6 octets :
1111 110x - 10xx xxxx - 10xx xxxx - 10xx xxxx - 10xx xxxx - 10xx xxxx
c1 & 0xFE == 0xFC
c2 & 0xC0 == 0x80
c3 & 0xC0 == 0x80
c4 & 0xC0 == 0x80
c5 & 0xC0 == 0x80
c6 & 0xC0 == 0x80
http://sebsauvage.net/python/charsets_et_encoding.html

Sindup

Vanina Lebouvier — Tue, 31 Jan 2012 09:30:38 GMT

Vanina Lebouvier :

Attention : « Sindup » est référencé ici, mais vous ne disposez pas des autorisations pour y accéder.

Sindup:Start / Stop

Vanina Lebouvier — Thu, 26 Jan 2012 16:01:03 GMT

Vanina Lebouvier :

'''En étant connecter sous le user "vanina"'''

==ProgrammeC==
Couper les cron

'''Stop'''
sindup_srv stop
killall -9 clustering
killall -9 classLearning
'''Start'''
sindup_srv start

==crawlerSource==
'''Stop'''
killall -9 start_crawlerSource.php
killall -9 crawlerSource.php
'''Start'''
screen
~/cSource/v1/exec_admin/start_crawlerSource.php -th 30
ctrlA + d

==crawlerForum==
'''Stop'''
/etc/init.d/crawler-forum stop
attente 10s
/etc/init.d/crawler-forum panic
'''Start'''
/etc/init.d/crawler-forum start

==crawlerSite==
'''Stop'''
/etc/init.d/crawler-site stop
attente 10s
/etc/init.d/crawler-site panic
'''Start'''
/etc/init.d/crawler-site start

Sindup:Start / Stop

Vanina Lebouvier — Thu, 26 Jan 2012 15:57:23 GMT

Vanina Lebouvier :

'''En étant connecter sous le user "vanina"'''

==ProgrammeC==

==crawlerSource==
'''Stop'''
killall -9 start_crawlerSource.php
killall -9 crawlerSource.php
'''Start'''
screen
~/cSource/v1/exec_admin/start_crawlerSource.php -th 30
ctrlA + d

==crawlerForum==
'''Stop'''
/etc/init.d/crawler-forum stop
attente 10s
/etc/init.d/crawler-forum panic
'''Start'''
/etc/init.d/crawler-forum start

==crawlerSite==
'''Stop'''
/etc/init.d/crawler-site stop
attente 10s
/etc/init.d/crawler-site panic
'''Start'''
/etc/init.d/crawler-site start

Sindup:Start / Stop

Vanina Lebouvier — Thu, 26 Jan 2012 15:45:19 GMT

Vanina Lebouvier : Page créée avec « '''En étant connecter sous le user "vanina"''' ==crawlerSource== '''Arrêt''' killall -9 start_crawlerSource.php killall -9 crawlerSo… »

'''En étant connecter sous le user "vanina"'''

==crawlerSource==
'''Arrêt'''
killall -9 start_crawlerSource.php
killall -9 crawlerSource.php
'''Marche'''
screen
~/cSource/v1/exec_admin/start_crawlerSource.php -th 30
ctrlA + d

==crawlerForum==
'''Arrêt'''
/etc/init.d/crawler-forum stop
attente 10s
/etc/init.d/crawler-forum panic
'''Marche'''
/etc/init.d/crawler-forum start

==crawlerSite==
'''Arrêt'''
/etc/init.d/crawler-site stop
attente 10s
/etc/init.d/crawler-site panic
'''Marche'''
/etc/init.d/crawler-site start

Sindup

Vanina Lebouvier — Thu, 26 Jan 2012 15:43:51 GMT

Vanina Lebouvier :

Attention : « Sindup » est référencé ici, mais vous ne disposez pas des autorisations pour y accéder.

Sindup:Migration

Vanina Lebouvier — Thu, 26 Jan 2012 11:23:09 GMT

Vanina Lebouvier : Page créée avec « ==Migration== ===Changement des ip pour mysql=== ====Engine==== Conf decoder conf_clustering ====Crawler »

==Migration==
===Changement des ip pour mysql===
====Engine====
Conf decoder
conf_clustering
====Crawler

Sindup

Vanina Lebouvier — Thu, 26 Jan 2012 11:20:56 GMT

Vanina Lebouvier :

Attention : « Sindup » est référencé ici, mais vous ne disposez pas des autorisations pour y accéder.

Sindup

Vanina Lebouvier — Thu, 26 Jan 2012 11:20:41 GMT

Vanina Lebouvier :

Attention : « Sindup » est référencé ici, mais vous ne disposez pas des autorisations pour y accéder.

Sindup:Interaction entre sitePage et siteProduct

Vanina Lebouvier — Thu, 26 Jan 2012 11:06:08 GMT

Vanina Lebouvier :

=EN COURS DE REDACTION=
==SiteProduct==
===Status : en initialisation===
*STATUS_TO_INIT
*utsDelete = 0
*Lors de l'ajout
*Tant qu'il n'a pas de prix
*Pas visible sur le site

===Status : supprimé===
*STATUS_DELETE
*utsDelete = 0
**
*utsDelete = uts
**
*Pas visible sur le site
===Status : ignoré===
*STATUS_IGNORED
*Lors d'une demande par l'uilisateur sur le site
*Visible dans l'onglet produit ignoré

===Valide===
*N'est ni en init, ni supprimé, ni ignoré
*utsDelete = uts
**Si la page est invalide

Sindup:Interaction entre sitePage et siteProduct

Vanina Lebouvier — Thu, 26 Jan 2012 10:59:33 GMT

Vanina Lebouvier : Page créée avec « ==SiteProduct== ===Status : en initialisation=== *Lors de l'ajout *Tant qu'il n'a pas de prix *Pas visible sur le site *STATUS_TO_INIT *utsDelete = 0 ===Status : supprimé===… »

==SiteProduct==
===Status : en initialisation===
*Lors de l'ajout
*Tant qu'il n'a pas de prix
*Pas visible sur le site
*STATUS_TO_INIT
*utsDelete = 0
===Status : supprimé===
*
*STATUS_DELETE
===Status : ignoré===
*Lors d'une demande par l'uilisateur sur le site
*Visible dans l'onglet produit ignoré
*STATUS_IGNORED
===Valide===
*N'est ni en init, ni supprimé, ni ignoré

Sindup

Vanina Lebouvier — Thu, 26 Jan 2012 10:44:51 GMT

Vanina Lebouvier :

Attention : « Sindup » est référencé ici, mais vous ne disposez pas des autorisations pour y accéder.

Sindup::Doc LibLang

Vanina Lebouvier — Wed, 25 Jan 2012 15:06:29 GMT

Vanina Lebouvier :

== LibLang : Détection de langue ==

Il faut avoir acces au fichier : wordsList.txt. Il contient la liste des mots par langue.

Acutellement sur sindup3 :
/var/projects/engine/data/v1/file/wordsList.txt

==== Initialisation ====
lgDetect_init( "PATH/wordsList.txt", nbThread);
==== Process ====
langue = '''lgDetect_process'''( indice, titre, description, source.language);
* indice : est un chiffre entre 0 et nbThread et doit être unique. Il permet d'utiliser toujours le même objet pour un même thread
* titre + description : le texte à analyser
* source.language : est la langue de la source, elle influence la détection vers cette langue
* langue : est la langue détecté par le prg en fonction des 64 répertoriées

langue = '''lgDetect_processOption'''( indice, chaine, nb, tableau);
* indice : est un chiffre entre 0 et nbThread et doit être unique. Il permet d'utiliser toujours le même objet pour un même thread
* chaine : le texte brut à analyser
* nb : nombre d'élément dans le tableau de résultats
* tableau : liste des langues avec leur taux de correspondance au texte
==== Reset ====
lgDetect_close();

== LibLang : Suppression des stopWords ==

Il faut avoir acces au fichier : stopWordsList.txt. Il contient la liste des mots par langue.

Acutellement sur sindup3 :
/var/projects/engine/data/v1/file/stopWordsList.txt

==== Initialisation ====
lgStopWord_init( "PATH/stopWordsList.txt");
==== Process ====
==== Reset ====
lgStopWord_close();

== Algorithme ==
==== Initialisation ====
* Création du tableau à 3 niveaux en fonction du nombre de thread : il contient les résultats
* Chargement des mots et de leur langue en mémoire
lgDetect_init( "PATH/wordsList.txt", nbThread)

Alocation d'une zone mémoire "appartenant" a un thread grace à l'indice unique

*Appel de la fonction entrante
*Appel d'une fonction qui traite la chaine, les données sont poussé dans la structur alloué
* la fonction d'entrée peut alors avori acces au résultats du traaitement et extraire les information sous le formt souahiter
*id de la langue sert d'index dans le tableau

[[Sindup#Programmes_C]]

Sindup::Doc LibLang

Vanina Lebouvier — Wed, 25 Jan 2012 14:42:07 GMT

Vanina Lebouvier :

Sindup::Doc LibLang

Vanina Lebouvier — Wed, 25 Jan 2012 14:31:48 GMT

Vanina Lebouvier :

== LibLang : Détection de langue ==

Il faut avoir acces au fichier : wordsList.txt. Il contient la liste des mots par langue.

Acutellement sur sindup3 :
/var/projects/engine/data/v1/file/wordsList.txt

==== Initialisation ====
lgDetect_init( "PATH/wordsList.txt", nbThread);
==== Process ====
langue = lgDetect_process( indice, titre, description, source.language);
* indice : est un chiffre entre 0 et nbThread et doit être unique. Il permet d'utiliser toujours le même objet pour un même thread
* titre + description : est le texte brut qui doit être analysé
* source.language : est la langue de la source, elle influence la détection vers cette langue
* langue : est la langue détecté par le prg en fonction des 64 répertoriées

==== Reset ====
lgDetect_close();

== LibLang : Suppression des stopWords ==

Il faut avoir acces au fichier : stopWordsList.txt. Il contient la liste des mots par langue.

Acutellement sur sindup3 :
/var/projects/engine/data/v1/file/stopWordsList.txt

==== Initialisation ====
lgStopWord_init( "PATH/stopWordsList.txt");
==== Process ====
==== Reset ====
lgStopWord_close();

== Algorithme ==
==== Initialisation ====
* Création du tableau à 3 niveaux en fonction du nombre de thread : il contient les résultats
* Chargement des mots et de leur langue en mémoire
lgDetect_init( "PATH/wordsList.txt", nbThread)

Alocation d'une zone mémoire "appartenant" a un thread grace à l'indice unique

*Appel de la fonction entrante
*Appel d'une fonction qui traite la chaine, les données sont poussé dans la structur alloué
* la fonction d'entrée peut alors avori acces au résultats du traaitement et extraire les information sous le formt souahiter

[[Sindup#Programmes_C]]

Sindup:SourceFlux.php

Vanina Lebouvier — Tue, 24 Jan 2012 16:45:45 GMT

Vanina Lebouvier :

==Contraintes lors de l'ajout d'une source et de flux==

Le fonctionnement détail celui de la page source-flux.html, qui est le point central de gestion des sources.

Il y a plusieurs points d'entrées sur la page d'insertion ou de modification de sources

===Les paramètres dans l'url===
from = [sources | feeds | source-fiche | rss-fiche | feed-fiche | import-site | inport-siteUser | import-blog | forumList | forums | forum-fiche | forumTest | forum-ficheTest]
*permet de connaitre de quel page on vient
*quel doit être l'affichage des informations (feed, forum, ...)
*vers quel page on doit être rediriger après le process
sId = sourceId
*permet de savoir si on traite une source déjà existante
iId = siteId
*permet de savoir que sais une source provenant de l'importation
lId = forumId
*permet de connaitre de forum en cours d'ajout
uId = userId
s, fe et fo
*quel doit être l'affichage des informations (feed, forum, ...)

===Objet SourceFlux===
*type : importation, source, manuel, forum
*from : provenance
*print : les différentes option d'affichage en fonction de la provenance
*sId : sourceId
*iId : siteId pour le source provenant de l'importation
*uId : userId
*nbForum, errSource, errFeed, errRss, errForum
*advert : message d'avertissement qui pourrat être afficher en tête de page

===Process===
====Chargement de la source====
Si on en a pas déjà en mémoire et si le type est manuel (nouvelle source) ou un forum
*Chargement d'un objet source vierge
Sinon
*si le type est importation
**Recherche des données

====Regroupement de source====
Si le type est une importation, affichage :
*Input pour saisir un sourceId
*Bouton ouvrant une popup de recherche de source
*Bouton de vérification de la source
Quand on click sur le bouton de vérification,
*Recherche la source
*Affiche le nom
*Affiche un bouton pour regrouper les 2 sources ensembles
Quand on clicke sur le bouton de regroupement
*On recherche le user de la source spécifier dans le manager
**Pour une source publique (userId = 0)
***On fait un update sur sindup_import.site pour changer le status de site + utsUpdate + mettre le champ sourceId à jour
***Redirige vers la page source-flux en prenant en compte les 2 sources
**Pour une source privée (userId != 0)
***Redirige vers la page source-flux en prenant en compte les 2 sources + le userId

Sindup:SourceFlux.php

Vanina Lebouvier — Tue, 24 Jan 2012 16:27:06 GMT

Vanina Lebouvier : Page créée avec « Contraintes lors de l'ajout d'une source et de flux Le fonctionnement détail celui de la page source-flux.html, qui est le point central de gestion des sources. Il y a plus… »

Contraintes lors de l'ajout d'une source et de flux
Le fonctionnement détail celui de la page source-flux.html, qui est le point central de gestion des sources.

Il y a plusieurs points d'entrées sur la page d'insertion ou de modification de sources

Les paramètres dans l'url
from = [sources | feeds | source-fiche | rss-fiche | feed-fiche | import-site | inport-siteUser | import-blog | forumList | forums | forum-fiche | forumTest | forum-ficheTest]
permet de connaitre de quel page on vient
quel doit être l'affichage des informations (feed, forum, ...)
vers quel page on doit être rediriger après le process

sId = sourceId
permet de savoir si on traite une source déjà existante

iId = siteId
permet de savoir que sais une source provenant de l'importation

lId = forumId
permet de connaitre de forum en cours d'ajout

uId = userId

s, fe et fo
quel doit être l'affichage des informations (feed, forum, ...)

Création d'un objet SourceFlux, contenant :
type : importation, source, manuel, forum
from : provenance
print : les différentes option d'affichage en fonction de la provenance
sId : sourceId
iId : siteId pour le source provenant de l'importation
uId : userId
nbForum, errSource, errFeed, errRss, errForum
advert : message d'avertissement qui pourrat être afficher en tête de page
Chargement de la source :
Si on en a pas déjà en mémoire et si le type est manuel (nouvelle source) ou un forum
Chargement d'un objet source vierge
Sinon
si le type est importation
Recherche des données

Le regroupement de source :
Si le type est une importation, affichage :
Input pour saisir un sourceId
Bouton ouvrant une popup de recherche de source
Bouton de vérification de la source
Quand on click sur le bouton de vérification,
Recherche la source
Affiche le nom
Affiche un bouton pour regrouper les 2 sources ensembles
une fois que l'on clické sur le bouton de regroupement
On recherche le user de la source spécifier dans le manager
userId = 0 (c'est une source publique)
S'il la source n'est pas privée on fait un update sur sindup_import.site pour changer le status de site + utsUpdate + mettre le champ sourceId à jour
Redirige vers la page source-flux en prenant en compte les 2 sources
userId != 0 (c'est une source privée)
Redirige vers la page source-flux en prenant en compte les 2 sources + le userId

Sindup

Vanina Lebouvier — Tue, 24 Jan 2012 16:25:50 GMT

Vanina Lebouvier :

Attention : « Sindup » est référencé ici, mais vous ne disposez pas des autorisations pour y accéder.

Sindup

Vanina Lebouvier — Fri, 20 Jan 2012 11:23:13 GMT

Vanina Lebouvier :

Attention : « Sindup » est référencé ici, mais vous ne disposez pas des autorisations pour y accéder.

Sindup

Vanina Lebouvier — Fri, 20 Jan 2012 11:22:45 GMT

Vanina Lebouvier :

Attention : « Sindup » est référencé ici, mais vous ne disposez pas des autorisations pour y accéder.

Sindup

Vanina Lebouvier — Fri, 20 Jan 2012 11:20:57 GMT

Vanina Lebouvier :

Attention : « Sindup » est référencé ici, mais vous ne disposez pas des autorisations pour y accéder.

Sindup

Vanina Lebouvier — Fri, 20 Jan 2012 11:19:39 GMT

Vanina Lebouvier :

Attention : « Sindup » est référencé ici, mais vous ne disposez pas des autorisations pour y accéder.

Sindup:ChangeLog ProgrammeC

Vanina Lebouvier — Fri, 20 Jan 2012 09:56:26 GMT

Vanina Lebouvier :

==19-01-2012==
===LibLang===
* Ajout d'une fonction permettant le tri d'une liste de mot avec le fonction de tri utilisé par la lib
* Refonte des fichiers stopWordsList.txt et wordsList.txt
* Suppression des mots ayant une longueur >= 30 caractères
* Suppression + renomage d'une partie des varaible static de la lib

==23-11-2011==
===Rssflower===
'''Multilangue''' : Prise en compte de la langue pour les flux twitter

'''Gestion des rss''' : Refonte du parcours des rss
*rss.c : Centralisation des fonctions lié aux rss (init, update, ...)
*rssInfo.c : Gestion uniquement du tableau de rss et du contenus des rss
*rssList.c : Création d'un thread pour les fluxs pubsub (exec des requetes) + un thread pour l'ordonenscement des rss dans la files d'attente
*infoStat.c : Lors de l'init il n'y a qu'une requête d'executer au lieu d'une par rss

'''Problème d'espace manquant''' : Les caractères de contrôles ne sont plus obligatoirement supprimé. S'ils correspondent à un "blanc" ils sont remplacé par un espace.

'''Date null''' : Dans le cas où la date est null (0000-00-00 00:00:00), maintenant l'uts correspondant est l'uts courant.

===Decoder===
'''Multilangue''' : Recherche de la langue + traitement de la news en fonction
*liglangdetect : Détection la langue à partir d'un fichier de mot
*libged : Suppression des stopwords en fonction de la langue
*libged : Découpage des mots en stem en fonction de la langue
*libged : Insertion des stem dans des tables préfixé par le nom de la langue

'''Insertion des news''' : On arrête l'insertion du body dans les requête (toujours vide)

===Classifier===
'''Multilangue''' : Refonte de la gestion des models, un folder peux avoir plusieurs models en fonction des langues des news

'''Process''' : Modification du process pour que les folders et les subjects soient traité par le même classifier

'''OverQuota''' : Prise en compte des clients et des user ne devant pas être traité par filterlive

===ClassLearning===
'''Multilangue''' : Prise en compte de la langue pour la selection des news et les modifications des models

'''Log''' : Modification de la gestion des log pour être unifome entre les programmes

'''Conf''' : Mise en place d'un fichier de conf pour permettre un lancement plus rapide

===Clustering===
'''Multilangue = EXCLUSIVEMENT FR''' : Prise en compte de la langue pour la création des tables de tfidf

==04-11-2011==
===Rssflower (patch)===
'''Erreur sur requete mysql''' : Dans certain cas on gere les erreurs publié dans le flux rss, mais en plus du code d'erreur il y a une message
*item.c : Ajout d'un atoi pour extraire uniquement le code d'erreur

==19-10-2011==
===Rssflower===
'''Date non détecté''' : Pour certain flux ATOM la balise de la date n'est pas géré
*item.c > read_date : Ajout d'une recherche de updated

==06-10-2011==
===Rssflower (patch)===
'''Problème d'auteur''' : Les auteurs n'était plus remonté depuis le 25/08/2011
*rss_look.c > adjustXml : Changement de la fonction appelé

==04-08-2011==
===Rssflower===
''Gestion des décalage horaires''''
*rss_look.c : ajout d'un décalage de 12h pour la vérification des dates futures

==28-07-2011==
===Decoder===
*Mise en commentaire de tout les classement automatique de news dans des dossiers pour les news (reste en fonctionnement pour les avis et socialPost)

==29-06-2011==
===liblang===
Ajout d'une fonction qui donne l'Id d'une langue
*lgGetName : pour le moment la fonction retourne toujours 0

===libflow===
Prise en compte dans champ langXml et country

===libaddcontent===
Ajout du champ country lors de l'insertion

===Rssflower===
'''Mise en place de la gestion des entitées''' : replaceEntity.c
*Liste la totalité des entité de 0 à 655xx avec leur correspondance en utf8
*Le remplacement des entités par les caractères se fait 1 fois avant la convertion en utf8
'''Correction problème d'encodage''' : xml.c
*Dans le cadre de la langue arabe prise en compte de nouveau encodage quand ils sont spécifié dans le xml
'''Correction d'un problème de date''' : copy.c
*Problème avec les news dont la date est MM/DD/YYYY
'''Gestion du country''' : passage de l'information du feed au record

'''Ajout de la langue des flux''' : implémentation incomplete on passe juste 0 dans le record

===Decoder===
Prise en charge de la langue spécifié dans le flux si la détection renvoie 0 (langXml)

Envoie du contry pour l'insertion en base

==20-06-2011==
===Rssflower===
'''Mise en place du proxy''' : http.c
*Mise en place d'une IP fixe dans le code, il y a un changement d'ip automatique à chaque changement d'url
*Passage de l'ip du proxy et du port en dur dans la fonction de connection à la socket
*Modification de l'entête http pour supprimé le HOST:... et passé l'url en entière
*Plus besoin de recherché l'ip du site ou de découpé l'url pour la passé dans l'entête

===Clustering===
Correction d'une erreur lors de la recherche du subjet d'un cluster, jusque la le subject précédent n'était pas pris en compte
*thread.c : Ajout, en paramètres, du sujet à la fonction d'appel de la recherche du sujet + Correction le cluster étant supprimé de la mémoire au début du traitement, il manquait un certain nombre d'information
*udpdate.c : Prend en compte l'ancien subjet, si la détermination du subject ne fonctionne pas ( retourne 0) on renvoie la dernière détection

==14-06-2011==
===Rssflower===
Correction d'un '''problème de caractères''' de controle non supprimé
*isUTF8.c : maj mineur ( changement des valeur de retour de checkUTF8)
*xml.c : refonte de la fonction my_conv
- création de plusieurs fonction,
- Ajout d'une partie lié au traitement de caractères de controles
- Changement du comportement de validUTF8 (si des char utf8 trouvé pas de traitement globale => je pense qu'avant c'était l'inverse)

==27-05-2011==
===Rssflower===
'''Suppression du fichier cacheLog''' : utilisation des connexions mysql propre a chaque thread

'''Modification de la gestion des stats des rss''' : update a chaque interrogation + maj des stat 1fois par heure lors de l'interrogation

==15-03-2011==
===Rssflower===
'''Ajout de flagNewsDuplicate''' : Ajout du champ flagNewsDuplicate en base de données + dans rssInfo

'''Ajout d'une requête dans le process''' : Dans la table newsHeadline pour rechercher les doublon de news

[[Sindup#Programmes_C]]

Sindup

Vanina Lebouvier — Tue, 17 Jan 2012 15:13:17 GMT

Vanina Lebouvier :

Attention : « Sindup » est référencé ici, mais vous ne disposez pas des autorisations pour y accéder.

Sindup:ChangeLog Html2Rss

Vanina Lebouvier — Tue, 17 Jan 2012 15:10:54 GMT

Vanina Lebouvier :

==17-01-2012==
* Mail2Rss : Création d'un script permettant l'ajout de source, flux, rss et compte

==16-01-2012==
* Ajout de la fonction isUtf8 au model Parser, elle était manquante pour le process
* Ajout d'un contrôle de flux de sortie. Si le contenue n'est pas du xml ou l'affichage d'un email, envoi d'un mail

==10-10-2011==
* Modification de la gestion des mois à cause d'un problème de '0' en trop
* Ajout d'un nouveau rss pour la source : http://www.stoptgvcoudon.fr
* Ajout d'un nouveau rss pour la source : http://lemechanttgvpaca.free.fr (process compliqué car le format des actu n'est pas standard)

[[Sindup#Html2rss]]

Sindup::Doc LibLang

Vanina Lebouvier — Tue, 17 Jan 2012 15:09:34 GMT

Vanina Lebouvier :

Sindup::Doc LibLang

Vanina Lebouvier — Tue, 17 Jan 2012 13:41:57 GMT

Vanina Lebouvier :

Sindup

Vanina Lebouvier — Tue, 17 Jan 2012 13:18:25 GMT

Vanina Lebouvier :

Attention : « Sindup » est référencé ici, mais vous ne disposez pas des autorisations pour y accéder.

Sindup

Vanina Lebouvier — Tue, 17 Jan 2012 13:17:50 GMT

Vanina Lebouvier :

Attention : « Sindup » est référencé ici, mais vous ne disposez pas des autorisations pour y accéder.

Sindup::Doc LibLang

Vanina Lebouvier — Tue, 17 Jan 2012 13:15:44 GMT

Vanina Lebouvier : Page créée avec « == LibLang : Détection de langue == === Utilisation === Il faut avoir acces à 2 fichiers : * La liste des mots par langue * La liste des stopword par langue Ils sont actue… »

== LibLang : Détection de langue ==
=== Utilisation ===

Il faut avoir acces à 2 fichiers :
* La liste des mots par langue
* La liste des stopword par langue
Ils sont actuellement sur sindup3 :
/var/projects/engine/data/v1/file/wordsList.txt
/var/projects/engine/data/v1/file/stopWordsList.txt

=== Process ===

Initialisation
* Création du tableau à 3 niveaux en fonction du nombre de thread : il contient les résultats
* Chargement des mots et de leur langue en mémoire
lgDetect_init( "PATH/wordsList.txt", nbThread)

Process

Sindup

Vanina Lebouvier — Tue, 17 Jan 2012 12:42:41 GMT

Vanina Lebouvier :

Attention : « Sindup » est référencé ici, mais vous ne disposez pas des autorisations pour y accéder.

Sindup

Vanina Lebouvier — Tue, 17 Jan 2012 12:41:00 GMT

Vanina Lebouvier :

Attention : « Sindup » est référencé ici, mais vous ne disposez pas des autorisations pour y accéder.

Sindup:Doc Classifier

Vanina Lebouvier — Mon, 16 Jan 2012 15:03:14 GMT

Vanina Lebouvier :

==Process Classifier subject==
*Validation du record
**La news ne doit pas être de type réseaux sociaux
**La news ne doit pas appartenir à un user
*Parcours des feuilles
**Recherche des subjects parents
***Parcours des parents
****Test du subject
*****Chargement du model du subject en français
*****SvmPredict
*****Modification du résultat en fonction des options
*****Si resFinal > 0,6
******Ajout dans la liste d'insertion
*****Sinon
******Blacklist du reste des parents
*Insertion en base
**S'il y a des subjects dans la liste d'insertion
***Retire les parents de la liste si un enfant est également présent
**Limitation aux 5 subjects avec les rates les plus élevés

{| class="wikitable center" style="text-align: center;" width="50%" border=1
|+ Liste des options
!scope="col"| Options
!scope="col"| Res de svmPredict
!scope="col"| 0 < resFinal < 1
|-
!scope="row" | Toujours
|
| 1
|-
!scope="row" | Souvent
| Res >= 0.5
| Res * 1.4
|-
!scope="row" | Souvent
| Res < 0.5
| Res * 1.3
|-
!scope="row" | Parfois
| Res >= 0.5
| Res * 1.2
|-
!scope="row" | Parfois
| Res < 0.5
| Res * 1.1
|-
!scope="row" | Jamais
|
| 0
|}

==Process Classifier folder==
*Validation du record
**La news ne pas être de type réseaux sociaux
*Rechercher tout les folders
*Parcours des folders
**Le folder doit être flaggé en classement AUTO
**Check du record par rapport au folder
***La news ne doit pas appartenir à un autre user ou à un autre client
***La news ne doit pas être payante pour les users gratuits
***La news ne doit pas appartenir à une source ignorées par le user
***La news doit appartenir à certaine source si c'est l'option choisi par le user
**Chargement du model correspondant au folder et la langue de la news
***Il doit y avoir un model correspondant
***Le type de la news doit correspondre au type choisi par l'utilisateur
**SvnPredict
***Si le res >= rate déterminer par le user entre 0,4 et 0,9
*Insertion en base de données dans folderNews et dans newsPermanent

Sindup:Doc Classifier

Vanina Lebouvier — Mon, 16 Jan 2012 14:52:27 GMT

Vanina Lebouvier : Page créée avec « ==Process Classifier subject== *Validation du record **La news ne doit pas être de type réseaux sociaux **La news ne doit pas appartenir à un user *Parcours des feuilles … »

==Process Classifier subject==
*Validation du record
**La news ne doit pas être de type réseaux sociaux
**La news ne doit pas appartenir à un user
*Parcours des feuilles
**Recherche des subjects parents
***Parcours des parents
****Test du subject
*****Chargement du model du subject en français
*****SvmPredict
*****Modification du résultat en fonction des options
{| class="wikitable center" style="text-align: center;" width="50%" border=1
|+ Liste des options
!scope="col"| Options
!scope="col"| Res de svmPredict
!scope="col"| 0 < resFinal < 1
|-
!scope="row"| Toujours
|
| 1
|-
!scope="row"| Souvent
| Res >= 0.5
| Res * 1.4
|-
!scope="row"| Souvent
| Res < 0.5
| Res * 1.3
|-
!scope="row"| Parfois
| Res >= 0.5
| Res * 1.2
|-
!scope="row"| Parfois
| Res < 0.5
| Res * 1.1
|-
!scope="row"| Jamais
|
| 0
|}

Si resFinal > 0,6
Ajout dans la liste d'insertion
Sinon
Blacklist du reste des parents
Insertion en base
S'il y a des subjects dans la liste d'insertion
Retire les parents de la liste si un enfant est également présent
Limitation aux 5 subjects avec les rates les plus élevés

==Process Classifier folder==
Validation du record
La news ne pas être de type réseaux sociaux
Rechercher tout les folders
Parcours des folders
Le folder doit être flaggé en classement AUTO
Check du record par rapport au folder
La news ne doit pas appartenir à un autre user ou à un autre client
La news ne doit pas être payante pour les users gratuits
La news ne doit pas appartenir à une source ignorées par le user
La news doit appartenir à certaine source si c'est l'option choisi par le user
Chargement du model correspondant au folder et la langue de la news
Il doit y avoir un model correspondant
Le type de la news doit correspondre au type choisi par l'utilisateur
SvmPredict
Si le res >= rate déterminer par le user entre 0,4 et 0,9
Insertion en base de données dans folderNews et dans newsPermanent

Sindup

Vanina Lebouvier — Mon, 16 Jan 2012 14:07:33 GMT

Vanina Lebouvier :

Attention : « Sindup » est référencé ici, mais vous ne disposez pas des autorisations pour y accéder.

Sindup:ChangeLog RemoteCrawler

Vanina Lebouvier — Mon, 16 Jan 2012 14:05:51 GMT

Vanina Lebouvier :

==05-01-2012==
* Ajout d'une fonction dans models/Parser.php pour utiliser la détection de date de l'exterieur (str2Uts)
* Ajout d'une fonction dans lib/curlReviews.php permettant de centralisé la sortie d'un model process (libération de mémoire ...)
* Ajout d'une fonction dans models/RemoteCrawlerAbstract.php permettant de séparrer les tests du reste du process et également de centralisé une partie du traitement
* Passage sur tout les models pour mettre à jour le process + faire certaines corrections si nécessaire

[[Sindup#RemoteCrawler]]

Sindup:ChangeLog RemoteCrawler

Vanina Lebouvier — Mon, 16 Jan 2012 14:05:03 GMT

Vanina Lebouvier :