Euro-Spider Shopping

Euro-Spider Shopping est un moteur de recherche d’articles vendus sur Internet. Comme beaucoup de moteur de ce type, Euro-Spider Shopping avait choisi de mettre en avant des produits via des affiliations. A une époque, l’index de ce moteur avait dépassé le million de produits. Il est apparu qu’il n’y avait pas d’intérêt à tenter de concurrencer des moteurs du type Le Guide et ses 12 millions de produit. Le site s’est donc tourné vers une mécanique de double crawler. Le premier n’est autre que le crawler du site Spider France qui a pour mission de détecter les boutiques. Le second crawler va passer sur les boutiques pour tenter de trouver de manière automatique les articles vendus sur celle-ci. Cette méthode n’est pas infaillible et demande un suivi hebdomadaire. C’est donc le défi que nous nous sommes fixés. L’astuce consiste donc à soumettre votre site sur Spider France pour qu’ensuite toute la mécanique se mette en place et que les crawlers puissent passer sur votre site. Pour information, les produits qui sont détectés vont être visibles via la barre produit de Euro-Spider Shopping sur des sites partenaires comme Spider France, Testez-votre-referencement.com, Produit-bâtiment.com, …

Testez-votre-référencement.com

Le site Testez-votre-référencement.com permet d’obtenir le rapport de référencement d’un site Internet. Comment ça marche ? Et bien, en précisant l’url dans le formulaire, on obtient un rapport comportant deux volets: “Le site en détail” et “Rapport de référencement”.

L’onglet “Le site en détail” est un aperçu de la page d’accueil comme le verrait un crawler. cet outil est basé sur celui-ci : http://spider.acr-ingenierie.com/

La grande nouveauté se situe sur l’onglet “Rapport de référencement”. En effet, dans la version précédente, le rapport affiché ne contenait que les annuaires partenaires de l’outil. Or comme tout le monde le sait, le référencement évolue et la soumission dans les annuaires n’est qu’une partie du travail du référenceur. L’outil a donc évolué et maintenant, on trouve les catégories “Forum”, “Blog”, “Buzz”, “Site”, … Vous pouvez retrouver toute la liste des sites partenaires.

Voici un exemple de “nouveau lien” détecté par le crawler de Testez-votre-référencement : Rapport de référencement de nba.basketball.fr. De plus, la fréquence de crawl a été revenu et le crawler va passer crawler une page toutes les six minutes alors que précédemment il crawlait 45 pages d’affiler.

N’hésitez pas à poster des commentaires sur cet outil

Récemment, j’ai basculé un hébergement XXL chez OVH vers une nouvelle offre PRO. Peu de temps après ce basculement, j’ai souhaité publier un article sur Blog-Avis.com et là, c’est la misère : Pas moyen d’uploader une image. Pas de message d’erreur, rien !

Je commence à faire le tour des problèmes éventuels :

• chmod : ok
• consultation des logs : pas d’erreur particulière
• version de php : php5 et pas de soucis particulier

J’ouvre donc un ticket chez OVH pour essayer de résoudre ce problème rapidement. OVH ne cherche pas trop à comprendre et ferme mon ticket et bascule ma demande sur le support technique. Du coup, je sais pertinemment que ça va mettre longtemps avant d’avoir une réponse. Je commence donc à surfer sur le net à la recherche de message dans des forums (j’aurai dû commencer par là mais par manque de temps, j’suis d’abord passé par OVH).

Je finis enfin par trouver la solution. Avant de basculer mon hébergement, j’avais changé le nom du répertoire où est stocké mon blog. Et malheureusement, l’adresse d’upload ‘upload_path’ est stockée en dur dans la base de données. Du coup, après modification, ça fonctionne à nouveau. Je ne connais pas la raison de ce stockage dans la base de données mais c’est vraiment dommage de ne pas se baser sur les variables globales de php.

Récemment, nous devions mettre en place pour le site Produit-batiment un moteur de recherche capable d’indexer des documentation pdf. Ayant l’habitude de swish-e pour notre moteur de recherche shopping, nous avons décidé d’utiliser cet outil pour indexer les pdf.

Après quelques recherches, je suis tombé sur cet article :

http://swish-e.org/archive/2003-05/5502.html

J’ai donc testé la configuration mentionnée :

$ swish-e -c f.conf -S prog

f.conf
------

$ cat f.conf

IndexDir /home/moseley/swish-e/prog-bin/spider.pl

ReplaceRules remove "http://"

SwishProgParameters spider.conf

IndexContents HTML* .html .htm .pdf
DefaultContents HTML*
StoreDescription HTML* <body> 200000
MetaNames swishdocpath swishtitle

spider.conf
----------

This is basically just a trimmed down version of the example in SwishSpiderConfig.pl

$ cat spider.conf

# so can find the pdf2html and doc2txt modules

use lib '/home/moseley/swish-e/prog-bin';

@servers = (

    {
        base_url    => 'http://localhost/apache/verhey.pdf',
        agent       => 'swish-e spider http://swish-e.org/',
        email       => 'spider@hank.org',

        # limit to only .html files
        test_url    => sub { $_[0]->path =~ /\.html?$/ },

        delay_min   => .0001,
        keep_alive  => 1,         # enable keep alives requests

        test_url        => sub { $_[0]->path !~ /\.(?:gif|jpeg)$/ },

        test_response   => sub {
            my $content_type = $_[2]->content_type;
            my $ok = grep { $_ eq $content_type } qw{ text/html text/plain application/pdf  application/msword };
            return 1 if $ok;

            print STDERR "$_[0] wrong content type ( $content_type )\n";
            return;
        },

        filter_content  => [ \&pdf, \&doc ],
    },
);    

use pdf2html;  # included example pdf converter module
sub pdf {
   my ( $uri, $server, $response, $content_ref ) = @_;

   return 1 unless $response->content_type eq 'application/pdf';

   # for logging counts
   $server->{counts}{'PDF transformed'}++;

   $$content_ref = ${pdf2html( $content_ref, 'title' )};
   $$content_ref =~ tr/ / /s;
   return 1;
}

use doc2txt;  # included example pdf converter module

sub doc {
   my ( $uri, $server, $response, $content_ref ) = @_;

   return 1 unless $response->content_type eq 'application/msword';

   # for logging counts
   $server->{counts}{'DOC transformed'}++;

   $$content_ref = ${doc2txt( $content_ref )};
   return 1;
}

# Must return true...

1;

Après quelques tests, je suis arrivé à la même problématique que l’auteur de post : l’indexation d’un pdf ne fonctionne pas. J’ai donc ouvert le fichier pdf2html.pm pour voir comment il fonctionne. J’ai rapidement vu qu’il utilisait pdfinfo et pdftotext. Comme ces deux outils fonctionnent avec des fichiers locaux, le spider.pl de swish-e ne fonctionne pas. J’ai donc fait un outil pour récupérer dans un premier temps les fichiers pdf en local et dessus je passe l’outil pdftotext. J’ai donc un dossier contenant tous mes fichiers au format txt qui me permet de lancer l’indexation sur le dossier :

swish-e -f index/index.recherche.tmp -i document/

Ca fonctionne parfaitement et avec cette méthode, j’ai élargie le fonctionnement en intégrant les formats word, excel et rtf.

Très rapidement, on a à disposition un moteur de recherche multi-format très performant.

Bienvenue sur le blog Astuces de Pro de la société ACR Ingénierie. De part notre activité variée, nous sommes en permanence confrontés à des problèmes informatiques à résoudre : programmation, maintenance serveur, hébergement, … Nous avons donc choisi de créer un blog pour publier au jour le jour nos solutions.

Pourquoi partager nos solutions me direz-vous ? Tout simplement parce que ce n’est pas top secret, que nous sommes partisan du logiciel libre et qu’ainsi nous mettons en place une base de connaissance qui peut être utilisé pas notre équipe de développeur.

Nous espérons que nos solutions pourront vous servir et que de votre côté, vous viendrez publier les vôtres.

Bonne journée

L’équipe d’ACR Ingénierie