CCBt/2.0 (https://cmmncrwl.rg/fq/) - Crawl moteur de recherche
Moteurs de recherche hiérarchiques (araignées ou araignées)
Les araignées (également appelées "araignées") des moteurs de recherche, parcourent les pages en collectant des informations sur le contenu des pages. Lorsqu'ils recherchent des informations spécifiques dans les moteurs de recherche, ils consultent leur base de données et présentent des résultats classés par pertinence pour cette recherche spécifique. Les moteurs de recherche peuvent stocker dans leur base de données à partir de la page d’entrée de chaque site Web, toutes les pages qui résident sur le serveur, une fois que les araignées les ont reconnues et indexées. Si vous recherchez un mot (par exemple: "ordinateurs"), les pages contenant ce mot apparaîtront dans une partie du contenu du contenu des résultats proposés par le moteur de recherche. S'ils considèrent qu'un site Web est important pour l'utilisateur, ils ont tendance à enregistrer toutes leurs pages.

S'ils ne le considèrent pas comme important, ils ne sont pas tous stockés. De temps en temps, les moteurs consultent les sites Web pour mettre à jour le contenu de leur base de données, de sorte que les résultats de la recherche peuvent être obsolètes. Les chercheurs hiérarchiques ont une collection de programmes simples et puissants avec des rôles différents. Ils sont généralement divisés en trois parties. Les programmes qui explorent le réseau - les spiders -, ceux qui construisent la base de données et ceux que l'utilisateur utilise, le programme qui exploite la base de données. Si payé, il peut apparaître dans les premiers emplacements de résultats, bien que les principaux moteurs de recherche délimitent ces résultats et indiquent à l'utilisateur qu'il s'agit d'annonces (résultats sponsorisés ou sponsorisés). Jusqu'à présent, apparemment, cette forme de publicité est explicitement indiquée. Les moteurs de recherche hiérarchiques ont été contraints de commercialiser ce type de publicité afin de continuer à offrir le service gratuitement aux utilisateurs.

Répertoires

Une technologie très simple pour un grand nombre de scripts disponibles, car de nombreuses ressources ne sont pas nécessaires. Au lieu de cela, plus de soutien humain et de maintenance est nécessaire.2
Les algorithmes sont beaucoup plus simples, présentant les informations sur les sites enregistrés sous forme de collection de liens. Ils ne consultent pas les sites Web et ne stockent pas leur contenu. Ils n'enregistrent que certaines informations sur le site Web, telles que le titre et la description qui sont entrées lors de l'inscription du site dans l'annuaire. Les résultats de la recherche seront déterminés par les informations fournies à l'annuaire lors de l'enregistrement du site. En revanche, contrairement aux moteurs, ils sont examinés par des opérateurs humains et classés en catégories, ce qui facilite la recherche des pages recherchées. Plus que la recherche d'informations sur le contenu de la page, les résultats seront présentés en référence au contenu et à la thématique du site.

Sa technologie est très simple et peu coûteuse.

Inconvénient, il convient de noter que les résultats sont classés par sujet ou par date de publication, mais pas par pertinence ou accord avec une recherche spécifique effectuée par l'utilisateur. Open Directory Project et l’ancien logiciel Yahoo! et Terra (avant Olé). ces répertoires utilisaient une organisation hiérarchique de l'information.
Les multibuscadores se limitent à placer dans une page Web une liste des moteurs de recherche les plus courants et une fenêtre de texte afin de pouvoir envoyer à chacun d'entre eux la chaîne de recherche saisie par l'utilisateur. Ils peuvent également envoyer la chaîne de recherche à une série de moteurs de recherche et d'index thématiques préalablement définis. Une fois que la requête a été faite aux moteurs de recherche préfixés, le multibuscador renverra les informations de tous les liens trouvés. Avec l'utilisation de multibuscadores, l'utilisateur évite de passer d'un moteur de recherche à un autre jusqu'à la recherche des informations souhaitées. L'utilisateur choisit les moteurs de recherche qu'il souhaite utiliser et, à partir de là, il effectue sa requête qui offrira des réponses à ses recherches. Le seul avantage est la possibilité de consulter un grand nombre de moteurs de recherche à partir d'une seule page. L'intégralité l'emportera sur la précision, car l'utilisateur trouvera un grand nombre de liens et de nombreuses pages répétées.