Nutch Indexer für Elasticsearch 6.
Der kostenlose Indexer verbindet den Crawler Apache Nutch mit Elasticsearch 6. Für Betreiber von Suchsystemen, die Nutch weiter mit aktueller Textsuche nutzen möchten.
Nutch Indexer für Elasticsearch 6.
Der kostenlose Indexer verbindet den Crawler Apache Nutch mit Elasticsearch 6. Für Betreiber von Suchsystemen, die Nutch weiter mit aktueller Textsuche nutzen möchten.
Ein Gold-Standard unter den Crawlern.
Das Nutch-Projekt hat einige Jahre hinter sich und zählt zu Recht zu den Gold-Standards unter den Crawlern. Damals war SOLR der Stand der Technik bei der Textsuche. Weil sich Elasticsearch in den letzten Jahren zunehmend durchgesetzt hat, gibt es in Nutch auch einen integrierten Indexer dafür.
Das Problem mit Nutch 1.15.
In der Version 1.15 unterstützt Nutch allerdings nur Elasticsearch 5. Das dürfte nicht nur bei unseren Systemen zu massiven Problemen geführt haben. Mit unserem Indexer kann Nutch nun auch mit Elasticsearch 6 verwendet werden. So steht dieses Werkzeug weiterhin in Kombination mit der aktuell besten Lösung für Textsuche zur Verfügung.
Elasticsearch und Nutch.
Elasticsearch ist eine Suchmaschine auf Basis von Lucene. Sie speichert Dokumente in einem NoSQL-Format und ist in Java geschrieben. Die Kommunikation mit den Clients läuft über ein RESTful-Webinterface. Neben Solr ist Elasticsearch der am weitesten verbreitete Suchserver. Nutch ist ein in Java geschriebener Crawler, also ein Werkzeug, das Inhalte von Webseiten abgreift und weiterverarbeitet, zum Beispiel um sie in einer Suchmaschine zu indexieren.
Was Sie bekommen.
Überarbeitete Dependencies
Die verwendeten Abhängigkeiten wurden überarbeitet und auf Elasticsearch 6 abgestimmt.
Angepasster Indexer-Code
Der ursprüngliche Indexer-Code von Nutch wurde für Elasticsearch 6 angepasst.
Kostenlos und offen
Sie laden den Indexer kostenlos von GitHub herunter und können selbst etwas dazu beitragen.
So läuft es ab.
Indexer herunterladen
Sie laden den Indexer kostenlos von GitHub herunter.
Webseiten crawlen
Nutch greift die Inhalte der Webseiten ab und verarbeitet sie weiter.
In Elasticsearch 6 indexieren
Der Indexer schreibt die gecrawlten Inhalte in Elasticsearch 6.
Über REST suchen
Ihre Clients durchsuchen den Index über das RESTful-Webinterface von Elasticsearch.
