Apache Nutch

What is Apache Nutch?
Apache Nutch ist ein Web-Crawler-Softwareprodukt, mit dem Daten aus dem Internet aggregiert werden können. Es wird in Verbindung mit anderen Apache-Tools wie Hadoop zur Datenanalyse verwendet.

Apache Nutch ist ein Open-Source-Produkt, das von der Apache Software Foundation lizenziert wird. Diese Entwicklergemeinschaft hält Lizenzen für eine Reihe von Apache-Softwaretools, die Daten sortieren und analysieren können. Eine der zentralen Technologien ist Apache Hadoop, ein großes Datenanalyse-Tool, das in der Geschäftswelt sehr beliebt ist.

Zusammen mit Tools wie Apache Hadoop und Funktionen für Dateispeicherung, Analyse und mehr, ist die Aufgabe von Nutch das Sammeln und Speichern von Daten aus dem Internet durch die Verwendung von Web-Crawling-Algorithmen.

Benutzer können einfache Befehle in Apache Nutch nutzen, um Informationen unter URLs zu sammeln. Benutzer verwenden Apache Nutch normalerweise zusammen mit einem anderen Open-Source-Tool, einem Framework namens Apache Solr, das als Repository für die mit Apache Nutch gesammelten Daten dienen kann.