Apache Kudu

What is Apache Kudu?
Apache Kudu is a member of the open source Apache Hadoop ecosystem. It is an open source structured data storage engine that supports low-latency random access and efficient analytical access patterns. It was designed and implemented to bridge the gap between the widely used Hadoop Distributed File System (HDFS) and the HBase NoSQL database. While these systems can still prove beneficial, Apache Kudu can handle many common workloads because it can dramatically simplify their architecture.

Apache Kudu wurde hauptsächlich als Projekt bei Cloudera entwickelt. Die meisten der bisherigen Beiträge stammen von Cloudera-Entwicklern. Während der Veröffentlichung wurden nur Convenience-Binaries in die Cloudera-Repositories aufgenommen, jedoch wurde der Source-Release-Prozess der Apache Software Foundation (ASF) beim Beitritt zum Inkubator übernommen. Es wurde speziell für Anwendungsfälle entwickelt, die eine schnelle Analyse schneller Daten erfordern. Es wurde entwickelt, um die Vorteile der Hardware- und In-Memory-Verarbeitung der nächsten Generation zu nutzen. Es reduziert die Abfrage-Latenz signifikant für Apache Impala und Apache Spark. Es verteilt Daten über die Speicher-Engine oder durch horizontale Partitionierung und repliziert dann jede Partition unter Verwendung der Raft-Konsensprognose, wodurch eine niedrige mittlere Zeit bis zur Wiederherstellung und niedrige Tail-Latenzzeiten bereitgestellt werden.

Although Kudu is a product developed in the context of the Apache Hadoop ecosystem, it also supports integration with other data analysis projects inside and outside the ASF.

Apache Kudu is efficient because it can handle real-time analytical workloads across a single tier of storage. This gives architects the flexibility to handle a wide variety of use cases without exotic workarounds.