DataFu

DataFu αναπτύχθηκε στο LinkedIn και είναι γραμμένο εξ ολοκλήρου σε Java.

DataFu περιλαμβάνει λειτουργίες / βιβλιοθήκες για την εργασία με:

- Στατιστικά στοιχεία

- Εκτίμηση

- Δειγματοληψία

- Συνεδρίες

- Σύνδεσμος Ανάλυση

- εργασίες Σετ

- Τσάντες

DataFu είναι ιδανικό για εξόρυξη δεδομένων και στατιστικές εφαρμογές που εργάζονται στην κορυφή του Hadoop ή Pig βάσεις δεδομένων.

Αυτές οι λειτουργίες επιτρέπουν στους προγραμματιστές να επωφεληθούν πλήρως από όλα τα δεδομένα που είναι αποθηκευμένα μέσα σε ένα Hadoop ή Pig βάσης δεδομένων χωρίς να χρειάζεται να ασχοληθεί με τις απαιτήσεις μαζική συστήματος, προκειμένου να το πράξουν.

Τι είναι καινούργιο σε αυτή την έκδοση:.

• Ζεύγος ΤΑΑ για την απλή τυχαία δειγματοληψία με αντικατάσταση
• Περισσότερες εξαρτήσεις συσκευασμένα τώρα σε DataFu απαιτείται εξαρτήσεις τόσο λιγότερες JAR.
• SetDifference UDF για τον υπολογισμό που διαφορά (π.χ. Α-Β ή Α-Β-Γ).

Τι είναι καινούργιο στην έκδοση 1.2.0:

• Ζεύγος ΤΑΑ για απλή τυχαία δειγματοληψία με αντικατάσταση.
• Περισσότερες εξαρτήσεις συσκευασμένα τώρα σε DataFu απαιτείται εξαρτήσεις τόσο λιγότερες JAR.
• SetDifference UDF για τον υπολογισμό που διαφορά (π.χ. Α-Β ή Α-Β-Γ).

Τι είναι καινούργιο στην έκδοση 1.1.0:.

• Προστέθηκε SHA hash UDF
• InUDF και AssertUDF προστίθενται για Χοιρινά 0,12 συμβατότητα. Αυτά είναι τα ίδια όπως και στο και να διεκδικήσει.
• SimpleRandomSample, η οποία υλοποιεί μια κλιμακούμενη απλό αλγόριθμο τυχαία δειγματοληψία.