Πώς φιλτράρονται τα logs με SQL πριν φτάσουν…

Η Cloudflare δημοσίευσε στις 12 Οκτωβρίου 2026 τεχνική ανάλυση για τον τρόπο με τον οποίο οι Transformers λειτουργούν μέσα στη διαδικασία εξαγωγής logs του Logpush. Η δυνατότητα είχε περάσει σε γενική διαθεσιμότητα στις 30 Σεπτεμβρίου· η νέα δημοσίευση εξηγεί την αρχιτεκτονική και τις επιλογές υλοποίησης, χωρίς να αποτελεί ανακοίνωση νέας κυκλοφορίας.

Τα logs είναι καταγραφές συμβάντων που βοηθούν τις ομάδες να αναλύουν λειτουργία και ασφάλεια υπηρεσιών. Με τους Transformers, μια εντολή SQL εφαρμόζεται πριν οι καταγραφές παραδοθούν στον εξωτερικό προορισμό. Η επίσημη τεκμηρίωση προβλέπει φιλτράρισμα εγγραφών, αλλαγές πεδίων, απόκρυψη ευαίσθητων τιμών και προσθήκη μεταδεδομένων. Ο στόχος είναι ο παραλήπτης να λαμβάνει δεδομένα στη μορφή που χρειάζεται.

Η νέα τεχνική ανάλυση περιγράφει μια σημαντική επιλογή: η αρχική προσέγγιση χρησιμοποιούσε απομακρυσμένη εκτέλεση μέσω Workers, όμως η εταιρεία επέλεξε να ενσωματώσει την εκτέλεση μέσα στην υπηρεσία παράδοσης Bufstream. Σύμφωνα με την Cloudflare, έτσι αποφεύγεται μια πρόσθετη δικτυακή κλήση στη διαδρομή εξαγωγής, η οποία θα μπορούσε να εισαγάγει καθυστερήσεις, timeouts και επαναλήψεις. Για την εκτέλεση SQL επέλεξε το Apache DataFusion.

Η επεξεργασία γίνεται ανά παρτίδα. Οι εγγραφές που δεν ικανοποιούν τη συνθήκη WHERE αφαιρούνται, ενώ το SELECT καθορίζει τα πεδία της εξόδου. Η Cloudflare διευκρινίζει ότι η συγκεκριμένη διαδικασία δεν μετατρέπει τα δεδομένα σε άλλο format: η εξαγωγή παραμένει NDJSON. Είναι μεταβολή περιεχομένου και δομής, όχι γενικός μετατροπέας αρχείων.

Η επίσημη τεκμηρίωση ορίζει επίσης ότι απαιτείται συμβατό Logpush job με έξοδο NDJSON και το ίδιο dataset με τον Transformer. Η διαχείριση γίνεται από το dashboard ή το API, με ιστορικό εκδόσεων για τις αποθηκευμένες αλλαγές. Ένα job μπορεί να έχει Transformer ή τα υπάρχοντα φίλτρα, αλλά όχι και τα δύο ταυτόχρονα.

Η δική μας πρακτική εκτίμηση είναι ότι το φιλτράρισμα πριν από την παράδοση μπορεί να διευκολύνει ομάδες που σήμερα καθαρίζουν τα δεδομένα αφού τα παραλάβουν. Χρειάζεται όμως προσοχή στο τι αφαιρείται: μια εγγραφή που φαίνεται περιττή στη συνήθη λειτουργία ενδέχεται να είναι χρήσιμη σε διερεύνηση προβλήματος. Η επιλογή των πεδίων πρέπει επομένως να ακολουθεί τις πραγματικές ανάγκες της ομάδας.

Το θέμα αφορά κυρίως διαχειριστές υπηρεσιών και υποδομών που χρησιμοποιούν Logpush. Δεν τεκμηριώνεται συγκεκριμένο ποσοστό εξοικονόμησης για κάθε εγκατάσταση ούτε αυτόματη επίλυση ζητημάτων ιδιωτικότητας. Η αξία της νέας δημοσίευσης βρίσκεται στην εξήγηση του πού εκτελείται η επεξεργασία και ποιους περιορισμούς πρέπει να ελέγξουν οι ενδιαφερόμενοι πριν αλλάξουν τη ροή καταγραφών τους.

Ενδεικτική εικονογράφηση AI· δεν αποτελεί πραγματική φωτογραφία ή ακριβή απεικόνιση της υποδομής Cloudflare.

Πηγή: Cloudflare — τεχνική ανάλυση της 12/10/2026, Cloudflare — τεκμηρίωση Transformers, Cloudflare — ημερομηνία γενικής διαθεσιμότητας.