Moteur SQL de lac de données natif pour un travail de données local à haute performance
La plateforme DeltaForge exécute un moteur SQL natif qui lit et écrit des fichiers Delta Lake et Apache Iceberg sur une seule machine, offrant une expérience de lakehouse sur un ordinateur portable. DeltaForge, un outil utilitaire axé sur Windows de DeltaForge, combine des requêtes SQL, des analyses graphiques, un indexage géospatial et une traçabilité en un seul processus. Il cible les ingénieurs et analystes de données qui ont besoin de souveraineté des données et de coûts opérationnels réduits, en particulier dans des environnements où l'exécution de clusters complets ou de temps d'exécution basés sur JVM est impraticable.Ce que la plateforme fait et comment elle remplace les piles de clusters
La plateforme implémente un moteur SQL natif pour les formats Delta Lake et Apache Iceberg, supprimant les dépendances à Spark et les environnements d'exécution JVM. Elle effectue des opérations SQL telles que MERGE, le voyage dans le temps et les vecteurs de suppression directement sur le stockage local, et offre des algorithmes graphiques et des fonctions géospatiales H3 dans le même processus. Ce design remplace les déploiements de lakehouse multi-services en consolidant les charges de travail de requête, de graphique et géospatiales en un seul exécutable fonctionnant sur un hôte Windows.
Comment cela affecte les ressources système lors des exécutions locales
En évitant Spark et une JVM, la plateforme réduit la mémoire et le surcoût de calcul associés aux piles basées sur des clusters, ce qui diminue ce qu'on appelle la taxe de cluster. Le modèle de processus natif est destiné aux déploiements à instance unique ou auto-hébergés sur des bureaux, des clouds privés ou des centres de données. Cette architecture rend l'utilisation des ressources dépendante du matériel hôte, de sorte que les performances évoluent avec le CPU local, les E/S de disque et la RAM disponible plutôt qu'avec la capacité du cluster distant.
Sécurité, exactitude des données et mécanismes de vérification
L'exactitude des données est abordée avec une couche de vérification indépendante qui exécute des contrôles de conformité bidirectionnels contre les résultats d'Apache Spark, fournissant une vérification par correspondance arithmétique. La plateforme dérive également une lignée de données intégrée directement à partir des fichiers SQL, de sorte que les transformations peuvent être retracées jusqu'au SQL qui les a produites. Ces comportements fournissent une auditabilité pour les environnements où la provenance et les résultats déterministes sont importants.
Complexité opérationnelle et qui peut l'opérer
La plateforme s'installe sur Windows via winget, Chocolatey ou un MSI, et est également disponible en tant que conteneur Docker et via une image du marché Azure. Cette gamme d'options de déploiement prend en charge à la fois l'utilisation locale sur bureau et les installations d'entreprise auto-hébergées. L'outil cible les ingénieurs et les analystes ; sa consolidation de plusieurs charges de travail en un seul processus réduit la gestion des systèmes distribués, mais les utilisateurs doivent avoir de l'expérience avec les formats de stockage et la planification des ressources hôtes pour obtenir des résultats prévisibles.
Recommandation pratique pour les ingénieurs qui ont besoin d'un lac de données auto-hébergé
La plateforme DeltaForge convient aux équipes qui nécessitent un contrôle local sur les données Delta et Iceberg et souhaitent éviter de maintenir des clusters. Attendez-vous à des performances liées à votre machine : testez de grandes charges de travail sur du matériel représentatif avant de passer à la production. Recommandé. Utilisez un ensemble de données de test séparé et effectuez les vérifications contre une base de référence Spark avant de passer des pipelines critiques à la plateforme.
