Datadog, Inc. gab die allgemeine Verfügbarkeit von Data Jobs Monitoring bekannt, einem neuen Produkt, das Datenplattform-Teams und Dateningenieure dabei unterstützt, problematische Spark- und Databricks-Jobs überall in ihren Datenpipelines zu erkennen, fehlgeschlagene und lange laufende Jobs schneller zu beheben und übermäßig bereitgestellte Rechenressourcen zu optimieren, um Kosten zu senken. Data Jobs Monitoring zeigt sofort bestimmte Jobs an, die optimiert und zuverlässiger gemacht werden müssen, und ermöglicht es den Teams, die Ausführungsspuren von Jobs zu analysieren, so dass sie ihre Job-Telemetrie mit ihrer Cloud-Infrastruktur korrelieren können, um eine schnelle Fehlersuche durchzuführen. Data Jobs Monitoring hilft Teams dabei: Job-Ausfälle und Latenzspitzen zu erkennen: Sofortige Warnmeldungen benachrichtigen Teams, wenn Jobs fehlgeschlagen sind oder über die automatisch ermittelten Baselines hinaus laufen, so dass diese Probleme behoben werden können, bevor es zu negativen Auswirkungen auf die Endbenutzererfahrung kommt.

Empfohlene Filter zeigen die wichtigsten Probleme auf, die sich auf den Zustand von Aufträgen und Clustern auswirken, so dass diese nach Priorität geordnet werden können. Finden Sie fehlerhafte Jobs schneller und lösen Sie sie: Detaillierte Trace-Ansichten zeigen den Teams genau, wo ein Job in seinem Ausführungsablauf fehlgeschlagen ist, so dass sie den vollständigen Kontext für eine schnellere Fehlersuche haben. Mehrere Jobläufe können miteinander verglichen werden, um die Ursachenanalyse zu beschleunigen und Trends und Änderungen bei der Laufzeit, den Spark-Leistungsmetriken, der Clusterauslastung und der Konfiguration zu erkennen.

Identifizieren Sie Möglichkeiten für Kosteneinsparungen: Die Metriken zur Ressourcenauslastung und zu Spark-Anwendungen helfen Teams dabei, Möglichkeiten zur Senkung der Rechenkosten für überlastete Cluster zu finden und ineffiziente Jobläufe zu optimieren. Data Jobs Monitoring ist jetzt allgemein verfügbar.