Po kilku miesiącach od wejścia w fazę Preview, Microsoft poinformował o ogólnej dostępności Azure Databricks, platformy analitycznej opartej na Apache Spark, zapewniającej sprawne przepływy pracy w interaktywnej przestrzeni roboczej ze wsparciem dla wielu platform danych i aplikacji.
Azure Databricks, jak podaje Microsoft to "platforma analizy bazująca na usłudze Apache Spark zoptymalizowana pod kątem chmury Microsoft Azure. Usługa Databricks, zaprojektowana została wspólnie z twórcami usługi Apache Spark i jest zintegrowana z platformą Azure w celu zapewnienia konfigurowania jednym kliknięciem, usprawnionych przepływów pracy oraz interakcyjnego obszaru roboczego, który umożliwia współpracę pomiędzy analitykami danych, inżynierami danych i analitykami biznesowymi" - podaje Microsoft.
W ciągu ostatnich 5 lat Apache Spark stał się otwartoźródłowym standardem dla zaawansowanej analityki, machine learningu i AI w połączeniu z Big Data. W projekt zaangażowanych jest ponad 1000 firm i instytucji. Twórcy projektu, który przerodził się ostatecznie w Apache Spark, współpracowali z Microsoftem nad Azure Databricks. Jak wyjaśnia Microsoft, celem wprowadzenie na rynek tej platformy jest przyspieszanie innowacji i upraszczanie procesu tworzenia rozwiązań łączących Big Data i AI w oparciu o Databricks i Azure.
Platforma oferuje również możliwości klastra Apache Spark, w tym Spark SQL i elementy DataFrame, przesyłanie strumieniowe, wykresy i obliczenia GraphX, biblioteka MLib oraz interfejs API Spark Core z obsługą języków R, SQL, Python, Scala i Java.
Azure Databricks łączy się z Power BI, Azure IoT Hub, Azure Event Hubs, Azure Blob Storage, klastrami Azure HDInsight Kafka, Azure Data Lake Store, Azure SQL Data Warehouse i Azure Cosmos DB.
Ogólnodostępna wersji platformy znajduje się już na na Portalu Azure.