Data Enlights · Automotive
Een lakehouse voor een automotivegroep in Gent
Terabytes aan fabrieksdata in een medallion-lakehouse, batch en streaming, vanuit één configuratiegestuurd framework.
- Automotive
- Dataplatform
- Streamingdata
Het probleem
De groep wil 50% van haar omzet halen uit niet-fossiele producten, en haar fabrieken produceren terabytes aan data die één betrouwbaar platform nodig hadden.
De oplossing
Een bronze/silver/gold-lakehouse met een configuratiegestuurd Python-framework voor zowel batch als streaming, en een toegangsmodel op basis van Azure AD.
Het resultaat
Ongeveer 50% lagere cloudkosten voor het platform, vooral door de streamingjobs te optimaliseren, met batch en streaming op één framework.
Het hele verhaal
Het vertrekpunt
De fabrieken van de groep wereldwijd produceren terabytes aan data uit machines, productiesystemen en magazijnen. Er was één betrouwbaar platform nodig voor zowel batchladingen als realtime streams.
Het platform
Een bronze/silver/gold-lakehouse op Azure Databricks met Delta Lake. Wijzigingen in productiedatabanken komen binnen via Qlik Replicate en IBM CDC, live events via Event Hubs, en Databricks Autoloader pikt nieuwe bestanden op. Eén configuratiegestuurd Python-framework draait zowel batch als streaming, met toegangsbeheer via Azure AD.
De factuur gehalveerd
We analyseerden de kosten van Azure en Databricks job per job. Het grootste deel van de besparing kwam van het herschrijven van de streamingjobs, zodat ze hetzelfde werk doen met veel minder rekenkracht. Zo daalden de cloudkosten van het platform met ongeveer de helft.
Governance
Unity Catalog en MLflow op Databricks beheren de data en de modellen, ook de machine learning-modellen die in de magazijnen gebruikt worden.
Voorbij het platform
Het platform voedt ook logistiek werk: een magazijnoptimalisatie over vier sites, en een applicatie in ontwikkeling die voorspelt hoe lang een bestelling nodig heeft om klaar te zijn en een passend leverslot voorstelt, gebouwd met Azure Machine Learning en MLflow.
Technologie
Vraag het Pai
Vraag Pai naar deze case
Pai is een AI. Hij weet alleen wat op deze pagina staat.
Pai is een AI. De antwoorden komen van deze casepagina. Deel geen gevoelige gegevens.
Chats worden 30 dagen bewaard, tenzij je dat uitschakelt in Privacy en keuzes.