Kontext klienta
Klient patří mezi přední pojišťovací společnosti v Austrálii a Evropě. Obsluhuje miliony zákazníků ve více než 15 zemích. Kvůli NDA nelze sdílet další podrobnosti o konkrétní společnosti.
Výzva
Hlavní výzvou při budování nového datového skladu byla vysoká složitost dat způsobená čtyřmi nejednotnými datovými sklady s odlišnou strukturou i úrovní standardizace. To vedlo k dlouhému procesu načítání dat, který bylo potřeba zásadně zefektivnit. Vedle toho představovala problém i kvalita dat, protože bylo nutné zavést spolehlivé čištění a validační mechanismy pro vytvoření konzistentního analytického prostředí.
Naše řešení
Načítání dat jsme zrychlili díky detailní datové i byznysové analýze v kombinaci s přístupem řízeným metadaty. Díky tomu se podařilo přejít z měsíčního načítání dat na denní a později až na dvě načtení denně. Pro oblast datové kvality jsme na trhu nenašli dostatečně kvalitní nástroj, a proto jsme vytvořili vlastní automatizovaný testovací nástroj CAT. Celé řešení je plně automatizované pomocí DevOps Pipelines, běží ve třech prostředích a je kompletně verzované v Gitu, včetně Power BI reportů v TMDL. Samozřejmostí bylo i důkladné testování.
Výsledek spolupráce
Vybudovali jsme vysoce výkonný datový sklad, který během devíti měsíců sjednotil čtyři nejednotné sklady do jednoho řešení a přinesl 27% úsporu nákladů. Frekvence načítání dat vzrostla 60×, z měsíčního režimu na dvakrát denně, při zpracování 1,5 miliardy záznamů za hodinu. Migrace proběhla plynule pro 3 miliony klientů a vysokou kvalitu dat jsme zajistili pomocí našeho automatizovaného testovacího nástroje CAT. Celé řešení je plně automatizované pomocí DevOps Pipelines, verzované v Gitu a navržené s důrazem na skutečný byznysový přínos.
