DataOps: snellere resultaten voor uw data science team
Het strategisch belang van slimme inzet van data wordt door steeds meer organisaties gezien. Veel organisaties hebben afgelopen jaren geïnvesteerd in betere data-analyse oplossingen en kennis.
Omdat veel organisaties hier nog relatief kort mee werken zien we twee veelvoorkomende situaties: het duurt te lang om tot resultaten te komen en er is onvoldoende samenwerking tussen business, IT en data science teams. Hoe komt dit en hoe kunt u dit verbeteren?
Van automatiseren naar snelle resultaten
Data-analyse is in de meeste gevallen een vrij complex proces. Verschillende databronnen moeten worden gecombineerd, data moet voorbewerkt worden en vervolgens moeten verschillende analysemodellen op maat gemaakt worden.
De eerste logische stap is om dit proces te gaan automatiseren. Dit leidt tot snelheidswinst door minder handmatige bewerkingen.
De tweede stap is vaak de grootste uitdaging: de nieuwe keten moet ook in productie werken. Zeker bij hoogvolume productieomgevingen zijn hier andere kennis en vaardigheden bij nodig.
Er moet goed nagedacht worden over schaalbaarheid, infrastructuur, privacy, het realtime karakter van data etc. Om deze stap goed te zetten is kennis van architectuur en infrastructuren nodig. Voor data scientists en data engineers zorgt dit voor veel vragen en uitzoekwerk.
De derde stap wordt nogal eens vergeten, totdat het eerste incident zich aandient: de modellen in productie moeten ook beheerd worden. Fouten en verstoringen moeten opgelost worden, liefst in zo kort mogelijke tijd en liefst 24×7. Ook deze stap vraagt om andere processen en vaardigheden. Voor data engineers en data scientists zijn deze niet altijd aanwezig.
Naast DevOps ook DataOps
Afgelopen jaren is er steeds meer druk gekomen op software teams om sneller waarde te leveren en sneller van idee naar productie te gaan.
Dit heeft geleid tot de DevOps werkwijze. In de kern gaat deze uit van multidisciplinaire teams die zelfstandig producten ontwikkelen en ook beheren. Dit zorgt voor snellere resultaten, betere oplostijden en minder handover momenten.
De kernprincipes van een DevOps aanpak lenen zich ook uitstekend voor data engineering en data science.
Snellere resultaten, betere oplostijden en minder handover momenten.
- In korte tijd voor betere resultaten, hogere voorspelbaarheid en betere samenwerking zorgen.
- Door verschillende kennis en kunde te combineren in een team verbetert de samenwerking en stijgt het totale kennisniveau.
- Door de multidisciplinaire aanpak worden de werkwijze en data-analyses beter geadopteerd door de business. Hierdoor levert een ingewerkt DataOps-team veel meer waarde voor de business.
