5 modelops-mogelijkheden die de productiviteit van datawetenschap verhogen

In het State of Modelops 2022-rapport had 51% van de grote ondernemingen pilots of experimenten met kunstmatige intelligentie in een vroeg stadium gedaan, maar deze nog niet in productie genomen. Slechts 38% gaf aan dat ze vragen van leidinggevenden over het rendement op de investering in AI kunnen beantwoorden, en 43% zei dat hun bedrijf niet effectief is in het tijdig vinden en oplossen van problemen.

Deze uitdagingen roepen de vraag op hoe de productiviteit van het ontwikkelen, leveren en beheren van ML-modellen in productie kan worden verbeterd.

MLops of modelops? Misschien heb je beide nodig

Nu hebben datawetenschappers tal van analysetools om uit te kiezen om modellen te ontwikkelen, waaronder Alteryx, AWS SageMaker, Dataiku, DataRobot, Google Vertex AI, KNIME, Microsoft Azure Machine Learning, SAS en anderen. Er zijn ook MLops-platforms om data science-teams te helpen bij het integreren van hun analysetools, het uitvoeren van experimenten en het implementeren van ML-modellen tijdens het ontwikkelingsproces.

Rohit Tandon, general manager voor ReadyAI en managing director bij Deloitte Consulting, legt de rol van MLops bij grootschalige AI-implementaties uit. “Omdat ondernemingen de AI-ontwikkelingscapaciteit willen opschalen van tientallen tot honderden of zelfs duizenden ML-modellen, kunnen ze profiteren van dezelfde technische en operationele discipline die devops voor softwareontwikkeling hebben gebracht. MLops kan helpen bij het automatiseren van handmatige, inefficiënte workflows en het stroomlijnen van alle stappen van modelconstructie en -beheer.”

Hoewel veel MLops-platforms implementatie- en monitoringmodellen in productie ondersteunen, is hun primaire functie het dienen van datawetenschappers tijdens de ontwikkelings-, test- en verbeteringsprocessen. Modelops-platforms en -praktijken zijn bedoeld om een ​​leemte op te vullen door samenwerkings-, orkestratie- en rapportagetools te bieden over welke ML-modellen in productie worden uitgevoerd en hoe goed ze presteren vanuit operationeel, compliance- en bedrijfsperspectief.

Een manier om over MLops versus modelops na te denken, is dat MLops voor datawetenschap vergelijkbaar is met devops-tools, terwijl modelops governance, samenwerking en rapportage biedt rond de ML-levenscyclus, met een focus op operaties, monitoring en ondersteuning.

Voorbeelden van gebruiksscenario’s van modelops zijn banken die modellen voor kredietgoedkeuring ontwikkelen, ziekenhuizen die ML gebruiken om afwijkingen van patiënten te identificeren, en detailhandelaren die ML gebruiken om de productiedoorvoer in evenwicht te brengen met de vraag van de klant. In deze gevallen zoeken zakelijke belanghebbenden verklaarbare ML en moeten ze de voorspellingen vertrouwen. In sommige gevallen eisen regelgevers modeltransparantie.

Er is zeker een verwarrende overlap in terminologie en mogelijkheden tussen MLops, modelops en zelfs dataops. Bij het nadenken over hoe datawetenschappers kunnen helpen bij het implementeren, beheren en leveren van bedrijfsrapportage op compatibele modellen, bied ik vijf modelops-mogelijkheden om de productiviteit van datawetenschap te verbeteren.

1. Werk samen met behulp van een catalogus van machine learning-modellen

Weten data science-teams welke machine learning-modellen in productie worden uitgevoerd en hoe goed ze presteren? Net zoals data governance en dataops datacatalogi gebruiken als bron voor beschikbare datasets, kunnen modelops operationele transparantie bieden aan ML-modellen.

Dmitry Petrov, medeoprichter en CEO van Iterative, zegt: “De productiviteit van datawetenschappers kan worden gemeten in hoe snel ze modellen op de markt kunnen brengen in de apps en services van hun organisatie. Om dat te bereiken, raad ik aan om de zichtbaarheid en samenwerking tussen datawetenschapsteams te verbeteren.”

Petrov stelt voor om „een centrale plek te hebben om alle modelgerelateerde informatie op te slaan, zoals gegevens, experimenten, metrieken en hyperparameters, en om verbinding te maken met devops-georiënteerde tools, zodat het in productie nemen van modellen soepeler verloopt.“

2. Breng een consistent en geautomatiseerd pad naar productie tot stand

De devops-tools die Petrov noemt, verwijzen specifiek naar CI/CD-tools om de code, parameters en gegevensartefacten naar runtime-omgevingen te pushen. Het implementeren van continue implementatie in productieomgevingen heeft extra zakelijke belanghebbenden, vooral wanneer voorspellende modellen nalevingsbeoordelingen vereisen.

Manasi Vartak, oprichter en CEO van Verta, stelt voor: „Modelops-platforms met checklists voor gereedheid, geautomatiseerde workflows en ingebouwde toegangscontroles voor governance kunnen de overdracht vergemakkelijken en versnellen.“ Ze vervolgt: „Data science-teams dragen modellen over aan hun teams voor modelrisicobeheer, ML-engineering, SRE en devops om de operationele betrouwbaarheid, governance, beveiliging en schaalbaarheid van missiekritieke, realtime implementaties van AI te waarborgen.“

3. Monitor ML-modellen voor operaties en compliance

Door datawetenschappers te helpen bij het automatiseren en sneller implementeren van meer modellen, kunnen zakelijke problemen ontstaan ​​als er geen operationeel modelops-model is dat gelijke tred houdt.

Een belangrijke operationele behoefte is modelmonitoring, zoals Kjell Carlsson, hoofd datawetenschapsstrategie en evangelisatie bij Domino Data Lab, uitlegt. “Met behulp van modelops-platforms kunnen datawetenschappers sneller modellen ontwikkelen. In de beste gevallen stroomlijnen deze platforms de implementatie en monitoring, bijvoorbeeld modeldrift in de verschillende omgevingen waar de bedrijfsapplicaties zich bevinden, zowel in de cloud als op locatie.”

John Wills, field CTO bij Alation, deelde een gemakkelijk te begrijpen definitie van modeldrift. „Modeldrift is het vermogen van het platform om de situatie te meten waarin de distributie van modelinvoer verandert“, zegt hij. „Vroegtijdige identificatie van deze verschuiving stelt datawetenschappers in staat om problemen en negatieve zakelijke gevolgen in verband met verlies van precisie voor te zijn.“

4. Verstrek executive rapportage over bedrijfsimpact

Wanneer datawetenschappers ML-modellen inzetten voor productie en zakelijke gebruikers de voordelen ervaren, hoe zullen leidinggevenden die de AI-investeringen sponsoren weten wanneer ze hun vruchten afwerpen?

Krishna Kallakuri, CEO van Diwo, zegt: „Het doel is snelle en nauwkeurige beslissingen, dus bedrijven zouden de productiviteit van een datawetenschapper moeten meten in combinatie met de productiviteit van de analisten en zakelijke gebruikers die de AI bedient.“

Iterative’s Petrov voegt eraan toe dat modelops-platforms de „vooruitgang rond modelbouw en verbeteringen moeten visualiseren en delen met teamleden en leiderschap.“

Het komt erop neer dat de impact van productie-AI en ML niet altijd zichtbaar zijn voor leidinggevenden. Het is vaak een ingrediënt van een klantervaring, workflow van werknemers of applicatie-integratie die voor de impact zorgt. Modelops-platforms met rapportage op directieniveau zijn bedoeld om deze kloof te dichten.

5. Bied mogelijkheden om de levenscyclus van het ML-model te ondersteunen

Laten we eens kijken naar enkele mogelijkheden van modelops-platforms die de productiviteit van datawetenschap verbeteren:

  • Beheer productie-implementaties met versiebeheer en rollback-mogelijkheden
  • Maak samenwerking met andere datawetenschappers mogelijk, bevorder het delen van kennis en maak hergebruik mogelijk
  • Identificeer en help prioriteiten te stellen welke modellen in productie ondermaats presteren of ondersteuning nodig hebben
  • Verbeter de hoorbaarheid van modellen en auditrapportage van modellen, zodat datawetenschappers geen kostbare tijd verliezen met het reageren op regelgevers
  • Automatiseer bedrijfsrapportage zodat datawetenschappers één bron hebben om te delen met belanghebbenden en bedrijfsleiders die de zakelijke impact van hun modellen aantoont

Dit zijn enkele van de mogelijkheden die AI-leiders willen van modelops-platforms: de resultaten die belangrijk zijn voor organisaties die de zakelijke impact van ML-investeringen willen behalen.

Meer organisaties gaan experimenteren met ML en AI. De vraag blijft of MLops, modelops of andere opkomende best practices datawetenschappers zullen helpen bij het implementeren, beheren en demonstreren van bedrijfsresultaten van modellen in productie.

Copyright © 2022 IDG Communications, Inc.

Kommentar verfassen

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert