Discriminazioni algoritmiche?

The operation of today’s AIs based on the machine learning model makes it somewhat uncomfortable to determine whether or not a certain algorithmic response placed at the basis of choices, decisions and policies productive of legal effects relevant to individuals is censurable as directly or statistically discriminatory, that is, based on the consideration of some characteristic protected by anti-discrimination law as the reason, motive or cause of a certain disadvantageous treatment. If, however, the training data and AI algorithms are available, there is sometimes the possibility of re-running them to see whether they would have produced the same outputs had the subjects considered been of a different race, sex, religion, sexual orientation, etc., invalidating decisions based on the consideration of elements that the law prohibits from being the basis for unequal treatment that is productive of disadvantages for those affected. The costs of this approach, however, become extremely onerous, and perhaps unsustainable, when the elements used by the system to make its predictions are derived not from “static” datasets, but from massive streams of continuously updated data.

Il funzionamento delle odierne IA basate sul modello del machine learning rende alquanto disagevole determinare se un certo responso algoritmico posto alla base di scelte, decisioni e policies produttive di effetti giuridici rilevanti per le persone, sia o no censurabile in quanto direttamente o statisticamente discriminatorio, ossia fondato sulla considerazione di una qualche caratteristica protetta dal diritto antidiscriminatorio come ragione, motivo o causa di un certo trattamento svantaggioso. Se tuttavia i dati di addestramento e gli algoritmi delle IA sono disponibili, v’è talora la possibilità di rieseguire questi ultimi per verificare se avrebbero prodotto gli stessi output qualora i soggetti considerati fossero stati di razza, sesso, religione, orientamento sessuale ecc. diversi, invalidando le decisioni fondate sulla considerazione di elementi che la legge vieta di porre alla base di disparità di trattamento produttive di svantaggi per gli interessati. I costi di questo approccio diventano però estremamente onerosi, e forse insostenibili, quando gli elementi utilizzati dal sistema per elaborare le proprie previsioni non sono ricavati da dataset “statici”, bensì da ingenti flussi di dati continuamente aggiornati.