La tecnologia è stata definita da molti come democratica in quanto ci permette di superare confini sia fisici che immateriali, e per questo si è portati a credere che sia priva di preconcetti. Gli algoritmi, tuttavia, sono creati dagli esseri umani e di conseguenza possono essere portatori di idee e spesso di pregiudizi.

I datasete i sistemi di machine learning, come gli esseri viventi, nascono privi di preconoscenze e vengono “istruiti” tramite l’osservazione e l’apprendimento. Così gli algoritmi imparano a creare giudizi e ipotesi basandosi sulle informazioni che gli sono state date e dal riconoscimento di pattern. È quindi fondamentale la scelta dei dati. Ma chi compie questa selezione?

Si stima che tra gli ingegneri che lavorano nelle tech industries vi sia un grande squilibrio tra generi per cui il numero di donne sia compreso tra il 16 e il 22% del totale che, nel comparto più specifico dell’AI, scende al 6%[1]. Di conseguenza sono principalmente figure maschili quelle che lavorano sugli algoritmi e che ne definiscono le regole.  Inoltre, l’high tech sectorè tendenzialmente composto da persone della stessa etnia, provocando così dei vuoti nella rappresentanza di molti gruppi etnici, che inevitabilmente produce effetti sull’output prodotto.

Infatti, il modo in cui vengono formati gli algoritmi impatta sia il funzionamento dei sistemi per i quali vengono creati sia, e forse soprattutto, le persone per cui vengono realizzati. La nostra quotidianità, difatti è fortemente influenzata dai sistemi operativi che si basano sugli algoritmidi machine learning e di raccomandazione (es. Netflix e Linkedin) motivo per cui il fatto che sia un algoritmo a determinare molti aspetti della nostra esistenza richiede che questo non possieda una visione parziale o settaria della società.

Tuttavia, sono in crescita gli studi che dimostrano che gli algoritmi siano profondamente biased, ovvero soggetti a pregiudizi. Secondo Nicol Turner-Lee, accademica del Centre for Technology Innovation al Brookings Institution di Washington, i bias algoritmici possono essere di due nature: bias di accuratezza e d’impatto.

Un sistema di Intelligenza Artificiale può avere diversi livelli di accuratezza in base al gruppo demografico preso in analisi (es. nel face recognition, spesso l’accuratezza di incarnati più scuri scende a percentuali inferiori al 70% rispetto al 98% di incarnati più chiari e generalmente le donne sono meno riconosciute rispetto agli uomini).

Mentre, relativamente all’impatto, un algoritmo può prendere decisioni che possono variare enormemente se applicate in determinati contesti della società. Per esempio, ci sono sistemi e startup in America come Faception che offrono come servizio la possibilità di predire i possibili futuri attentatori o criminali, attraverso tecnologie di face recognition. 

Per ovviare ai bias naturali degli esseri umani sono stati svolti degli esperimenti per vedere se, facendo attingere direttamente il software da internet, si potessero ottenere output più neutrali, tuttavia i risultati sono stati tutt’altro che incoraggianti in quanto i computer avevano imparato in poco tempo linguaggi d’odio o sviluppato pregiudizi verso minoranze o donne.

Tuttavia, andrebbe sottolineato che avendo usato internet come fonte, i computer attingevano da dati scritti da esseri umani e, di conseguenza, biased. Gli studi hanno quindi rilevato come qualsiasi pregiudizio, se inserito in un dataset, possa venire ripetuto, riprodotto e, talvolta, amplificato dai poteri computazionali dell’intelligenza artificiale, tanto da rendere questa tecnologia un possibile specchio o termometro della nostra società.

Gli effetti principali di questi bias si articolano dalle offerte di lavoro, alla possibilità di ottenere prestiti bancari fino ad ambiti più legati alla sicurezza.  Le più impattate sono le donne, che dopo aver combattuto per anni per entrare nel mondo del lavoro e per abbattere il cosiddetto glass ceiling(metaforico tetto di cristallo che blocca la carriera, usato soprattutto per le donne) oltre a rischiare di diventare ridondanti come forza lavoro, schiacciate dall’innovazione tecnologica[2], possono essere ulteriormente penalizzate dagli algoritmi.

L’UNESCO nel suo recente report sull’Intelligenza Artificiale e la Gender Equality ha stilato alcune azioni per cercare di cambiare la situazione, tra cui:

• Aumentare la algorithm awareness e la data litteracy
• Ampliare le possibilità di accesso per tutte le classi sociali alle materie STEM (Science, Technology, Engineering and Mathematics) e alle carriere nell’IT
• Aprire le banche dati al controllo dei cittadini e di enti che possano regolarne i contenuti (es. GDPR europeo)[3] sviluppando standard comuni sull’adeguatezza dei dati
• Aggiornare le preesistenti banche dati con i cosiddetti intesectional data[4],  correggendo errori e cercando di applicare punti di vista differenti ed inclusivi.

Il problema dell’utilizzo di raccolte dati obsolete per allenare l’intelligenza artificiale può provocare come effetto una ripetizione della storia raccontata da quei dati. Inoltre, vivendo in un momento in cui la tecnologia definisce come viviamo, quello che guardiamo e possibilmente quello che facciamo, avere degli algoritmi che svalutano e impediscono l’accesso a strumenti di emancipazione ed inclusione sociale proprio a quei gruppi di persone che ne hanno più bisogno non è un problema solo delle aziende ma sistemico.

Eugenia M. Montresor

---

[1] UNESCO, Artificial Intelligence and gender equality, Jan. 2020, https://unesdoc.unesco.org/ark:/48223/pf0000374174

[2] Il professore Yuval Noah Harari ha recentemente definito la classe lavorativa che potrebbe rischiare di perdere il lavoro per la sostituzione tecnologica come la useless class che potrebbe sostituire il proletariato novecentesco in una accezione moderna di “lotta di classe”.

[3] A riguardo, in un recente podcast intervistato da Bill Gates e Rashida Jones, il professor Harari ha sottolineato il diritto delle persone ad avere informazioni su come vengano utilizzati i loro dati sebbene spesso le imprese e gli enti non lo consentano giustificandosi con la fiducia che ripongono nei confronti degli algoritmi e dei software di AI. https://www.gatesnotes.com/Podcast/Why-do-we-believe-lies

[4] Il concetto di intersectional data deriva dal concetto di intersectionality sviluppato nel 1989 da Kimberlé Crenshaw, femminista e accademica di diritto americana. L’uso della metafora spaziale veniva usata per definire l’intersezione dell’esperienza delle donne afroamericane che si poneva tra razzismo e sessismo, poiché coloro che vivevano in quell’intersezione avevano un’esperienza unica che non era spiegabile solo con il termine razzismo né solo con sessismo.