Les xarxes socials i pàgines web funcionen basant-se en uns algoritmes creats per persones que detecten la nostra activitat i actuen en funció a ella. D’aquesta forma, els algoritmes reflecteixen el comportament humà i per tant poden contenir desviacions conscients o inconscients. És per aquest motiu que existeixen pàgines que han estat acusades de discriminació, tant racial com sexista, a causa d'aquesta tecnologia.

Hi ha llocs web de serveis sanitaris, educació o investigació criminal acusats des de fa anys. Als Estats Units és fan diversos estudis que tenen per objectiu destapar aquests casos. Per exemple, el 2019 es va demostrar gràcies a un informe que el sistema sanitari assignava menys risc a les persones negres, destinant així un 30% de recursos als blancs.

Existeixen molts estudis que asseguren que la discriminació és una problemàtica real, però pel que fa a la tecnologia la professora col·laboradora i investigadora a l'i2TIC María Teresa Ballestar destaca que "Els algoritmes poden contenir biaixos, conscients i inconscients, en la mesura que han estat dissenyats i entrenats a partir d'informació generada prèviament pels mateixos humans". I remarca que "és més senzill culpar la tecnologia que a nosaltres mateixos". Per tant, els algoritmes que s'encarreguen de mostrar continguts personalitzats d'acord amb la interacció digital dels humans, mostren una discriminació latent en la societat.

Casos de discriminació 

Un cas que va tenir ressò en 2015 va ser el d'una eina de Google que etiquetava persones negres com a goril·les, ja que no s'havien fet proves suficients amb elles i per tant, l'algoritme tenia dificultats en reconèixer-les.

Entre els ciutadans també s'han creat moviments per a denunciar aquestes problemàtiques, com per exemple la web World White Web, que busca utilitzar mans de totes les races per a canviar els resultats de Google, ja que segons la creadora, si buscaves mans, només et sortien de pell blanca.

Els algoritmes no són només racistes, també s'han detectat situacions de sexisme. Per exemple, Amazon va crear un algoritme per triar currículums i com a prova van utilitzar els que hi havia arribat en la dècada anterior, majoritàriament d'homes. Així doncs, l'algoritme ho va agafar de referència, discriminant els que eren enviats per dones.

Resposta de la societat

Aquest tipus de situacions han causat que les empreses de tecnologia hagin prestat atenció per poder allunyar-se de continguts poc ètics. De fet, les administracions públiques també busquen posar solucions a aquests problemes. És el cas del president francès Emmanuel Macron, que defensa la importància de "crear condicions de justícia en els algoritmes" per garantir "que no hi ha parcialitat".

"Els consumidors també podem fer un consum responsable i sancionar continguts i marques que ofereixin informació o contingut que no es correspongui amb els nostres valors", assenyala María Teresa Ballestar. Afegeix que per als joves aquestes desviacions de l'algoritme són un risc molt important, i que "han de ser-ne especialment conscients atès l'accés de les noves generacions a les xarxes socials i l'ús intensiu que en fan".

Ballestar també destaca que "si un algoritme no concedeix un crèdit de manera automàtica a una persona, tampoc no ho faria un treballador del mateix banc en una sucursal, ja que tots dos segueixen regles o criteris marcats per l'entitat financera", aspecte que denota la connexió que hi ha entre els humans i el funcionament de l'algoritme.