O potencial para vieses nos algoritmos é conhecido há algum tempo, mas a literatura só recentemente demonstrou as maneiras como o perfil algorítmico pode resultar em classificação social e danos grupos marginalizados. Com o aumento da complexidade dos algoritmos, vieses se tornam mais sofisticados e difíceis de identificar, controlar ou contestar.

 

Os algoritmos de aproveitamento significam que os dados coletados em um determinado lugar e tempo relacionados a pessoas específicas podem ser usados ??para construir modelos de grupo aplicados em diferentes contextos a pessoas diferentes.

 

A privacidade e os direitos de proteção de dados, com foco nos indivíduos, não protegem do potencial discriminatório do perfil algorítmico. A fim de aproveitar a regulamentação anti-discriminação, é necessário confrontar formas emergentes de discriminação ou risco de criar novas invisibilidades, incluindo invisibilidade de proteções. 

 

O perfil algorítmico

 

Ele é uma maneira de detectar padrões e fazer previsões com base nelas. Esta

ocorre em uma variedade de contextos, incluindo seguros, finanças, preços diferenciados, educação, emprego, marketing, governança, segurança e policiamento.

 

É um método de análise inferencial que identifica correlações ou padrões dentro de conjuntos de dados, que podem ser usados ??como um indicador para classificar um assunto como membro de um grupo.

 

Essas categorias são formadas a partir de pressupostos que são mais individualizados. Uma decisão de um empréstimo não pode ser feita com base no indivíduo e seu risco de inadimplência, mas com base no código postal ou bairro, que pode funcionar como um proxy indireto de outros indicadores, como o socioeconômico ou racial composição de seus vizinhos. Isso leva a preocupações sobre classificação social e discriminação.

 

Potencial de discriminação

 

A criação desses perfis perpetua hierarquias baseadas no enredamento de características de identidade. As práticas tornam-se auto-impositivas com ciclos de feedback, como conjuntos de dados são construídos de forma desproporcional e contêm dados sobre certas pessoas, levando ao monitoramento excessivo e ao policiamento demasiado desses grupos.

A lei de proteção de dados pode não ser um bom recurso para desafiar os problemas de criação de perfil algorítmico. A antidiscriminação pode oferecer uma perspectiva mais promissora; no entanto, as proteções existentes devem ser alteradas ou estendidas a fim de lidar com novas formas de discriminação que surgem.

 

Possíveis caminhos

 

Na União Europeia, por exemplo, tanto a proteção de dados como a não discriminação são direitos fundamentais consagrados no Carta dos Direitos Fundamentais da UE como "direitos humanos reguladores".

 

Existem limites para a aplicabilidade da proteção de dados e lei anti-discriminação em resposta a novas formas de discriminação que surgem, ou que não pertencem

diretamente a identidades protegidas, mas representam padrões que têm pouco ou nenhum significado intuitivo para os humanos na prática. 

 

No entanto, a intuição de que a lei anti-discriminação pode ser transportada para estes

novas formas de discriminação. As propostas de emendas institucionais são um potencial remédio. A atenção às (in)visibilidades é necessária para combater o risco de

marginalização contínua. Esses insights devem informar avaliações éticas, processos de design e outras medidas de proteção proativas na criação e aplicação de perfis algorítmicos.