Ilustração de Angelina Velosa
Padrão. Essa é a principal palavra que rege o funcionamento de um algoritmo. Por defeito, um algoritmo funciona a partir de regras pré-estabelecidas por quem as escreveu, podendo, mais tarde, tornar-se autônomo na produção de novas regras baseadas nas originais. A ideia de “machine learning” (aprendizagem da máquina) parte do pressuposto de que o computador ou um dispositivo capaz de operar a partir das regras de um algoritmo adquire capacidade para construir novos modelos que utilizam a ideia de indução, ou seja, tal algoritmo seria informado o suficiente para extrair regras e padrões a partir de grandes bases de dados.
Mas nem sempre o padrão segundo o qual opera um algoritmo parte de uma regra justa. O padrão é estabelecido por uma regra social criada por pessoas – resta saber quem são as pessoas que constituem os padrões a serem seguidos por uma sociedade ou um algoritmo.
Basta pensar, por exemplo, na questão do binarismo social. Por muito tempo, a identidade de gênero ficou estagnada socialmente a partir de um modelo único de existência. Ser “homem” ou ser “mulher” cisgêneros ainda continua a ser um modelo identitário hegemônico que limita novas produções de visões do mundo. Por isso mesmo, padrões podem ser nocivos. O mesmo acontece com a produção algorítmica. Quando a construção de um algoritmo passa pela mão de uma pessoa constituída por valores sociais padronizados, corre-se o risco deste algoritmo reproduzir valores sociais que podem não estar alinhados com a justiça e a diversidade.
Nesse sentido, a questão racial é fulcral para compreender este processo e entender como uma situação de prejuízo criada no mundo offline foi transportada para o mundo dos algoritmos. Tal como a identidade de gênero hegemônica, podemos pensar na situação da hegemonia racial em que pessoas brancas têm operado os meios de produção a partir de modelos únicos.
Quando pensamos na produção de algoritmos devemos pensa nas pessoas que os produzem, nas pessoas que dominam os lugares onde estes artefatos tecnológicos são construídos. Uma análise realizada em 2019 pela CNBC sobre os indicadores da presença de funcionários negros nas maiores companhias de tecnologia do mundo revelou o grande abismo em termos de representatividade. Naquele ano, pessoas negras a trabalhar no Facebook representavam apenas 3,8%. No Twitter trabalhavam 6% e, na Amazon, havia 26.5% pessoas negras a trabalhar em centros de distribuição, longe de estarem em equidade com os postos ligados à engenharia de softwares.
A distribuição dos postos de trabalho no mundo da tecnologia deixa claro como este espaço é ainda dominado por homens cis brancos, geralmente oriundos de países com uma intensa história racista e colonial. No Brasil, um mapeamento denominado PretaLab, realizado em 2019 pela Olabi com o objetivo de estimular o protagonismo de mulheres negras e indígenas na inovação e na tecnologia, revelou que este setor é controlado em quase 60% por pessoas brancas, na maioria por homens cis heterossexuais.
Por que se sabe isso noutros países e não em Portugal? Porque ainda não existem políticas públicas no que toca às questões étnico-raciais e porque o debate sobre a inclusão das categorias que permitem identificar estes cidadãos ainda está longe de terminar. Outros países, como o Brasil e os Estados Unidos, estão muito mais avançados neste campo porque há muito que reconhecem o racismo como um elemento de destruição da equidade social e que a cor da pele ainda é um dado relevante na distribuição de postos de trabalhos em todos os setores.
Para algumas pessoas, esta condicionante pode parecer um dado irrelevante. Mas não é. Pesquisas recentes, iniciadas a partir de 2010, demonstram que o funcionamento de alguns algoritmos replica condicionalismos sociais acerca da percepção sobre pessoas negras. No livro Algoritmos da Opressão (2018), Safiya Noble denuncia como a Google estava a permitir que pesquisas sobre “garotas negras” mostrassem resultados ligados à pornografia e à prostituição. Já Joy Buolamwini, fundadora do projecto Algorithmic Justice League (e protagonista do documentário da Netflix Coded Bias) identificou problemas nos algoritmos do software Rekognition, da Amazon, no que diz respeito ao reconhecimento facial: não eram eficazes na leitura de rostos de pessoas com peles escuras nem de mulheres.
A gravidade da situação acresce tendo em conta que este software tem sido utilizado por órgãos de policiamento urbano no controle de possíveis atos de criminalidade a partir das câmaras de vigilância nas ruas, contribuindo para reforçar a criminalização aleatória e sistêmica das pessoas não brancas.
O racismo digital instaurado pelas regras de certos algoritmos é complementado pelo comportamento de algumas pessoas dentro de plataformas online como a Uber, Airbnb, Glovo ou Blablacar. Nesses casos, não se trata exclusivamente de um padrão algorítmico, mas de uma tendência social que rejeita grupos sociais específicos.
Vários estudos já comprovavam que motoristas negros ou motoristas com nomes com raízes árabes e não-ocidentais, que normalmente não são considerados de pessoas brancas, ganham menos dinheiro e recebem menos pontuação positiva em comparação com motoristas brancos. O mesmo acontece com anfitriões negros do Airbnb. Entramos outra vez no papel do algoritmo destes aplicativos que, ao registar as análises dos consumidores, estabelece rankings que desfavorecem estas pessoas. Tendo menor pontuação, estes trabalhadores são considerados pelo algoritmo como pessoas de confiança duvidável e isso repercute-se na sua (des)estabilidade financeira. E não é assim que funciona o sistema racial na generalidade? Um sistema que desqualifica a pessoa a partir da desconfiança perante a sua humanidade. No caso destes aplicativos, temos os algoritmos operando em parceria com o comportamento social.
Não podemos ainda deixar de referir o quanto as redes sociais têm servido como plataformas de ódio. São muitos os casos de racismo através do digital, principalmente porque o caráter rizomático da internet dá força e coragem a quem a utiliza como espaço de prática de racismo, xenofobia e misoginia. Considerando que a rede é um espaço público de difícil regulação e que, com algum esforço criativo, é possível manter-se em anonimato, veículos como o Facebook, Instagram e Twitter têm servido de aporte para desencadear o ódio, mesmo com as medidas preventivas que têm surgido na tentativa de denunciar e controlar estes discursos. A subjetividade de quem trabalha na moderação de comentários e a falta de algoritmos capazes de rever palavras e imagens utilizadas em postagens não têm dado conta da tempestade de discriminações que pululam nas mensagens públicas e privadas a circular nestes espaços.
Como mudar todos estes cenários aqui explanados? Como promover alterações neste setor quando pensamos nos engenheiros de software que estão à frente destes meios de produção de dinheiro e de valor social? O que levaria estas pessoas, maioritariamente brancas, cis e heterossexuais, a se interessarem por questões raciais quando muitas delas negam a sua existência ou nunca pensaram sobre o assunto, considerando o privilégio que os mantém num lugar de conforto? Estamos diante de um quadro estrutural histórico de manutenção de um poder padronizado nas mãos de pessoas brancas. A tentativa das grandes empresas de tecnologia em incluir pessoas negras tem-se revelado um falhanço total. Quando vemos a Amazon reportar que nos seus quadros de trabalhadores há quase 30% de pessoas negras e percebemos que este percentual representa a força bruta da empresa, a gente também compreende que ninguém quer deixar o seu lugar de conforto e de poder para, de facto, dar lugar às pessoas historicamente desfavorecidas pelos contextos coloniais. Como será isso em Portugal? Como serão constituídos os lugares de decisão dentro das filiais das grandes empresas?
A questão que fica para refletir é: se uma pessoa com um lugar de poder não tem interesse em questões raciais porque entende que isso não a afeta, e provavelmente não afeta mesmo, o que a levaria a providenciar cenários de mudança? Talvez o começo da mudança aconteça aqui – quanto mais gente se levantar para debater a questão, quanto mais estudos forem feitos sobre o tema, quanto mais pessoas negres ocuparem espaços de poder na política, na cultura, no terreno empresarial. Quando se criarem categorias étnico-raciais para nos ser dado a conhecer onde estão pessoas como eu – pessoas negres portugueses e pessoas negres que vivem em Portugal – e quando se criarem cotas de reparação social a fim de tentar equilibrar injustiças que se perpetuam na história colonial portuguesa.
English Version
Ilustration by Angelina Velosa
Pattern. This is the key concept behind operating an algorithm. By default, an algorithm refers to pre-set rules that were written by hand and can later become autonomous in producing new rules based on the original ones. The idea of “machine learning” starts with the assumption that the computer, or a device capable of operating from the rules of an algorithm, acquires the capability to build different models using induction. Such algorithm would be informed enough to process rules and patterns from large databases.
But the algorithm works based on a model that doesn’t always reflect a just rule. A social rule created by humans sets the model—the question remains who sets the standards that a society or an algorithm should follow. It is enough to think, for instance, of social binarism. Social norms have long restricted gender identity to a single model of existence. Being a cisgender “man” or a cisgender “woman” remains a hegemonic identity model limiting new worldviews. For this reason, patterns can be harmful. The same happens with algorithmic production. When a person shaped by institutionalised social values creates an algorithm, there is a risk that this algorithm will reflect social values that pay no attention to justice and diversity.
In this sense, the racial issue is central to understanding this process and how an offline bias goes on to the world of algorithms. Like the hegemonic gender identity, we can think about racial hegemony and how white people have been operating the means of production based on unique models.
When we think about producing algorithms, we should think about who produces them, and who controls the places that design those technological artifacts. In 2019, CNBC analysed the percentage of Black employees at the world’s largest tech companies to show a significant gap in terms of representativeness. That year, the percentage of Black employees working at Facebook accounted for just 3.8%. At Twitter, 6% of the company’s workforce was Black. At Amazon, 26.5% of Black employees were working in the company’s warehouses, showing that the company is far more diverse in warehouses than in software engineering ranks.
Job distribution in the tech world reveals how white cis men, coming from countries with an intense racist and colonial history, still dominate this field. In Brazil, Pretalab is a mapping initiative carried out by Olabi in 2019 to encourage the influence of Black and Indigenous women in the fields of innovation and technology. The survey revealed that white people, mostly cis heterosexual men, controlled the technology sectors in the country, accounting for almost 60% of the sector’s workforce.
Why is this known in other countries but not Portugal? Because there are still no public policies in place to address ethnoracial issues and because the debate on including categories allowing to identify these citizens is still far off. Other countries, such as Brazil and the United States, are much more advanced here as they have long recognised that racism is an element of destruction of social equity and that skin tone is still a relevant element regarding job selection in all sectors.
For some people, this condition may seem irrelevant. But it’s not. Recent research, starting from 2010, shows that the operation of some algorithms replicates social constraints based on the perception of Black people. In the book Algorithms of Oppression (2018), Safiya Noble reveals how a Google search using keywords “black girls” was yielding links to pornography and prostitution websites. Joy Buolamwini, founder of the Algorithmic Justice League (and leading figure in Netflix documentary Coded Bias), identified problems with the algorithms of Amazon’s Rekognition, the company’s facial recognition software, namely that Amazon’s system had issues identifying the gender of darker-skinned individuals, as well as mistaking darker-skinned women for men. The gravity of the situation increases considering that urban policing bodies that are using street surveillance cameras to reduce crime have used this software, thus contributing to reinforce the random and systemic criminalisation of people of colour.
Digital racism instigated by algorithmic bias is complemented by some people’s behaviour within online platforms such as Uber, Airbnb, Glovo, or Blablacar. Here, it’s not solely the matter of an algorithmic pattern, but a social trend that discriminates against specific social groups. Several studies have already proven that Black drivers or drivers with Arabic and non-Western sounding names, which are not normally perceived as white people’s names, are paid less and receive lower ratings than white drivers. The same is true for Black Airbnb hosts. This brings us back to the role played by the algorithm of these apps. By collecting and analysing information about consumer reviews, the algorithm establishes rankings that disfavour these people. Having lower ratings, the algorithm considers these workers people of doubtful trust and this has repercussions on their financial (in)stability. And isn’t that how the racial system works? A system that disqualifies a person based on distrust of their humanity. With these apps, we have the algorithms operating in partnership with social behaviour.
It is also important to mention how much social networks have become platforms for hate speech. Digital racism is very widespread, mainly because of the rhizomatic character of the internet that gives strength and courage to those who use it as a space to build up racism, xenophobia, and misogyny. Considering that the network is a public space hard to regulate and that, with some creative effort, anyone can remain anonymous, services such as Facebook, Instagram and Twitter have offered a platform for hate speech, even with the preventive measures that have emerged to condemn and control these discourses. The subjectivity of comment moderators and the lack of algorithms capable of reviewing words and images used in posts have not accounted for the storm of discrimination that abounds in public and private messages circulating in these spaces.
How can we change all these scenarios? How can we promote changes in this sector when we think of the software engineers who are in charge of these means of production, both of money and social value? What would make these people, mostly white, cis, and heterosexual, interested in racial issues if many of them deny their existence or have never thought about this topic, considering the privilege that keeps them in a place of comfort? We are facing a historical framework where power is being kept institutionalised in the hands of white people. Attempts by big tech companies to include Black people have proven to be a total failure. When we watch Amazon reporting that Black people account for nearly 30% of its workforce and then realise that this percentage represents Amazon’s lower-paying front-line workforce, we also understand that nobody wants to leave their place of comfort and power to, in fact, give way to people historically disadvantaged by colonial contexts. What will this be like in Portugal? How will the decision-making positions be created within the branches of large companies?
In the end, the question to reflect on is: if a person in a place of power has no interest in racial issues because they understand it has no impact on them, and probably doesn’t have, why should they provide scenarios for change? Perhaps the beginning of change starts here—the more people rise to the issue, the more people will produce research on the subject, the more Black people will occupy spaces of power in politics, culture, and business. Perhaps change will come along with ethnoracial categories to inform us where people like me are—Black Portuguese people and Black people living in Portugal – and with social quotas to remedy the injustices perpetuated by Portuguese colonial history.
/ Translation by Marta Gamito
