A contribuição das empresas para o direcionamento do futuro da IA é essencial mas elas não podem usar desse poder que já detém para moldar a pesquisa futura acerca de como seus sistemas impactam a sociedade ou de como nós avaliamos moralmente seus efeitos. Os governos e suas agências precisam dar apoio à pesquisa independente e devem insistir que a indústria compartilhe dados suficientes para que ela seja publicamente responsabilizada.

Dentro da caixa preta de um algoritmo, os vieses da sociedade se tornam invisíveis e não podem ser responsabilizados. Quando desenhados apenas para lucrar, algoritmos necessariamente divergem do interesse público — assimetrias de informação, poder de barganha e externalidades permeiam esses mercados. Por exemplo, o Facebook e o YouTube lucram com pessoas permanecendo em seus sites e ao oferecer aos anunciantes a tecnologia que entrega mensagens a alvos precisamente direcionados. Isso pode ter resultados ilegais ou perigosos. O departamento de Habitação e Desenvolvimento Urbano dos EUA acusou o Facebook de permitir discriminação em seus anúncios de residências (correlativos à raça ou religião podiam afetar quem via uma publicação). O algoritmo de recomendações do YouTube já foi responsabilizado por alimentar conspirações antivacina. Eu vejo esses tipos de coisa como sendo as “emissões de poluentes” da indústria de alta tecnologia: elas trazem lucros, mas a sociedade arca com os custos.

https://medium.com/altru%C3%ADsmo-eficaz-brasil/nao-deixe-que-a-industria-escreva-as-regras-para-ia-e2f8be2790b7