Reconhecendo a importância crescente da inteligência artificial[1] (IA) nas nossas sociedades modernas e os benefícios esperados quando for plenamente utilizada ao serviço da eficiência e da qualidade da justiça, o CEPEJ adota formalmente os cinco princípios fundamentais intitulados "Carta Ética Europeia sobre a utilização da IA nos sistemas judiciais e no respetivo ambiente".

A Carta destina-se aos intervenientes públicos e privados responsáveis pela conceção e utilização de instrumentos e serviços de inteligência artificial que impliquem o tratamento de decisões e dados judiciais (aprendizagem automática ou quaisquer outros métodos derivados da ciência dos dados).

Diz igualmente respeito aos decisores públicos responsáveis pelo quadro legislativo ou regulamentar, pelo desenvolvimento, auditoria ou utilização desses instrumentos e serviços.

A utilização desses instrumentos e serviços nos sistemas judiciais procura melhorar a eficiência e a qualidade da justiça e deve ser incentivada. Deve, no entanto, ser realizada de forma responsável, no respeito pelos direitos fundamentais dos indivíduos, tal como consagrados na Convenção Europeia dos Direitos do Homem e na Convenção relativa à Proteção dos Dados Pessoais, e em conformidade com outros princípios fundamentais a seguir enunciados, que devem orientar a elaboração das políticas de justiça pública neste domínio.

O tratamento de decisões judiciais por inteligência artificial, de acordo com os seus criadores, é suscetível, em matéria civil, comercial e administrativa, de contribuir para melhorar a previsibilidade da aplicação da lei e a coerência das decisões judiciais, sob reserva da observância dos princípios a seguir enunciados. Em matéria penal, a sua utilização deve ser considerada com as maiores reservas, a fim de evitar a discriminação com base em dados sensíveis, em conformidade com as garantias de um julgamento justo.

Seja com o objetivo de auxiliar na prestação de consultoria jurídica, ajudando na elaboração ou no processo de tomada de decisão, ou aconselhando o usuário, é essencial que o tratamento seja realizado com transparência, imparcialidade e equidade, certificado por um perito externo e independente.

Aplicação da Carta

Os princípios da Carta deverão ser regularmente aplicados, acompanhados e avaliados pelos intervenientes públicos e privados, tendo em vista a melhoria contínua das práticas.

A este respeito, é desejável que estes intervenientes procedam a uma revisão regular da implementação dos princípios da Carta, explicando, se for caso disso, as razões da não implementação ou da implementação parcial, acompanhada de um plano de acção para introduzir as medidas necessárias.

As autoridades independentes mencionadas na Carta poderiam ser responsáveis por avaliar periodicamente o nível de adesão de todos os intervenientes aos princípios da Carta e por propor melhorias para a adaptar à evolução das tecnologias e das utilizações dessas tecnologias.

Os cinco princípios da Carta Ética sobre o Uso da Inteligência Artificial nos Sistemas Judiciais e no respetivo ambiente

PRINCÍPIO DE RESPEITO AOS DIREITOS FUNDAMENTAIS: assegurar que a conceção e a aplicação de instrumentos e serviços de inteligência artificial sejam compatíveis com os direitos fundamentais.

PRINCÍPIO DE NÃO-DISCRIMINAÇÃO: prevenir especificamente o desenvolvimento ou a intensificação de qualquer discriminação entre indivíduos ou grupos de indivíduos.

PRINCÍPIO DE QUALIDADE E SEGURANÇA: em relação ao processamento de decisões e dados judiciais, utilizar fontes certificadas e dados intangíveis com modelos elaborados de forma multidisciplinar, em ambiente tecnológico seguro.

PRINCÍPIO DA TRANSPARÊNCIA, IMPARTIALIDADE E EQUIDADE: tornar os métodos de tratamento de dados acessíveis e compreensíveis, autorizar auditorias externas.

PRINCÍPIO "SOBRE O CONTROLO DO USUÁRIO": excluir uma abordagem prescritiva e garantir que os usuários sejam atores informados e controlem as escolhas feitas

Princípio do respeito dos direitos fundamentais:

assegurar que a conceção e a aplicação de instrumentos e serviços de inteligência artificial sejam compatíveis com os direitos fundamentais

O tratamento das decisões judiciais e dos dados deve ter objetivos claros, no pleno respeito dos direitos fundamentais garantidos pela Convenção Europeia dos Direitos do Homem (CEDH) e pela Convenção para a Proteção dos Dados Pessoais (Convenção para a Proteção das Pessoas relativamente ao Tratamento Automatizado de Dados de Carácter Pessoal, ETS n.º 108, com a redação que lhe foi dada pelo CETS que altera o Protocolo n.º 223).

Quando são utilizados instrumentos de inteligência artificial para resolver um litígio ou como instrumento de apoio à tomada de decisões judiciais ou de orientação do público, é essencial assegurar que não prejudiquem as garantias do direito de acesso ao juiz e do direito a um julgamento justo (igualdade de armas e respeito pelo processo contraditório).

Devem igualmente ser utilizados no respeito dos princípios do Estado de direito e da independência dos juízes no seu processo decisório.

Por conseguinte, deve ser dada preferência a abordagens [2]éticas desde a conceçãoou aos direitos humanos desde a conceção. Isto significa que, desde as fases de conceção e de aprendizagem, as regras que proíbem violações diretas ou indiretas dos valores fundamentais protegidos pelas convenções estão plenamente integradas.

Princípio da não discriminação:

prevenir especificamente o desenvolvimento ou a intensificação de qualquer discriminação entre indivíduos ou grupos de indivíduos

Dada a capacidade destes métodos de tratamento para revelar a discriminação existente, através do agrupamento ou da classificação de dados relativos a indivíduos ou grupos de indivíduos, os intervenientes públicos e privados devem garantir que os métodos não reproduzem ou agravam essa discriminação e que não conduzem a análises ou utilizações determinísticas.

Deve ser dada especial atenção tanto na fase de desenvolvimento como na de implantação, especialmente quando o tratamento se baseia, directa ou indiretamente, em dados "sensíveis". Tal poderá incluir alegada origem racial ou étnica, antecedentes socioeconómicos, opiniões políticas, convicções religiosas ou filosóficas, filiação sindical, dados genéticos, dados biométricos, dados relativos à saúde ou dados relativos à vida sexual ou à orientação sexual. Quando essa discriminação tiver sido identificada, devem ser consideradas medidas corretivas para limitar ou, se possível, neutralizar esses riscos, bem como a sensibilização das partes interessadas.

No entanto, a utilização da aprendizagem automática e de análises científicas multidisciplinares para combater esta discriminação deve ser incentivada.

Princípio da qualidade e da segurança:

No que respeita ao tratamento de decisões e dados judiciais, utilizar fontes certificadas e dados incorpóreos com modelos concebidos de forma multidisciplinar, num ambiente tecnológico seguro

Os projetistas de modelos de autoaprendizagem devem ser capazes de recorrer amplamente à experiência dos profissionais relevantes do sistema de justiça (juízes, procuradores, advogados, etc.) e pesquisadores/professores nos campos do direito e das ciências sociais (por exemplo, economistas, sociólogos e filósofos).

A formação de equipas de projeto mistas em ciclos curtos de conceção para produzir modelos funcionais é um dos métodos organizacionais que permitem tirar partido desta abordagem multidisciplinar.

As salvaguardas éticas existentes devem ser constantemente partilhadas por estas equipas de projeto e reforçadas através de feedback.

Os dados baseados em decisões judiciais que são inseridos num software que implementa um algoritmo de aprendizagem automática devem vir de fontes certificadas e não devem ser modificados até que tenham sido realmente usados pelo mecanismo de aprendizagem. Todo o processo deve, por conseguinte, ser rastreável para garantir que não ocorreu qualquer alteração que altere o conteúdo ou o significado da decisão que está a ser tratada.

Os modelos e algoritmos criados devem também poder ser armazenados e executados em ambientes seguros, de modo a garantir a integridade e intangibilidade do sistema.

Princípio da transparência, imparcialidade e equidade:

tornar os métodos de tratamento de dados acessíveis e compreensíveis, autorizarauditorias externas

Deve ser encontrado um equilíbrio [3]entre a propriedade intelectual de certos métodos de tratamento e a necessidade de transparência (acesso ao processo de conceção), imparcialidade (ausência de parcialidade)[4], equidade e integridade intelectual (prioridade aos interesses da justiça) quando são utilizados instrumentos que podem ter consequências jurídicas ou afetar significativamente a vida das pessoas. Deve ficar claro que estas medidas se aplicam a toda a cadeia de conceção e funcionamento, uma vez que o processo de seleção e a qualidade e organização dos dados influenciam diretamente a fase de aprendizagem.

A primeira opção é a transparência técnica total (por exemplo, código-fonte aberto e documentação), por vezes limitada pela proteção dos segredos comerciais. O sistema também pode ser explicado em linguagem clara e familiar (para descrever como os resultados são produzidos) comunicando, por exemplo, a natureza dos serviços oferecidos, as ferramentas que foram desenvolvidas, o desempenho e os riscos de erro. As autoridades ou peritos independentes podem ser encarregados de certificar e auditar métodos de processamento ou de prestar aconselhamento prévio. As autoridades públicas poderiam conceder a certificação, que seria regularmente revista.

Princípio "sob controle do usuário":

impedir uma abordagem prescritiva e garantir que os utilizadores sejam agentes informados e controlem as suas escolhas

A autonomia dos utilizadores deve ser aumentada e não restringida através da utilização de instrumentos e serviços de inteligência artificial.

Os profissionais do sistema judicial devem, a qualquer momento, poder rever as decisões judiciais e os dados utilizados para produzir um resultado e continuar a não estar necessariamente vinculados por ele à luz das características específicas desse caso específico.

O utilizador deve ser informado, numa linguagem clara e compreensível, se as soluções oferecidas pelos instrumentos de inteligência artificial são ou não vinculativas, das diferentes opções disponíveis, e se tem direito a aconselhamento jurídico e direito de acesso a um tribunal. Deve igualmente ser claramente informado de qualquer tratamento prévio de um processo por inteligência artificial antes ou durante um processo judicial e ter o direito de se opor, para que o seu processo possa ser apreciado diretamente por um tribunal na aceção do artigo 6.o da CEDH.

De um modo geral, quando qualquer sistema de informação baseado em inteligência artificial é implementado, deve haver programas de alfabetização informática para os usuários e debates envolvendo profissionais do sistema de justiça.

Apêndice I

Estudo aprofundado sobre a utilização da IA nos sistemas judiciais,

nomeadamente as aplicações de IA que processam decisões e dados judiciais

elaborado por Xavier Ronsin, primeiro presidente da Cour d'Appel de Rennes, perito científico (França),

Vasileios Lampos, investigador principal no Departamento de Informática do University College London (UCL), perito científico (Reino Unido),

e com a contribuição de

Agnès Maîtrepierre, juíza, membro do Comité Consultivo da Convenção para a Proteção das Pessoas relativamente ao Tratamento Automatizado de Dados de Carácter Pessoal do Conselho da Europa (França)

Os seguintes peritos também contribuíram para o aperfeiçoamento do estudo:

Francesco Contini, Investigador Principal do Instituto de Investigação dos Sistemas Judiciais - Conselho Nacional de Investigação (IRSIG-CNR), Bolonha (Itália)

Sr. Francesco De Santis, Professor de Procedimentos de Direitos Humanos,

Universidade de Nápoles (Itália)

Jean Lassègue, filósofo e epistemólogo, investigador no Centre National de Recherche Scientifique (CNRS) e investigador associado no Institut des Hautes Etudes sur la Justice (IHEJ) (França)

Dory Reiling, juíza honorária principal, perita independente em tecnologias da informação e reforma judiciária (Países Baixos)

Aleš Završnik, Investigador Principal no Instituto de Criminologia, Professor Associado na Faculdade de Direito da Universidade de Ljubljana (Eslovénia) e Investigador EURIAS 2017-18 no Collegium Helveticum em Zurique (Suíça)

Introdução

1. A vaga de transformação digital nas nossas sociedades continua a ter efeitos desiguais nos sistemas judiciais dos Estados-Membros do Conselho da Europa. Muitos países europeus parecem já ter desenvolvido uma abordagem extremamente avançada para a utilização de aplicações práticas (tanto em termos de tecnologia como de apoio jurídico), enquanto para outros, esta é ainda uma questão emergente e a tónica é apenas colocada numa gestão eficaz das TI.

2. Entre as tecnologias em ação nesta grande transformação digital, a inteligência artificial (IA) parece ser a mais espetacular e a mais marcante. Nos Estados Unidos, os "advogados robôs" já estão a trabalhar e parecem conversar em linguagem natural com os humanos. As empresas de tecnologia jurídica em fase de arranque especializadas na conceção de novos serviços jurídicos oferecem novas aplicações às profissões jurídicas, principalmente advogados, serviços jurídicos e seguradoras, permitindo um acesso aprofundado à informação judicial e à jurisprudência. Essas empresas privadas até visam prever as decisões dos juízes com ferramentas da " justiça preditiva", embora vejamos que essa pode não ser a melhor descrição para elas[5].

3. Uma primeira análise desse fenómeno, no entanto, leva-nos a diferenciar entre esse discurso comercial e a realidade do uso e implantação dessas tecnologias. De momento, os juízes do Conselho da Europa não parecem estar a fazer qualquer uso prático e diário de software de previsão. Foram realizados testes[6] locais [7]e trabalhos académicos para explorar o potencial destas aplicações, mas ainda não foram aplicados em grande escala. A iniciativa para o desenvolvimento destes instrumentos provém em grande parte do sector privado, cuja clientela até agora tem sido maioritariamente constituída por companhias de seguros, advogados e serviços jurídicos que pretendem reduzir a insegurança jurídica e a imprevisibilidade das decisões judiciais. No entanto, os decisores públicos começam a ser cada vez mais solicitados por um sector privado que deseja ver estas ferramentas - que são por vezes versões "beta", ou seja, que evoluirão com o tempo - integradas nas políticas públicas.

4. Seguindo a linha do processo de reflexão iniciado em suas "Diretrizes sobre como impulsionar a mudança rumo à ciberjustiça",[8] a CEPEJ propõe fornecer aos tomadores de decisão públicos e profissionais de justiça as chaves para uma melhor compreensão do fenómeno da " justiça preditiva".

5. A primeira tarefa consistirá em clarificar as questões relativas à natureza intrínseca destes sistemas de tratamento de dados de jurisprudência de massa, bem como as suas limitações técnicas e teóricas. Estes aspetos não têm sido frequentemente mencionados no debate sobre este tema na esfera judicial, mas são muito conhecidos e discutidos por especialistas nestas tecnologias (matemáticos, estatísticos e cientistas informáticos) e merecem alguma atenção.

6. Em segundo lugar, este documento analisará os benefícios e os riscos destes instrumentos. Embora os seus apoiantes realcem os seus trunfos em termos de transparência, previsibilidade e normalização da jurisprudência, os seus críticos apontam para as limitações e a parcialidade de raciocínio do software atualmente existente no mercado. Os riscos inerentes a estas tecnologias podem mesmo transcender o ato de julgar e afetar elementos essenciais do funcionamento do Estado de direito e dos sistemas judiciais, aos quais o Conselho da Europa está particularmente ligado.

7. Estes incluem princípios como a primazia do direito. O efeito desses instrumentos pode ser não só de incentivo, mas também quase prescritivo, criando uma nova forma de normatividade, que poderia complementar a lei ao regulamentar a discricionariedade soberana do juiz, podendo conduzir, a longo prazo, a uma uniformização das decisões judiciais com base não mais na fundamentação casuística dos tribunais, mas num puro cálculo estatístico ligado à compensação média anteriormente concedida por outros tribunais.

8. É igualmente necessário examinar se estas soluções são compatíveis com os direitos individuais consagrados na Convenção Europeia dos Direitos do Homem (CEDH). Estes incluem o direito a um julgamento justo (em especial o direito a um juiz natural estabelecido por lei, o direito a um tribunal independente e imparcial e a igualdade de armas nos processos judiciais) e, nos casos em que não tenham sido tomadas medidas suficientes para proteger os dados comunicados em dados abertos, o direito ao respeito pela vida privada e familiar.

9. Ao tomar em consideração estas questões, o documento destaca o grande potencial da IA para ajudar os profissionais do direito no seu trabalho. Não há dúvida de que algumas aplicações de IA ainda em desenvolvimento ou ensaio, como as destinadas a melhorar a investigação jurídica, podem ser muito úteis para tornar o processamento da carga de trabalho judicial mais rápido e mais eficiente. O documento destaca estes exemplos positivos e preconiza, em geral, a utilização da IA por profissionais do direito de acordo com as suas necessidades, desde que sejam tidos em devida conta os direitos individuais garantidos pelas normas da CEDH e do Conselho da Europa, nomeadamente em matéria penal. Longe de ser um simples instrumento para melhorar a eficiência dos sistemas judiciais, a IA deve reforçar as garantias do Estado de direito, bem como a qualidade da justiça pública.

10. Por último, o documento sugere meios de acompanhamento deste fenómeno sob a forma de uma carta ética, sublinhando a necessidade de uma abordagem cautelosa da integração destes instrumentos nas políticas públicas. É essencial que qualquer debate público envolva todas as partes interessadas, sejam profissionais do direito, empresas de tecnologia jurídica ou cientistas, a fim de lhes permitir transmitir todo o alcance e possível impato da introdução de aplicações de inteligência artificial nos sistemas judiciais e definir o quadro ético em que devem operar. Subsequentemente, este debate poderia ir além de um quadro puramente "empresarial", envolvendo os próprios cidadãos e contribuindo assim, em certa medida, para a literacia informática em geral, tal como foi conseguido no Canadá.[9]

1. Estado de utilização dos algoritmos de inteligência artificial nos sistemas judiciais dos Estados-Membros do Conselho da Europa

Em 2018, a utilização de algoritmos de inteligência artificial nos sistemas judiciais europeus continua a ser essencialmente uma iniciativa comercial do setor privado destinada às companhias de seguros, departamentos jurídicos, advogados e particulares.

11. O uso da IA no campo judicial parece ser bastante popular nos Estados Unidos, que investiram nessas ferramentas de forma bastante simples, tanto em questões civis quanto criminais.[10]

12. A identificação de exemplos de iniciativas de algoritmos de IA nos sistemas judiciais dos Estados-Membros do Conselho da Europa é uma tarefa mais difícil, dado que a maioria das iniciativas provém do sector privado e não são frequentemente integradas nas políticas públicas.

13. A questão da utilização da IA nos sistemas judiciais foi tratada num inquérito online específico, lançado em abril de 2018 para representantes dos Estados membros do CEPEJ e da sociedade civil. O nível de resposta foi relativamente baixo e não permitiu identificar tendências claras. Alguns operadores privados não se mostraram muito recetivos a este inquérito e os membros da CEPEJ, que pertencem maioritariamente aos ministérios da Justiça ou aos Conselhos Superiores de Justiça, puderam citar apenas os instrumentos atualmente utilizados pela esfera pública.

14. Como resultado, o inventário abaixo é apenas parcial e baseia-se exclusivamente em pesquisas conduzidas por especialistas e pelo secretariado, utilizando literatura publicamente disponível.[11]

15. As classificações podem ser feitas de acordo com o serviço oferecido. O envolvimento da IA pode variar muito de acordo com as aplicações. Para fins ilustrativos, as principais categorias são as seguintes:

· Motores de busca de jurisprudência avançada

· Resolução de disputas on-line

· Assistência na redação de escrituras

· Análise (preditiva, escalas)

· Categorização dos contratos de acordo com diferentes critérios e deteção de cláusulas contratuais divergentes ou incompatíveis

· "Chatbots" para informar os litigantes ou apoiá-los nos seus processos judiciais

16. A Letónia declarou que estava a explorar as possibilidades da aprendizagem automática para a administração da justiça. O objectivo principal seria processar as estatísticas do tribunal para elaborar estimativas provisórias dos recursos humanos e financeiros a serem alocados.

17. Outras atividades realizadas por empresas de tecnologia jurídica não foram incluídas nesta classificação porque envolvem pouco ou nenhum processamento de inteligência artificial: alguns sites oferecem acesso a informações jurídicas, soluções de "nuvem", assinaturas eletrónicas, etc.

18. Segue-se uma lista não exaustiva dos serviços jurídicos que recorrem à inteligência artificial nas suas operações:

Software (software)	Estado	Tipo de
Doutrine.fr	França	Motor de busca
Prédice	França	Análise (exceto processos penais)
Análise da Jurisprudência	França	Análise (exceto processos penais)
JurisData Analytics (LexisNexis)	França	Motor de busca, Análise (exceto casos criminais)
Luminância	Reino Unido	Análises
Watson/Ross (IBM)	ESTADOS UNIDOS DA AMÉRICA	Análises
HART	Reino Unido	Análise (criminal, risco de reincidência)
Lex Machina (LexisNexis)	ESTADOS UNIDOS DA AMÉRICA	Análises

2. Panorâmica das políticas de dados abertos relativos às decisões judiciais nos sistemas judiciais dos Estados-Membros do Conselho da Europa

A disponibilidade de dados é uma condição essencial para o desenvolvimento da IA, permitindo-lhe executar determinadas tarefas anteriormente desempenhadas por seres humanos de forma não automatizada. Quanto mais dados disponíveis, mais a IA é capaz de refinar modelos, melhorando a sua capacidade preditiva. Uma abordagem aberta das decisões judiciais em matéria de dados é, por conseguinte, uma condição prévia para o trabalho das empresas de tecnologia jurídica especializadas em motores de pesquisa ou análise de tendências ("justiça preditiva").

O tratamento destes dados levanta uma série de questões, tais como alterações na formação da jurisprudência e na proteção dos dados pessoais (incluindo os nomes dos profissionais).

19. Os dados obtidos por computador são considerados o "petróleo" do século XXI, uma vez que a sua utilização e referência cruzada estão a produzir uma nova riqueza. Apesar de alguns interessados e autores contestarem este argumento, os êxitos globais da indústria digital nas últimas décadas confirmaram o enorme potencial de crescimento desta área de atividade.

20. A quantificação das atividades humanas, agora em escala global, não poderia deixar de tocar nos dados produzidos pelo setor público. Foi isto que levou o movimento a abrir os dados públicos, com base em imperativos muito mais antigos, que são os princípios fundadores dos nossos Estados de direito.

21. A principal mudança nos últimos anos foi provocada pela emergência de dados públicos descarregáveis (dados abertos), nomeadamente no contexto da "Parceria para um Governo Aberto" (OGP). A OGP é uma organização não governamental que reúne cerca de 70 Estados-Membros (incluindo muitos dos Estados-Membros do Conselho da Europa) com representantes da sociedade civil e gigantes digitais. O objectivo desta abertura é melhorar a transparência das atividades públicas, incentivar os cidadãos na elaboração e avaliação das políticas públicas e garantir a integridade do serviço público e de quem o executa através do tratamento de quantidades consideráveis de informação, organizada em bases de dados (big data).

2.1 Definição de dados abertos sobre decisões judiciais

22. Em primeiro lugar, redefinamos a noção de dados abertos antes de abordarmos a questão do impato da autorização de dados abertos na atividade judicial. Em primeiro lugar, existe frequentemente confusão entre o acesso à informação e o acesso aos dados (mais precisamente, o acesso à informação sob a forma de base de dados)[12].

23. Uma certa quantidade de informação pública, que exige uma ampla publicidade, já é divulgada através das tecnologias da informação. Na França, o site governamental Légifrance.fr é a principal fonte on-line de informações públicas certificadas, incluindo não apenas textos legislativos e regulamentares, mas também jurisprudência e informações sobre nomeações para cargos públicos. Esta informação unitária, embora disponível na Internet, difere completamente do acesso direto aos dados organizados e incluídos numa base de dados que pode ser descarregada e processada por um computador.

24. Por conseguinte, os dados abertos apenas envolvem a divulgação de dados "brutos" em bases de dados informáticas estruturadas. Estes dados, agregados no todo ou em parte com outras fontes estruturadas, constituem o que chamamos de big data. O Comité Consultivo da Convenção 108 do Conselho da Europa define big data como "a crescente capacidade tecnológica para coletar, processar e extrair conhecimento novo e preditivo de grande volume, velocidade e variedade de dados". Em termos de proteção de dados, as principais questões não se referem apenas ao volume, velocidade e variedade de dados processados, mas também à análise dos dados usando software para extrair conhecimento novo e preditivo para fins de tomada de decisão sobre indivíduos ou grupos. Para efeitos das presentes Orientações, a definição de Big Data abrange, por conseguinte, tanto os Big Data como as análises de Big Data".[13]

25. Como esta definição mostra, os dados abertos não devem ser confundidos com os seus meios de processamento. Uma parte do discurso sobre esta questão diz respeito, na verdade, ao tratamento realizado por vários métodos avançados que são geralmente definidos como ciência dos dados. A justiça preditiva que utiliza inteligência artificial, os motores de busca avançada que aplicam critérios extremamente precisos e os robôs legais são aplicações algorítmicas que são alimentadas com dados, mas que nada têm a ver com a política de dados abertos em si.

26. No entanto, esta política deve ser analisada à luz das possibilidades de tratamento posterior que oferece, independentemente da sua natureza. Se determinados dados forem filtrados a montante, tendo em conta, por exemplo, a necessidade de confidencialidade e o respeito pela privacidade, os riscos subsequentes de utilização abusiva parecem ser reduzidos.

2.2 Situação do desenvolvimento de dados abertos sobre decisões judiciais nos Estados-Membros do Conselho da Europa e consequências para o desenvolvimento da jurisprudência

27. Qual é a situação dos Estados-Membros do Conselho da Europa no que diz respeito aos dados abertos sobre decisões judiciais? O ciclo de avaliação 2016-2018 do CEPEJ centrou-se, pela primeira vez, na questão das decisões judiciais serem fornecidas em dados abertos, para os quais é utilizado algum processamento de IA. A questão da anonimização ou pseudoanonimização de dados no âmbito do quadro europeu de proteção de dados[14] previsto no Regulamento Geral de Proteção de Dados (RGPD, Regulamento UE 2016/679) e na Convenção n.º 108 do Conselho da Europa foi objeto de uma questão específica destinada a identificar as medidas aplicadas pelos Estados-Membros e pelos observadores nesta área particularmente sensível.

Figura 1. Quadro que mostra os Estados-Membros do Conselho da Europa que introduziram dados abertos sobre decisões judiciais em 2016 (62.o -4.o trimestre do sistema de avaliação)

28. De todos os Estados e observadores inquiridos, apenas 5 declararam que não tinham implementado uma política de dados abertos para as decisões judiciais em 2016. Embora esta taxa de resposta deva ser relativizada, uma vez que algumas respostas confundiram o acesso do público às decisões com dados abertos (Arménia, Bélgica, Bósnia-Herzegovina, Luxemburgo, Federação Russa, Espanha, Turquia), revela, por um lado, um desejo de transparência por parte das instituições judiciais europeias e, por outro, um desejo por parte de muitos países de tornar públicas as decisões judiciais, permitindo assim a sua posterior utilização com instrumentos de IA. Tal exige igualmente esforços por parte das instituições em causa, uma vez que é necessário adotar uma série de medidas técnicas para esse efeito. Em França, especificamente, já existe alguma jurisprudência administrativa disponível para download no site data.gouv.fr (ver abaixo).

29. No que diz respeito à proteção dos dados pessoais, 23 países declararam que estão a pseudoanonimizar pelo[15] menos alguns tipos de litígios (por exemplo, estatuto pessoal, estatuto familiar), apagando dados que tornam as partes ou testemunhas identificáveis (nomes, endereços, números de telefone, números de identificação, números de contas bancárias, números fiscais, estado de saúde, etc.). Este trabalho parece ser da responsabilidade do pessoal judicial (por exemplo, Israel, República da Moldávia) ou de funcionários públicos (por exemplo, Bósnia e Herzegovina, Espanha). A Bósnia e Herzegovina e a Hungria, por outro lado, declararam publicar os nomes dos profissionais.

30. No entanto, existe uma dificuldade real em medir o impato dos dados abertos na eficiência e na qualidade da justiça. Tal como acima indicado, a iniciativa de reutilizar estes dados é essencialmente privada, visando uma clientela profissional (advogados, serviços jurídicos), e uma atividade exclusivamente intergovernamental não é provavelmente a melhor forma de identificar plenamente esses resultados positivos.

31. A situação em França é representativa das questões suscitadas por esta abordagem e revela uma série de questões em jogo. Em primeiro lugar, é importante sublinhar que a França promulgou legislação em 2016 que impõe um quadro obrigatório para a divulgação aberta de dados sobre as decisões dos seus tribunais.

32. Os artigos 20º e 21º da Lei para uma República Digital[16] romperam com a lógica anterior[17] de selecionar quais as decisões dos tribunais judiciais e administrativos que deveriam ser divulgadas se fossem "de particular interesse". No entanto, a nova lei francesa estabelece o princípio oposto de que tudo é publicável, exceto em casos específicos identificados por lei (para as decisões judiciais) e no respeito da vida privada das pessoas em causa. Prevê-se, no entanto, que as decisões judiciais e administrativas só sejam publicadas após uma análise do risco de reidentificação das pessoas envolvidas.

33. A ampla difusão apresenta numerosas vantagens, promovidas nomeadamente pela Cour de Cassation em duas conferências realizadas em outubro de 2016 e fevereiro de 2018. Incluem uma maior consciência da atividade judicial e das tendências da jurisprudência, o aumento da qualidade de um sistema judicial que sabe que está a ser observado e a criação de uma base de referência fatual completamente nova.

34. Esse desejo teórico de "regular" a jurisprudência através da alavancagem digital levanta, no entanto, uma série de questões gerais que são relevantes para todos os países que consideram uma abordagem semelhante. Em primeiro lugar, deve ser inserido no contexto de alguns dos princípios estabelecidos pelo Tribunal Europeu dos Direitos do Homem em casos de diferenças na jurisprudência nacional. O Tribunal salienta claramente a necessidade de equilibrar a segurança jurídica, que torna as decisões mais previsíveis, com a vitalidade da interpretação judicial.[18]

35. Este desejo também é temperado por vários aspetos, de natureza técnica em primeiro lugar:

a) A recolha de todas as decisões judiciais elegíveis para publicação não está necessariamente bem coordenada entre todos os níveis dos tribunais: algumas das aplicações comerciais nos tribunais europeus não foram concebidas para o efeito, nomeadamente no que diz respeito às decisões em primeira instância, e alguns países terão de criar novos processos de recolha de decisões judiciais se pretenderem que a recolha seja exaustiva;

b) Apesar de alguns desenvolvimentos promissores, ainda não foi concebido um mecanismo automatizado de pós-identificação plenamente eficaz que possa prevenir qualquer risco de identificação ou de reidentificação;

E aspetos igualmente substantivos:

c) Deve-se pensar na transformação da própria lógica da produção da jurisprudência. Qual é o valor do "padrão" resultante do número de decisões proferidas sobre uma matéria específica? Este "padrão" acrescenta-se à lei? Em caso afirmativo, trata-se de uma nova fonte de direito?

d) Deve ser pedido aos juízes que forneçam explicações adicionais para as decisões que se desviem desta norma?[19] Esta pergunta não é insignificante e não suscita a mesma resposta em todos os sistemas judiciais. No direito civil francês,[20] "os juízes resolvem os litígios de acordo com as regras de direito aplicáveis". No contexto francês, se lhes fosse pedido que justificassem as suas decisões apresentando todas as razões pelas quais se desviaram da suposta tendência da jurisprudência maioritária para a resolução do litígio (no respeito das normas jurídicas aplicáveis), não seria isso equivalente à sua destituição? Os juízes resolveriam os litígios não só de acordo com as regras do direito, mas também de acordo com as tendências da jurisprudência derivadas das estatísticas compiladas por um instrumento digital (que também poderiam ser tendenciosas ou desenvolvidas sem controlo externo por um operador privado, ver secções 6.1 e 9 infra). A questão que se coloca vai muito além de uma característica nacional específica, relacionada mais amplamente com o lugar das ferramentas de IA nos processos decisórios dos juízes. Note-se que esta análise se limita a um tratamento da jurisprudência por algoritmos e não se refere de modo algum ao papel da jurisprudência nas fontes de direito ou à autoridade dos precedentes jurisprudenciais, que, além disso, são princípios bem estabelecidos a nível europeu.[21]

e) Além disso, não seria verdade que, se as normas fossem estabelecidas de acordo com a tendência maioritária, as decisões judiciais seriam uniformizadas e deixariam de ser ordenadas de acordo com a hierarquia dos tribunais de onde emanam, ignorando o significado das decisões dos tribunais supremos, que são os garantes da interpretação uniforme do direito em muitos Estados europeus? Qual seria a relação entre normas e jurisprudência? Uma vez que derivam da maioria, tornar-se-iam um critério para estes tribunais ao determinarem a sua própria jurisprudência, que, por sua vez, teriam de justificar quando se afastassem da opinião maioritária?

f) Finalmente, não existe o risco de as decisões judiciais serem escritas de acordo com uma lógica reprodutiva? Embora as decisões judiciais possam evoluir de acordo com a evolução de um quadro normativo (nacional, europeu ou internacional), a jurisprudência disponível para referência (por exemplo, dos tribunais supremos e dos tribunais europeus) ou o contexto socioeconómico, a norma resultante da maioria não se tornaria uma norma à qual os juízes seriam incentivados a recorrer sem questionar, com um efeito induzido pela excessiva normalização das decisões judiciais?

36. Poderão também ser levantadas dúvidas quanto às consequências para os utilizadores, que supostamente beneficiam diretamente da transparência das atividades: beneficiarão realmente com a publicação de todas as decisões judiciais na Internet ou não serão mais suscetíveis de se verem esmagados pela massa de decisões, sem delas retirarem necessariamente benefícios qualitativos, por falta de conhecimento jurídico e do aparelho crítico para as analisar?

37. Paradoxalmente, é de admirar que os dados abertos estejam em condições de fornecer informações significativas, uma vez que permitirão certamente descarregar um conjunto considerável de dados em bruto com um simples clique numa ligação, mas o significado continuará a ser totalmente obscuro para a maioria dos cidadãos.

38. O primeiro requisito para que os dados abertos sejam transparentes e informativos é que terceiros possam utilizá-los para análise e desenvolvimento. Um modelo económico em que os dados da jurisprudência pública, que são objeto de trabalho das autoridades judiciais para os tornar tecnicamente "legíveis" pela IA e conformes com os requisitos legais de proteção de dados pessoais, seriam tratados gratuitamente pelo sector privado e depois vendidos pelos tribunais, profissionais e cidadãos, merece, portanto, ser questionado e mesmo criticado.

2.3 Proteção de dados pessoais em políticas abertas de dados para decisões judiciais

2.3.1. Os nomes das partes e das testemunhas

39. A fim de alcançar um justo equilíbrio na era digital entre a necessidade de tornar públicas as decisões judiciais e o respeito pelos direitos fundamentais das partes ou testemunhas, os seus nomes e endereços não devem constar das decisões publicadas, tendo especialmente em conta o risco de apropriação indevida e de reutilização dessas informações pessoais e a sensibilidade particular dos dados suscetíveis de serem incluídos nas decisões.[22]Os processos automatizados podem ser utilizados para ocultar sistematicamente essas informações.

40. Outras informações de identificação podem também ser ocultadas (por exemplo, números de telefone, endereços eletrónicos, datas de nascimento, nomes próprios das crianças, nomes próprios raros, alcunhas e nomes de locais). Em termos de princípios de proteção de dados pessoais, esta ocultação equivale a uma simples pseudoanonimização dos dados, e não a uma completa anonimização. O volume e a variedade das informações contidas nas decisões judiciais, juntamente com a crescente facilidade de cruzamento de dados com outras bases de dados, tornam impossível, na prática, garantir que a pessoa em causa não possa ser reidentificada. Na ausência de tal garantia, estes dados não podem ser qualificados como anónimos e, por conseguinte, estão sujeitos às regras de proteção de dados pessoais.

41. Alguns elementos especialmente sensíveis dos dados pessoais merecem especial atenção, tal como previsto no artigo 6.o da Convenção 108. Isto aplica-se a dados que revelem a origem étnica ou racial, opiniões políticas, filiação sindical, crenças religiosas ou outras, saúde física ou mental ou vida sexual, que são considerados detalhes íntimos.

42. As decisões judiciais podem conter outros tipos, muito variados, de dados pessoais que se enquadram nesta categoria de dados sensíveis. Os tribunais que tratam de questões penais são particularmente suscetíveis de tratar dados sensíveis, como os relativos a processos penais e condenações. Todos estes dados sensíveis merecem, pois, uma vigilância especial. A sua divulgação em massa apresentaria sérios riscos de discriminação, caracterização[23] e violação da dignidade humana.

2.3.2. Os nomes dos profissionais, incluindo dos juízes

43. Obviamente, saber como um julgamento será obtido é um elemento essencial para os advogados preverem o resultado de um caso, e eles acreditam que conhecer o seu juiz é, às vezes, quase tão importante quanto conhecer a lei. Eles têm tentado fazer comparações entre os painéis de juízes, mais ou menos empiricamente, de modo a dar melhor aconselhamento aos clientes que lidam com um determinado juiz ou painel de juízes.

44. Este método era suficiente quando um advogado só intervém perante um número limitado de tribunais, mas a progressiva flexibilização das restrições locais à ordem dos advogados em muitos países e a liberdade de circulação e de trabalho na União Europeia tornam razoável que qualquer advogado nacional ou mesmo europeu queira conhecer a jurisprudência de cada jurisdição nacional ou europeia em que é suscetível de invocar em pormenor.

45. Não podemos, portanto, excluir a possibilidade de que, no futuro, aplicações de autoaprendizagem muito úteis e, por conseguinte, muito dispendiosas, sejam muito mais eficazes do que a experiência e o "bom senso" dos advogados de contencioso que trabalham com os processos da forma tradicional. A utilização de tais aplicações poderia acentuar ainda mais a distorção da concorrência e a desigualdade de condições entre os escritórios de advogados que utilizaram ou não esse software "preditivo" de análise da jurisprudência.

46. Existe um risco real de que, em nome dessa vantagem competitiva, o princípio de um julgamento justo estabelecido por lei seja posto em causa. A possibilidade de criação de perfis pelos juízes através de referências cruzadas de dados públicos e privados poderia permitir que as empresas privadas e os seus advogados se empenhassem ainda mais em práticas de escolha do foro mais vantajosas. Esta tática já foi observada há muito tempo nos Estados Unidos e em França por delitos de imprensa e violações da privacidade na imprensa, onde os queixosos já são conhecidos por escolherem o tribunal que parece conceder os maiores montantes de indemnização e juros.

47. Além disso, grande parte do discurso sobre este assunto confunde dados abertos com a necessidade de publicar uma certa quantidade de informação pública. Como resultado, é por vezes argumentado que os nomes dos profissionais devem aparecer em dados abertos, por uma questão de publicidade e transparência.

48. No entanto, o fornecimento de dados informatizados da jurisprudência é uma questão totalmente distinta dos princípios da publicação de originais ou cópias autenticadas das decisões. O objetivo dos dados abertos é permitir o tratamento automatizado da jurisprudência ao abrigo de uma licença de exploração de baixo custo. Como referido anteriormente, esta disposição é feita sob a forma de uma base de dados informática abrangente, opaca e não diretamente compreensível para os cidadãos.

49. Esta disposição não responde, obviamente, à necessidade de divulgar os nomes dos profissionais que contribuíram para uma decisão específica da Convenção Europeia dos Direitos do Homem, a fim de assegurar a imparcialidade objetiva dos juízes (que devem ser identificáveis e legalmente nomeados e afetados às funções que desempenham) e o respeito das regras processuais (por exemplo, publicidade e colegialidade).[24]

50. A resposta à questão da legitimidade ou não da publicação dos nomes dos profissionais[25] em dados abertos nada tem a ver com a obrigação de publicar os nomes dos profissionais nas decisões. Pelo contrário, parece que o desafio consiste em conciliar requisitos muitas vezes contraditórios: tornar as atividades públicas transparentes, permitindo aos cidadãos conhecer e avaliar os seus juízes, por um lado, e proteger a privacidade dos profissionais (cujas funções não devem limitar as suas garantias fundamentais neste domínio), por outro. Há desafios rigorosos em que se trata de garantir a imparcialidade dos juízes e até mesmo das instituições judiciais como um todo, que as políticas de dados abertos são realmente concebidas para responder[26]. Que medidas concretas podem ser tomadas para os proteger de eventuais tentativas de desestabilização que cruzem os dados pessoais dos juízes incluídos em bases de dados com outras fontes (redes sociais, sítios comerciais) para tentar identificar hipotéticos preconceitos políticos, religiosos e outros?

51. Estas questões não se colocam da mesma forma em toda a Europa e dependem das características específicas do sistema judicial em causa (e da natureza do órgão de gestão da carreira judiciária), do carácter colegial ou não da decisão e do nível de jurisdição em causa. Na Suíça, por exemplo, onde os juízes são eleitos, a publicação é uma garantia de transparência e responsabilidade social dos juízes perante os cidadãos e os grupos políticos. Esta informação já está disponível nos motores de busca online (que não são estritamente dados abertos).[27]

52. Estas questões também não se colocam da mesma forma, dependendo do nível de jurisdição. O valor da caracterização da jurisprudência dos juízes dos tribunais inferiores não pode ser o mesmo que para os juízes dos tribunais supremos ou dos tribunais internacionais. Por exemplo, o Tribunal Europeu dos Direitos do Homem autoriza as buscas de decisões judiciais pelos nomes dos juízes membros do painel de decisão, mas não permite o cálculo de estatísticas relativas a um determinado juiz.[28] Por outro lado, em países onde os órgãos judiciais não estão familiarizados com a prática de opiniões divergentes (existentes dentro deste Tribunal internacional), pode parecer injusto atribuir a um juiz responsabilidade pessoal por uma decisão contra a qual votou durante a deliberação em coletivo.

53. Estes debates foram bem definidos por uma missão de estudo realizada em França pelo Professor Loïc Cadiet. As conclusões da missão continuam a ser limitadas, uma vez que não recomendam a proibição de publicação, mas reservam-na para certos tipos de litígios e excluem-na para outros (por exemplo, em matéria penal especializada). A possibilidade de publicar apenas os nomes dos juízes dos tribunais superiores foi proposta, embora se admitisse que isso poderia resultar em uma "viagem de ida".

54. Tal como está, um simples princípio da precaução poderia ser aplicado para avaliar o interesse, por tipo de litígio e grau de jurisdição, em publicar os nomes dos profissionais numa base de dados passível de «download» l. Do mesmo modo, não podemos excluir a possibilidade de as próprias instituições judiciais ou de terceiros autorizados explorarem esta informação fora do contexto de dados abertos para se informarem sobre a jurisprudência.

55. De qualquer modo, este tipo de publicação teria ainda de ser analisado à luz das regras internacionais europeias aplicáveis em matéria de proteção de dados pessoais, como as da Convenção n.º 108 e do RGPD da União Europeia e da Diretiva 680/2016.

3. Características operacionais da inteligência artificial (autoaprendizagem) aplicadas às decisões judiciais

Processamento de linguagem natural e aprendizagem automática são as duas técnicas no coração do processamento de decisões judiciais usando inteligência artificial.

Na maioria das vezes, o objetivo desses sistemas não é reproduzir o raciocínio jurídico, mas identificar as correlações entre os diferentes parâmetros de uma decisão (por exemplo, em um pedido de divórcio, a duração do casamento, a renda dos cônjuges, a existência de adultério, o valor do benefício pronunciado, etc.) e, através do uso da aprendizagem automática, inferir um ou mais modelos. Esses modelos seriam então utilizados para "predizer" ou "prever" uma futura decisão judicial.

O objetivo deste capítulo é esclarecer a natureza intrínseca do software descrito como "preditivo" - às vezes versões "beta", ou seja, em fase de desenvolvimento - tanto em termos de seu potencial quanto de suas limitações. Destina-se a fornecer uma explicação simples dos algoritmos de aprendizagem automática, que estão no centro da análise automatizada da jurisprudência.

3.1 As funcionalidades teóricas do software "justiça preditiva

56. Como introdução, devemos rever brevemente as funcionalidades prometidas pelo software "preditivo". Eles propõem estabelecer as probabilidades de sucesso (ou fracasso) de um caso perante um tribunal. Estas probabilidades são estabelecidas através da modelação estatística de decisões anteriores utilizando métodos de dois grandes domínios da ciência da computação: processamento de linguagem natural e aprendizagem automática. Essas abordagens de modelagem são muitas vezes referidas como IA; na realidade, estas são IA "fracas" (veja o glossário, página

57. Deve ficar claro desde já que o termo IA é debatido por peritos, uma vez que conduz a muitas ambiguidades. O termo IA entrou agora na nossa linguagem diária para descrever uma gama diversificada de ciências e tecnologias que permitem aos computadores vencer os melhores campeões no jogo de Go,[29] conduzir um carro, conversar com humanos, etc. Os investigadores preferem identificar as diferentes aplicações através das tecnologias exatas que lhes estão subjacentes, incluindo a aprendizagem automática, e por vezes referem-se a todos estes recursos altamente especializados de IA como IAs "fracos" (ou "moderados"). Estes distinguem-se de um objetivo último - ainda totalmente teórico - de criar uma IA "forte", ou seja, uma máquina de autoaprendizagem capaz de compreender automaticamente o mundo em geral, em toda a sua complexidade.

58. Em relação especificamente à justiça, os sistemas de justiça preditiva são concebidos para serem utilizados pelos serviços jurídicos, pelas seguradoras (tanto para as suas necessidades internas como para os seus segurados), bem como pelos advogados para que estes possam antecipar o resultado do litígio. Teoricamente, poderiam também ajudar os juízes na sua tomada de decisões.

59. Eles fornecem uma representação gráfica da probabilidade de sucesso para cada resultado de uma disputa com base em critérios inseridos pelo usuário (específicos para cada tipo de disputa). Estes sistemas alegam ser capazes de calcular o montante provável da compensação distribuída pelos tribunais.

3.2 O funcionamento prático da inteligência artificial: máquinas estatísticas construindo modelos baseados no passado

60. É necessário distinguir desde o início entre o que é uma "predição" e o que é uma "previsão". Predição é o ato de anunciar o que vai acontecer (prae, before - dictare, say) antes de eventos futuros (por inspiração sobrenatural, por clarividência ou premonição). A previsão, por outro lado, é o resultado da observação (objetivando, vendo) de um conjunto de dados para visualizar uma situação futura. Este abuso de linguagem e a sua difusão parecem ser explicados por uma transferência do termo das ciências "duras", onde se refere a uma variedade de técnicas de ciência de dados derivadas da matemática, estatística e teoria dos jogos que analisam fatos presentes e passados para fazer hipóteses sobre o conteúdo de eventos futuros.

61. Deve-se também notar que a lógica da operação do software de justiça preditiva é essencialmente baseada em métodos generativos (comumente chamados de bayesianos) ou discriminatórios que eventualmente tentam estimar a faixa atual ou futura de valores de uma variável (por exemplo, o resultado de um estudo) a partir da análise de exemplos passados.

62. Em termos gerais, também é importante ter em mente a noção antropomórfica de que as máquinas de computação são inteligentes e que seus projetistas conseguiram deslizar uma mente dentro dos seus mecanismos.[30] Infelizmente, essa ideia ainda permeia muitas análises de justiça preditiva que emprestam a esses dispositivos capacidades imediatas ou futuras para a replicação próxima da inteligência humana. Este contexto, alimentado todos os dias por uma nova série de avanços revolucionários da IA,[31] leva-nos a todos a abordar estas ferramentas preditivas com uma certa dose, consciente ou não, de misticismo, afirmando por vezes que aquilo que não é inteiramente possível hoje será inevitavelmente possível amanhã.

63. As IAs "fortes" da literatura de ficção científica não existem. Este tipo de IA, que seria dotada não só de inteligência, mas também de consciência, permanece puramente ficcional. Os sistemas de autoaprendizagem que estão a ser desenvolvidos atualmente são descritos como IAs "fracos" e são capazes de extrair padrões complexos e aprender com grandes volumes de dados de forma eficiente e muitas vezes com altos níveis de precisão preditiva.

64. Para superar quaisquer considerações instintivas ou fantasiosas, estas tecnologias de processamento e análise de informação devem ser compreendidas com base nos três conceitos seguintes.

- IA não é um objeto único e homogéneo: ele é na verdade um conjunto de ciências e técnicas (matemática, estatística e ciência da computação) capaz de processar dados para projetar tarefas de processamento computacional muito complexas.

- Os motores da IA não produzem inteligência por si só, mas usam uma abordagem indutiva: a ideia é associar de forma quase automatizada um conjunto de observações (entradas) com um conjunto de resultados possíveis (saídas) usando várias propriedades pré-configuradas. Especificamente para a justiça preditiva, o motor constrói ligações entre os diferentes grupos lexicais que compõem as decisões judiciais. Estes grupos estão correlacionados entre os identificados na fase de entrada (fatos e raciocínio) e os identificados na fase de saída (a parte operacional da decisão) e depois classificados.

- A confiabilidade do modelo (ou função) construído depende fortemente da qualidade dos dados utilizados e da escolha da técnica de aprendizagem automática.

65. Vale a pena voltar brevemente aos antepassados destes sistemas - sistemas especializados - que, por sua vez, se basearam em regras de processamento escritas por um cientista da computação. Os sistemas especializados (ES) desenvolveram-se rapidamente no final dos anos 80 e 90, especialmente em medicina e finanças.[32] Estes sistemas foram capazes de responder a perguntas e justificações especializadas utilizando fatos conhecidos, executando regras de codificação predefinidas num motor. Apesar do sucesso dos ESs, como o Deep Blue contra Garry Kasparov numa série de jogos de xadrez em 1997, estes sistemas acabaram por falhar, nomeadamente porque não foram capazes de interpretar "a infinita variedade de situações e contextos"[33] e tornaram-se ineficazes para além de 200 a 300 regras de codificação, tanto em termos de desempenho de execução como de manutenção (o raciocínio seguido pelo sistema tornou-se quase impossível de apreender para os seus designers).

Fig.2: Os antigos sistemas de peritos foram programados com regras que reproduzem a lógica do raciocínio jurídico

66.

Hoje, a ideia não é mais escrever regras de raciocínio que reflitam o raciocínio humano, como acontece com sistemas especializados mais antigos,[34] mas deixar que os próprios sistemas de autoaprendizagem identifiquem os modelos estatísticos existentes nos dados e os combinem com resultados específicos.

Fig.3: A aprendizagem automática sozinha produz modelos através da busca automática de resultados de correlação

67. Ao fazê-lo, estes sistemas não reproduzem nem modelam o raciocínio (como o raciocínio jurídico). Por exemplo, os tradutores online de hoje não realizam raciocínio abstrato. Eles inferem uma estimativa provável da melhor correspondência entre grupos de estruturas lexicais e traduções já feitas. As ações dos usuários obviamente contribuem para a melhoria da busca de correspondências, mas o algoritmo de autoaprendizagem não realiza uma tradução ao entender o significado das frases processadas.[35]

68. Este exemplo mostra como a abordagem de advogados e pesquisadores pode ser diferente: um advogado procurará entender a eficácia de regras pré-existentes, que o pesquisador só pode fornecer através da linguagem de sua ciência, e isso às vezes se limita a interpretar milhares de parâmetros de um sistema de autoaprendizagem.

69. A aprendizagem automática é um campo da ciência da computação em que os programas de computador aprendem com a experiência. Os algoritmos fazem com que uma máquina execute um processo de treinamento, como uma aprendizagem infantil no seu ambiente. Em resumo, estas técnicas de aprendizagem podem ou não ser supervisionadas por um humano. A categoria mais proeminente de aprendizagem automática é atualmente a de aprendizagem de reforço: a máquina sozinha colhe "recompensas" virtuais se a ação produzir o resultado esperado num determinado ambiente. Os métodos de autoaprendizagem incluem as redes neurais (ou a sua versão mais complexa, conhecida como deep learning), que têm sido amplamente divulgadas devido à sua autonomia e às suas aplicações bastante notáveis, como a que consegue obter pontuações elevadas nos antigos jogos de vídeo Atari 2600[36] (baseados apenas no posicionamento e na pontuação dos pixéis). Outras aplicações práticas destas tecnologias estão já a afetar a nossa vida quotidiana e começam a surgir no mundo profissional da justiça.[37]

70. No entanto, estes algoritmos continuam a ser altamente especializados numa determinada tarefa e apresentam problemas de discernimento quando confrontados com situações caóticas ou com dados insuficientes para permitir a previsão (como a compreensão real da linguagem natural). Nas ciências sociais, às quais pertencem o direito e a justiça, o fracasso seria mesmo inevitável na ausência de um modelo convincente de cognição. Para Pierre Lévy, a inteligência artificial contenta-se em fornecer uma caixa de ferramentas heterogénea (regras lógicas, sintaxes formais, métodos estatísticos, simulações neurais ou sociobiológicas, etc.) que não oferece uma solução geral para o problema da modelagem matemática da cognição humana.[38] Assim, a aprendizagem preditiva real deve, na realidade, ser baseada numa boa representação sistémica do mundo, o que o pesquisador de IA Yann LeCun acredita ser uma questão científica e matemática fundamental, não uma questão de tecnologia.[39]

71. Além disso, a singularidade dos atuais sistemas de processamento de big data é que eles não tentam reproduzir o nosso modelo de cognição, mas produzem estatísticas contextuais sobre um tamanho de dados sem precedentes, sem qualquer garantia real de exclusão de correlações falsas.[40]

72. Embora seja geralmente aceite que os modelos estatísticos e probabilísticos são melhorados aumentando os dados que os alimentam, alguns matemáticos alertaram para os riscos de aumentar as falsas correlações (ou seja, ligações entre fatores sem qualquer relação causal) nos grandes volumes de dados. Os matemáticos Cristian Sorin Calude e Giuseppe Longo apontam para o risco de um dilúvio de falsas correlações em big data: quanto maior a base de dados utilizada para correlações, maiores as chances de encontrar padrões recorrentes e maiores as chances de cometer erros[41]. O que pode aparecer como regularidades para uma IA (ligações recorrentes entre diferentes dados, conceitos, contextos ou grupos léxicos) pode ser realmente aleatório. Mesmo que o argumento dos dois matemáticos não deva ser generalizado muito precipitadamente, eles notam que em certos vastos conjuntos de números, pontos ou objetos, padrões aleatórios regulares aparecem e parece impossível distingui-los algoritmicamente de padrões que revelam causalidades.[42]

73. Por fim, os algoritmos, qualquer que seja o seu nível de sofisticação atual, ainda se resumem automaticamente às interações estabelecidas na fase de aprendizagem e, portanto, ao seu passado. O conteúdo e a qualidade dos fluxos de dados utilizados na composição dos cálculos são, pois, fundamentais para a compreensão dos resultados obtidos e para a identificação de eventuais enviesamentos analíticos. São muitos os desafios, uma vez que, numa abordagem exaustiva, a análise da maior quantidade possível de dados relativos a uma atividade produzirá resultados cujo significado tem de ser clarificado em relação a todos os fatores que tiveram influência. Em uma abordagem mais restritiva na qual os dados recebidos são amostrados, os riscos também surgirão dos vieses de trade-off necessários para selecionar um dado em detrimento de outro.

4. Pode a inteligência artificial modelar o raciocínio jurídico com antecedência?

A inteligência artificial contorna as dificuldades encontradas com sistemas de peritos mais antigos: eles não tentam espelhar manualmente o raciocínio jurídico, cuja reprodução não é, em si mesma, um objetivo para eles. A aprendizagem automática leva a categorizações entre os diferentes parâmetros identificados pelos projetistas ou aqueles descobertos pela máquina.

74. Os sistemas jurídicos continentais estão longe do ideal de racionalidade que incorporou, por exemplo, o Código Civil de 1804 na França. Há uma infinidade de fontes que não se encaixam perfeitamente e que se relacionam com um conjunto de regras cujo significado permanece indeterminado, que o teórico legal Herbert L. A. Hart chamou de "textura aberta da lei".[43] Os sistemas de common law, embora considerados economicamente mais eficientes porque se adaptam de forma dinâmica às novas necessidades jurídicas,[44] estão também a evoluir e não oferecem mais segurança jurídica. As regras jurídicas, portanto, não evoluem de forma linear, distinguindo-as das leis empíricas (as das "ciências exatas"), onde cada nova regra geralmente complementa as anteriores e não invalida um conjunto completo de raciocínios.

75. É de salientar que, face a esta complexidade geral dos sistemas jurídicos, os antigos sistemas informáticos especializados atingiram rapidamente os seus limites uma vez aninhadas 200 a 300 regras lógicas. A divisão do direito em regras de produção não era suficiente para proporcionar uma representação válida do acervo de conhecimentos e métodos que orientam um advogado.

76. Consequentemente, revelou-se tão impossível modelar o raciocínio dos juízes num computador como modelar um sistema jurídico positivo. Como a teoria do direito destacou, o raciocínio jurídico é, acima de tudo, uma questão de avaliação e interpretação, dos fatos provados e relevantes de um caso, das normas de direito aplicáveis (textuais ou jurisprudenciais) - cujo significado permanece, como já foi dito, indeterminado -,[45] e da interpretação subjetiva pelos juízes do conceito de equidade, que deve sofrer novas mudanças na Europa com a exigência de uma revisão da proporcionalidade incentivada pelo Tribunal Europeu dos Direitos Humanos.

77. Xavier Linant de Bellefonds sublinhou que a complexidade da lei reside na sua natureza teleológica e contenciosa: dois argumentos coerentes podem conduzir a juízos diferentes de acordo com duas prioridades diferentes.[46]

78. Isto porque o famoso silogismo jurídico é mais uma forma de apresentar o raciocínio jurídico do que a sua tradução formal. Ela não reflete o raciocínio completo do juiz, que na verdade é composto de uma infinidade de fatores de decisão, não pode ser formalizada a priori, e às vezes é baseada em sua discrição: quais são os fatos relevantes? Estes fatos estão provados? Que regra se aplica a eles? Qual é o significado desta regra no que diz respeito ao caso a decidir? Qual fonte deve prevalecer entre uma gama de fontes conflituantes? A coerência global das decisões judiciais nunca é alcançada e é mais uma questão de um relato a posteriori que os juízes utilizam no seu raciocínio, tendo mais a função de se convencerem da validade de uma solução específica do que de descreverem rigorosa e objetivamente todas as fases que resultaram na decisão tomada.

79. No entanto, esse trabalho de interpretação é exatamente o que as técnicas de autoaprendizagem não fazem - e não tentam fazer - hoje, pois realizam, como vimos, um processamento automatizado onde a correlação de grandes quantidades de informação deve substituir a compreensão das reais causalidades de uma decisão. Eles não tentam formalizar o raciocínio legal, mas esperam que os modelos capturados por eles possam antecipar as prováveis decisões de um juiz em situações semelhantes.

80. Os resultados obtidos pelos ICA não estão, na realidade, relacionados com a questão da conformidade legal de uma determinada solução e não podem discriminar entre argumentos jurídicos e ilegais.

81. Uma análise do trabalho do University College of London (UCL) sobre a jurisprudência do Tribunal Europeu dos Direitos do Homem confirma este diagnóstico. O estudo da UCL assumiu que um modelo de aprendizagem automática simples poderia prever o resultado de um processo com 79 % de precisão para esse tribunal em particular. O modelo de aprendizagem automática revelou-se mais preciso no que respeita à parte descritiva dos fatos das decisões estudadas do que no que respeita à fundamentação relativa à aplicação da Convenção ao caso em questão.[47]

82. A análise dos termos correlacionados com a constatação de uma violação (com ponderação positiva) e com a não violação da Convenção Europeia dos Direitos do Homem (com ponderação negativa) lança uma luz inequívoca sobre a mecânica do trabalho, o que não é de modo algum comparável com o raciocínio jurídico.

Fig. 4: Ilustração do trabalho da UCL - Peso teórico atribuído a palavras ou termos de acordo com a sua relação com conclusões de violação ou não-violação da Convenção Europeia dos Direitos do Homem

83. A escolha dos fatos relevantes e sua interpretação constituem um dos elementos da decisão do juiz. Por outras palavras, o estudo UCL só podia, na realidade, produzir uma probabilidade com material lexical largamente derivado do raciocínio e da motivação do juiz e não com o que o recorrente reuniu apenas com base nas frequências. A sua GA estabeleceu assim uma elevada probabilidade de correspondência entre grupos de palavras e uma decisão que já tinha sido formalizada e só podia dar origem a um número limitado de resultados possíveis. Em caso algum pode, por si só, reproduzir o raciocínio dos juízes europeus nem, sobretudo, prever um resultado, com base, por exemplo, na conta em bruto de um futuro requerente perante o tribunal de Estrasburgo, cuja candidatura será objeto de um exame de admissibilidade muito rigoroso (cerca de 70 356 candidaturas foram declaradas inadmissíveis ou retiradas da lista em 2017),[48] baseado em grande medida na aplicação de normas de avaliação (importância e gravidade da reclamação, etc.), deixando uma margem considerável na tomada de decisões.

5. As IAs podem explicar o comportamento dos juízes em retrospetiva?

Uma explicação a posteriori do comportamento de um juiz, em particular a revelação de viés, exigiria que todos os fatores potencialmente causais fossem identificados através de uma estrutura interpretativa e uma análise contextualizada. O fato de, estatisticamente, os cuidados infantis serem mais frequentemente confiados às mães do que aos pais não demonstra um preconceito por parte dos juízes, mas revela a necessidade de mobilizar diferentes disciplinas das ciências sociais para lançar luz sobre este fenómeno.

84. Do ponto de vista científico, explicar um fenómeno ou, no que nos diz respeito, uma peça de comportamento humano, equivale a determinar os mecanismos causais que levaram a esse comportamento utilizando uma certa quantidade de dados contextuais.

85. Isto requer, de forma muito esquemática, a constituição preliminar de um quadro interpretativo, derivado da observação repetida deste tipo de evento ou comportamento na presença de certos fatores ou elementos. O quadro interpretativo é constituído pelas hipóteses ou pontos de vista adotados pelas diferentes disciplinas das ciências sociais. Este é um passo analítico adicional que pode ser introduzido nos algoritmos, mas que eles não podem executar sozinhos.

86. Algumas empresas de tecnologia jurídica foram mais longe e pensaram que poderiam identificar possíveis preconceitos pessoais de juízes e alimentar suspeitas de preconceito. Os dados abertos dos nomes de certos juízes presidentes dos tribunais administrativos e dos tribunais administrativos de recurso em França permitiram desenvolver um indicador da taxa de rejeição de recursos contra as obrigações de sair do território francês tomadas pelas autoridades administrativas. Alguns comentadores argumentaram fervorosamente que a alegada imparcialidade dos juízes foi, portanto, posta em dúvida pela inteligência artificial.

87. Mas será que essas interpretações podem realmente ser feitas com base num tratamento algorítmico das decisões judiciais? Para que haja viés pessoal nos processos decisórios dos juízes (diferindo de suas declarações pessoais e públicas no caso em questão), seu comportamento, ou neste caso sua decisão, precisa ser determinado por seus traços de personalidade, opiniões ou religião. No entanto, como já foi dito, tal explicação causal não pode ser simplesmente deduzida do resultado probabilístico fornecido pelos algoritmos. Pelo contrário, requer trabalho analítico adicional para isolar, entre os muitos fatores correlacionados (incluindo a identidade dos membros do painel de juízes), aqueles que são verdadeiramente causais. Por exemplo, o fato de um tribunal de família decidir estatisticamente com maior frequência que as crianças devem viver com a mãe não reflete necessariamente o preconceito do juiz a favor das mulheres, mas sim a existência de fatores psicossociais, económicos e mesmo culturais específicos da jurisdição, tais como o tempo de trabalho de cada um dos pais, o seu rendimento, a disponibilidade local de cuidados infantis coletivos, se a criança está ou não na escola, se um dos pais está ou não numa nova relação ou simplesmente a falta de interesse de qualquer dos pais em cuidar de uma criança pequena.

88. Do mesmo modo, as decisões de expulsão de um país proferidas por um tribunal administrativo situado perto de um grande centro de detenção não podem ser comparadas de forma equitativa com as de um tribunal que só ocasionalmente aprecia tais litígios.

89. Além disso, independentemente da localização do tribunal, a questão da jurisprudência de um único juiz de serviço que só ocasionalmente se ocupa de um determinado tipo de litígios, mas que utiliza (ou ignora) a jurisprudência dos seus colegas, é particularmente interessante e pode legitimamente levantar a questão da igualdade dos cidadãos nos processos judiciais. No entanto, o foco deve permanecer na remodelação ou preservação da natureza colegial do sistema judicial, em vez da classificação ou estigmatização através de ferramentas de aprendizagem automática.

90. O que se pode deduzir da personalidade do presidente de um painel de juízes de um tribunal colegial, quando o seu nome é a única informação nominativa visível nas decisões de um tribunal administrativo aberto?

91. Além disso, como explicar duas abordagens filosóficas e culturais distintas das decisões judiciais, segundo as quais, em alguns países europeus, incluindo a França, existe uma cultura de precedente e um conhecimento aprofundado pelos juízes das bases de dados factuais de todas as decisões de primeira e segunda instância (base de dados Ariane) no domínio da justiça administrativa, enquanto outros países ou sistemas favorecem a independência intelectual de cada tribunal, bem como a vontade de tratar cada situação numa base casuística?

92. Uma explicação exata de uma decisão judicial exige, por conseguinte, uma análise muito mais pormenorizada dos dados contingentes em cada caso e das regras de direito aplicáveis, em vez de alimentar uma esperança vã de que a massa de ligações faça sentido.

6. Como é que a IA deve ser aplicada na justiça civil, comercial e administrativa?

O estado de desenvolvimento das técnicas de autoaprendizagem não permite hoje em dia alcançar resultados fiáveis no que respeita à "previsão" das decisões judiciais. Por outro lado, a sua aplicação no domínio da justiça civil, comercial e administrativa deve ser considerada para a criação de escalas ou para a resolução pré-contenciosa de litígios em linha, quando um recurso posterior ao juiz continua a ser possível.

93. Como podemos ver, a primeira questão levantada por tal uso da inteligência artificial não é tanto se ela é benéfica ou prejudicial, desejável ou não, mas se os algoritmos propostos podem alcançar o tipo de resultado buscado. As conclusões das experiências realizadas nos tribunais de recurso de Douai e Rennes, na França, demonstram claramente que, na presença de um discurso instigante que promove um produto de IA, pode esconder falhas inaceitáveis de design e resultados de análise totalmente errôneos.

94. Independentemente da qualidade do software testado, a antecipação das decisões dos juízes em matéria civil, comercial e administrativa parece ser um benefício potencialmente desejável, ainda que, por vezes, por razões muito diversas, tanto para os responsáveis pela ordem pública judiciária como para os profissionais do direito privado.

95. Qualquer que seja a tradição jurídica do país, a insegurança jurídica, ou seja, o risco de ver o seu pedido validado ou rejeitado, suscita o desejo de poder quantificar estes fatores através destas novas aplicações tecnológicas.

96. Os advogados (ou o departamento jurídico de uma empresa) veem a possibilidade de utilizar esta tecnologia para prestar aos seus clientes um aconselhamento mais informado, avaliando empírica e sistematicamente as possibilidades de êxito de um processo, bem como incentivando a conclusão de transações que, se necessário, permitam evitar um processo longo e dispendioso. Algumas seguradoras já oferecem o uso de sistemas preditivos aos seus clientes para avaliar os méritos do seu negócio.[49]

97. Ao mesmo tempo, os decisores públicos veem nisto uma oportunidade para regular melhor o fluxo de novos processos através dos tribunais e para se dotarem de uma alavanca para reduzir os custos operacionais judiciais. Pensa-se que isto encoraja os litigantes a utilizar métodos alternativos de resolução de litígios (conciliação, mediação ou arbitragem).[50]

98. A abordagem que já existe em muitos sistemas judiciais de harmonização das decisões em muitas matérias através de escalas (divórcio, despedimento, indemnização por danos corporais) poderia ser revitalizada através de uma abordagem probabilística ou atuarial. Foram[51] mesmo criados serviços de resolução alternativa de litígios em linha para ajudar a avaliar o montante da compensação, nomeadamente em caso de pequenos litígios. No entanto, essas abordagens interessantes não são imparciais e não devem privar os cidadãos do acesso a um juiz ou pôr em causa o princípio do contraditório.

6.1 Uma nova ferramenta informática para calcular escalas

99. Os procedimentos de cálculo das tabelas em matéria civil (por exemplo, indemnizações por danos corporais, indemnizações compensatórias e indemnizações por cessação de funções) parecem ser consideravelmente melhorados quando combinados com outras técnicas de tratamento, sob reserva de numerosas medidas de conceção e utilizações (efeito performativo).[52]

100. É importante destacar o que Jean-Paul Jean, presidente do grupo de trabalho de avaliação do CEPEJ, descreveu como o desafio qualitativo durante uma conferência sobre dados abertos realizada em 2016 na França: o procedimento realizado por aprendizagem automática ou qualquer outro método de processamento deve utilizar originais certificados, cuja integridade foi verificada, e que foram enriquecidos para distinguir o importante do insignificante.[53]

101. O outro risco já encontrado pelos designers destas ferramentas é o de ''data-snooping'', ou seja, selecionar dados a montante que sejam significativos para grelhas de análise predeterminadas, por exemplo, excluindo das amostras decisões que se prestam mal a correlações de sequências linguísticas através da aprendizagem automática ou de qualquer outro método (por exemplo, decisões sem apresentação do litígio ou pouco raciocínio).

102. Mas se calcularmos uma escala, não estamos já a fazer uma pequena previsão? O limite pode parecer relativamente impreciso se não distinguirmos claramente o objetivo do processo: o objetivo aqui não é fornecer informações prescritivas, mas sim informações sobre uma situação.

103. Sob reserva destas precauções metodológicas e operacionais, as tabelas estão disponíveis para o tratamento de certos litígios e constituem um poderoso instrumento de harmonização da jurisprudência. As escalas foram previamente calculadas com base em amostras de decisões mais ou menos limitadas, mas as ferramentas de IA tornam possível o levantamento de mais decisões e são suscetíveis de produzir escalas mais precisas, aplicando uma norma e, por conseguinte, dando mais peso aos resultados.

6.2 Resolução de litígios em linha

104. Todos os tribunais europeus enfrentam, em diferentes graus, litígios civis repetitivos de baixo valor. A ideia de facilitar o procedimento através das tecnologias da informação e/ou de as externalizar dos tribunais é amplamente partilhada. A Grã-Bretanha, os Países Baixos e a Letónia são exemplos de países que já implementaram ou estão prestes a implementar este tipo de soluções mais ou menos automatizadas[54]. Para as ações transfronteiras, a União Europeia criou, através do Regulamento n.º 524/2013, um quadro comum disponível na Internet (ações europeias de pequeno montante).

105. No entanto, o âmbito destes serviços de resolução de litígios em linha (ODR) parece ter sido gradualmente alargado. Passaram de serviços em linha restritos para medidas alternativas de resolução de litígios antes de a queixa ser apresentada ao tribunal, e estão agora a ser introduzidas

cada vez mais no próprio processo judicial, ao ponto de oferecer serviços judiciais eletrónicos".[55] Não se referem apenas a litígios de baixo valor, mas também a litígios fiscais ou relacionados com serviços de segurança social ou processos de divórcio.

106. Para aqueles que defendem tais soluções, que são do interesse de várias profissões jurídicas e do sector privado, o acesso à justiça poderia ser significativamente melhorado através de uma solução abrangente que combine ODR e IA (ou, pelo menos, sistemas especializados, ver secção 3 supra para esta distinção). A ideia é levar os queixosos através de um diagnóstico automatizado do litígio, colocando uma série de questões, que são depois processadas pela máquina, resultando em propostas de solução. O trabalho do laboratório Cyberjustice de Montréal, que reúne as várias fases pré-contenciosas e contenciosas num processo informatizado para litígios de baixa intensidade (por exemplo, os tribunais de pequenas causas no Quebeque), é um bom exemplo de hibridação.[56] De acordo com os designers, há benefícios claros em termos de eficiência e qualidade.

107. Mas em que base seria calculada qualquer compensação proposta por um sistema deste tipo? Que método? O algoritmo processa a informação de forma justa? Pretende-se que a proposta seja debatida numa base contraditória com a ajuda de um terceiro formado e certificado? O acesso a um juiz é sempre possível? Alguns autores chegam mesmo a ver a utilização generalizada destes métodos de resolução de litígios como uma nova manifestação do "soluciones-mo" digital, ou seja, a utilização sistemática de tecnologias para tentar resolver problemas que não se enquadram necessariamente no seu âmbito.[57] Deve também notar-se que, na Europa, foi recentemente criado um quadro regulamentar mais protetor e vinculativo para os Estados-Membros: O artigo 22.o do plano de monitorização da segurança dos dados prevê expressamente que as pessoas possam recusar-se a ser objeto de uma decisão baseada exclusivamente no tratamento automatizado, com certas exceções.[58]

108. Os potenciais benefícios de um sistema de ODR, o seu grau de integração num processo judicial completo (desde o pré-contencioso até ao litígio propriamente dito) e o papel quase decisivo da IA na execução do processo devem, pois, ser devidamente avaliados caso a caso.

109. A ODR já oferece conhecimento a montante dos processos judiciais. O seu papel é claramente o de contribuir para a implementação de serviços de conciliação, mediação e arbitragem fora da sala de audiências. Estes serviços também podem ser utilizados durante os procedimentos contenciosos sob a supervisão dos juízes antes de estes decidirem sobre o resultado dos litígios com base no mérito (para alguns litígios, esta fase é considerada obrigatória).

110. Por outro lado, a contribuição real da GA deve ser avaliada. É apenas uma questão de usar a aprendizagem automática para estabelecer escalas indicativas ou prescrever uma solução? É realmente IA que está a ser usada ou um sistema especialista ou apenas a cadeia de regra lógica? Em todo o caso, deveria ser possível combinar estes sistemas com os requisitos de transparência, neutralidade e lealdade.[59]

111. Por último, é igualmente necessário examinar a forma como os queixosos são incentivados a utilizar o sistema: existe uma potencial confusão no próprio nome do que é oferecido? Se se fala de um tribunal, deve ser a forma de organização definida pela Convenção Europeia dos Direitos do Homem e não apenas uma instituição de justiça privada com a mera aparência de justiça estatal[60]. O recurso a um juiz é claramente possível? Nos Países Baixos, os contratos de seguro de doença privado parecem prever automaticamente o recurso a um ODR antes de ser intentada qualquer ação judicial.

112.O Grupo de Trabalho de Mediação do CEPEJ (CEPEJ-GT-MED), lançado em 2018, ofereceu as suas primeiras reflexões sobre a contribuição da tecnologia da informação para os métodos alternativos de resolução de conflitos. O CDCJ está atualmente a realizar trabalhos aprofundados sobre os ODR para identificar o potencial destes instrumentos, mas também os pontos problemáticos que constituem eventuais violações dos artigos 6º, 8º e 13º da Convenção Europeia dos Direitos do Homem.

6.3 As principais garantias a serem reafirmadas em processos cíveis, comerciais e administrativos

Direito de acesso a um tribunal

113.A disponibilização de instrumentos de resolução de litígios em linha não deve afetar o direito de acesso a um tribunal na aceção do artigo 6.[61] Em matéria civil, por exemplo, todos os litigantes têm o direito de submeter a um tribunal qualquer litígio relativo aos seus "direitos e obrigações civis" ouvido por um tribunal.[62] Em 2015, a Assembleia Parlamentar do Conselho da Europa adotou uma resolução sobre "Acesso à justiça e à Internet: potencialidades e desafios", na qual apelava a que "as partes envolvidas em procedimentos de ODR conservem o direito de acesso a um processo de recurso judicial que satisfaça os requisitos de um processo equitativo nos termos do artigo 6.o da Convenção".[63]

Princípio do contraditório

114.Parece imperativo tornar acessível aos cidadãos e, sobretudo, às partes num processo, um certo número de informações quantitativas (por exemplo, o número de decisões processadas para obter a escala) e qualitativas (origem das decisões, representatividade das amostras selecionadas, distribuição das decisões entre diferentes critérios, como o contexto económico e social), a fim de compreender como foram construídas as escalas, de medir os seus possíveis limites e de as poder debater perante um juiz.

Igualdade de armas

115.A utilização de meios tecnológicos não deve provocar desequilíbrios entre as partes, uma vez que a utilização de meios digitais pode efetivamente facilitar os procedimentos a certos operadores (instituições, empresas com meios, pessoas com literacia informática) e, pelo contrário, colocar dificuldades a certos tipos de população mais incertos ou menos familiarizados com os computadores. É importante que nenhum indivíduo seja deixado sozinho à frente dos seus ecrãs e que seja informado de que pode procurar aconselhamento jurídico e ser assistido sempre que necessário.

Imparcialidade e independência dos juízes

116.Foi afirmado que a norma derivada da tendência maioritária acima referida na secção 2.2 pode ter efeitos indiretos na independência e imparcialidade do poder judicial, em especial nos sistemas em que a independência do poder judicial não é plenamente alcançada. Nesses sistemas, não podemos descartar o risco de que tais normas exerçam pressão indireta sobre os juízes quando as decisões são tomadas e provoquem sua aprovação, ou que o executivo monitore aqueles que se afastam da norma.

Direito a um advogado

No início deste capítulo, mencionámos as vantagens decorrentes da aplicação de ferramentas de justiça preditiva aos advogados e, em particular, a possibilidade de prestar aos seus clientes um aconselhamento mais informado, avaliando empírica e sistematicamente as hipóteses de sucesso de um processo. No entanto, imaginemos um caso em que as chances de sucesso para o litigante sejam extremamente fracas: isso poderia afetar a decisão do advogado de auxiliar seu cliente? A prática profissional deverá ter por objetivo minimizar o risco de as pessoas que necessitem de aconselhamento jurídico poderem ser privadas do mesmo.

7. Questões específicas da justiça penal: prevenção das infrações, risco de reincidência e avaliação do nível de perigo

Mesmo não sendo especificamente concebidas para serem discriminatórias, a utilização de estatísticas e de IA nos processos penais mostrou um risco de provocar o ressurgimento de doutrinas deterministas em detrimento de doutrinas de individualização da sanção, que foram amplamente adquiridas desde 1945 na maioria dos sistemas judiciais europeus.

117.A utilização da ciência e tecnologia da IA em matéria penal coloca desafios específicos, uma vez que a sua aplicação pode refletir alguns debates públicos atuais sobre a alegada previsibilidade do comportamento ofensivo. No entanto, este debate parecia ter sido completamente resolvido durante cerca de trinta anos em vários países europeus. Em Itália, por exemplo, o nº 2 do artigo 220º do Código de Processo Penal exclui expressamente a utilização de uma peritagem para determinar as características habituais ou profissionais do crime, a tendência para cometer um crime, a natureza e a personalidade do arguido e, em geral, as qualidades psicológicas do arguido, independentemente das causas patológicas. Em França, por exemplo, a doutrina da "nova defesa social" desenvolvida por Marc Ancel foi a base do direito penal: em vez de uma abordagem meramente punitiva e determinista, foi introduzido um sistema de reabilitação social para prevenir a prática de uma infração, evitando as condições para o crime. Esta abordagem é partilhada por uma série de instrumentos de política penal europeia centrados nos objetivos de reeducação e reintegração dos delinquentes.[64]

118.Os instrumentos de justiça penal devem, por conseguinte, ser concebidos de acordo com estes princípios fundamentais da reabilitação, [65]incluindo o papel do juiz na individualização da pena, com base em elementos objetivos de personalidades (formação, emprego, medicina regular e assistência social), sem qualquer outra forma de análise que não a realizada por profissionais com formação específica, como os agentes de liberdade condicional. Técnicas analíticas de Big Data poderiam ser usadas por esses profissionais para centralizar e recolher informações sobre a pessoa acusada de um crime ou contravenção, que poderiam então ser armazenadas por várias instituições e agências e precisariam ser examinadas por um juiz, às vezes dentro de um prazo muito curto (por exemplo, no contexto de procedimentos de julgamento acelerado).

7.1 Ferramentas utilizadas pelas autoridades de investigação antes do julgamento penal

119.Os instrumentos descritos como "policiamento preditivo" (antes do processo judicial ou antes de um processo judicial) já estão a crescer rapidamente e começam a ser conhecidos pelo público em geral (por exemplo, pense-se na lista no-flow, que é na realidade uma aplicação analítica de big data que recolhe e analisa dados sobre potenciais terroristas a fim de impedir a prática de atos ou algoritmos utilizados para detetar fraudes ou branqueamento de capitais).

120.Em geral, um grande número de ferramentas informáticas é comumente usado para prevenir a prática de atos criminosos (identificando possíveis lugares onde isso possa acontecer ou seus autores) ou processá-los de forma mais eficaz.[66] A primeira categoria inclui instrumentos de "policiamento preditivo" que são utilizados para prevenir certos tipos de infrações com elementos de regularidade na sua ocorrência, tais como roubo, violência na rua, furto de/de veículos. A designação destes instrumentos deriva da sua capacidade de determinar com precisão onde e quando estas infrações podem ser cometidas e de reproduzir estas informações num mapa geográfico sob a forma de pontos críticos que são monitorizados em tempo real pelas patrulhas policiais. Este processo é chamado de mapeamento preditivo criminal. A maior parte do software usado nesta área é baseado em evidências históricas de localização de crimes, tais como relatórios policiais, mas ainda mais poderosas novas tecnologias que combinam vários dados e dados

de diferentes fontes também estão a ser testadas.[67] Estes instrumentos, que têm taxas de eficácia muito persuasivas, têm também alegadamente efeitos dissuasores na prática de infrações nas zonas circundantes dos pontos críticos, conduzindo a uma opinião positiva das políticas públicas.[68]

121.No entanto, as capacidades de previsão destes instrumentos, que mostram as suas limitações no que respeita a crimes de natureza menos regular ou que visam diferentes locais, como o terrorismo, devem ser perspetivadas. Além disso, uma das suas fraquezas é o efeito de "círculos viciosos" e "profecias autorrealizadas": as vizinhanças consideradas em risco atraem mais atenção da polícia e a polícia deteta mais crime, o que leva a uma vigilância policial excessiva das comunidades que nelas vivem.[69] Finalmente, as questões sobre uma possível "tirania do algoritmo" que poderia minimizar ou mesmo substituir progressivamente o julgamento humano não estão totalmente ausentes dos próprios serviços policiais, mesmo que, por enquanto, a tecnologia seja apresentada como estando ao serviço dos seres humanos para melhor os equipar para a tomada de decisões.[70]

122.Além disso, a análise de big data está sendo cada vez mais aplicada na repressão ao crime. Ferramentas como o Connect, que é utilizado pela polícia britânica para analisar milhares de milhões de dados gerados em transações financeiras para encontrar correlações ou padrões de operações, ou a International Child Sexual Exploitation Database (ICSE DB), gerida pela Interpol, que ajuda a identificar vítimas e/ou perpetradores através da análise, por exemplo, de mobiliário e outros objetos em imagens abusivas, ou da análise do ruído de fundo em vídeos, revelaram-se particularmente eficazes no combate ao crime. Com o Connect, por exemplo, as pesquisas que antes exigiam meses de investigação agora podem ser realizadas em minutos, com um nível muito alto de complexidade e volume de dados.

123.No entanto, a doutrina questiona a lógica gerencial da resposta ao crime fornecida por essas ferramentas preditivas, nas quais uma análise completa das razões do crime se torna menos importante do que fazer algo aqui e agora. Isto está a acontecer numa altura em que os orçamentos disponíveis estão a diminuir e a polícia deve fornecer o mesmo nível de proteção pública, mas com pessoal, equipamento e recursos limitados.[71]

7.2 Ferramentas durante o julgamento criminal

124.A utilização de instrumentos de previsão[72] pelos juízes em julgamentos penais é muito rara na Europa.

125.A HART (Harm Assessment Risk Tool) foi desenvolvida em parceria com a Universidade de Cambridge e está agora a ser testada no Reino Unido. Esta tecnologia baseada na aprendizagem automática foi treinada usando arquivos da Polícia de Durham que datam de 2008 a 2012. Ao aprender com as decisões tomadas pelos agentes policiais durante este período, e se certos suspeitos reincidiram ou não, espera-se que a máquina seja capaz de avaliar o risco - baixo, médio ou alto - de reincidência de suspeitos, com base em cerca de trinta fatores, alguns dos quais não estão relacionados com o crime cometido (por exemplo, código postal e género).

126. Em testes inicialmente realizados em 2013, durante os quais foram observados comportamentos suspeitos durante um período de dois anos após a prática do crime, as previsões HART revelaram-se 98 % eficazes na previsão de baixo risco e 88 % eficazes em alto risco de reincidência. Nesta fase experimental, a HART terá um valor puramente consultivo para o juiz. Além disso, as auditorias do funcionamento do HART e da fiabilidade das suas conclusões serão realizadas regularmente pela polícia.

127. Ainda que seja a única ferramenta de previsão identificada na Europa até à data, oferece a oportunidade de considerar os desafios que os decisores públicos poderão enfrentar num futuro próximo se este tipo de aplicação for testado em maior escala, particularmente à luz dos resultados obtidos nos Estados Unidos.

128. Nos Estados Unidos,[73] a ONG ProPublica revelou os efeitos discriminatórios do algoritmo utilizado no software COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), que visa avaliar o risco de reincidência quando o juiz deve determinar a sentença para um indivíduo.

129. Este algoritmo, que foi desenvolvido por uma empresa privada e que deve ser usado por juízes em certos estados federais americanos, inclui 137 perguntas respondidas pelo réu ou informações extraídas de registros criminais. As perguntas são bastante variadas e incluem a presença de um telefone em casa, dificuldade para pagar contas, histórico familiar, histórico criminal do acusado, etc.[74] O algoritmo classifica a pessoa numa escala de 1 (baixo risco) a 10 (alto risco). É um auxílio à decisão judicial, sendo suas conclusões apenas uma das variáveis consideradas pelo juiz ao decidir sobre a sentença.

130. Foi atribuída às populações afro-americanas uma taxa de reincidência de alto risco duas vezes superior à de outras populações nos dois anos seguintes à condenação - sem que este efeito fosse naturalmente procurado pelos designers[75]. Em contraste, o algoritmo considerou que outras populações pareciam muito menos propensas a repetir uma infração[76]. É evidente que este tipo de interpretação enganosa revela, na realidade, apenas a fragilidade social e económica de certos grupos de populações que, obviamente, não são criminogénicas por natureza. Pesquisadores da Faculdade de Dartmouth também mostraram que esse tipo de algoritmo não produz valor agregado, uma vez que pessoas sem histórico criminal podem reproduzir exatamente a mesma avaliação simplesmente respondendo ao questionário.

131. Além disso, a falta de transparência nos processos de operação dos algoritmos concebidos por empresas privadas (que reivindicam propriedade intelectual) foi outro motivo de preocupação. Se tivermos em conta o fato de que eles retiram os seus dados de origem das próprias autoridades estatais, a sua falta de responsabilização perante os cidadãos coloca um grande problema democrático. Contas têm mostrado que o público é informado sobre operações de big data acidentalmente, esporadicamente e quando há vazamentos ou erros: um exemplo disso é quando a ProPublica revelou as falhas no algoritmo COMPAS após a recusa da empresa proprietária em compartilhá-la. A ONG teve de apelar às autoridades públicas para que acedessem aos dados e contratassem o seu próprio cientista para examinar o algoritmo.

7.3 Os desafios da "previsão" em matéria penal

132. Vimos nas secções anteriores que o grau de desenvolvimento dos instrumentos de previsão na Europa no domínio penal é muito variável. Embora os instrumentos descritos como "policiamento preditivo" estejam a crescer rapidamente e comecem mesmo a chamar a atenção do público em geral, a situação não é a mesma quando se trata da aplicação deste tipo de instrumento pelos juízes em julgamentos penais. No que diz respeito aos instrumentos à disposição dos serviços do Ministério Público, já foram expressas reflexões sobre as suas vantagens e desvantagens. Vamos agora estudar as ferramentas específicas para os julgamentos criminais.

133. Em primeiro lugar, é importante excluir argumentos baseados apenas na eficiência ou ineficiência dessas ferramentas. Os exemplos dados acima mostram que pode haver enormes oportunidades, mas também riscos reais na aplicação de novas tecnologias que são utilizadas sem as precauções necessárias. Os decisores públicos e os intervenientes judiciários devem estar particularmente vigilantes e desempenhar um papel ativo no desenvolvimento destas tecnologias; é necessário um acompanhamento contínuo para determinar a sua eficácia e eficiência reais e para evitar consequências imprevistas. Isto é ainda mais importante nos processos penais devido ao seu impato direto nas liberdades individuais dos indivíduos.[77]

134. Isto implica que tanto as vantagens como os inconvenientes da aplicação de tais instrumentos no domínio judiciário devem ser cuidadosamente avaliados.

135. Os apoiantes argumentam frequentemente que são neutros e que dependem de métodos factuais e objetivos que ajudam a tornar a justiça mais precisa e transparente. Outro grande trunfo, afirma-se, é a sua eficiência, que por vezes excede as capacidades humanas e só pode ser extremamente valiosa num contexto geral de redução dos fundos públicos ou mesmo de escassez de recursos.

136. A inclusão de variáveis algorítmicas como a história criminal e o contexto familiar significa que o comportamento passado de um determinado grupo pode decidir o destino de um indivíduo, que é, naturalmente, um ser humano único com um passado social específico, educação, competências, grau de culpa e motivações distintivas para cometer um crime[78]. Eles também argumentam que as decisões humanas podem ser baseadas em valores e considerações (por exemplo, sociais) que não seriam retidos pela máquina. Por exemplo, um juiz poderia decidir ordenar a fiança de uma infratora que tenha risco de reincidência, com base em uma hierarquia de valores, por exemplo, dando maior importância ao seu papel como mãe e protetora de seus filhos, enquanto o algoritmo seria capaz de determinar o risco de reincidência com mais precisão, mas não seria capaz de operar tal hierarquia de prioridades.

137. Em matéria penal, existem também riscos potenciais de discriminação quando se considera que estes instrumentos, que são construídos e interpretados por seres humanos, podem reproduzir desigualdades injustificadas e já existentes no sistema de justiça penal em causa; em vez de corrigir certas políticas problemáticas, a tecnologia pode acabar por legitimá-las. Como já foi referido, a ONG ProPublica[79] revelou claramente os efeitos discriminatórios do algoritmo utilizado no COMPAS,[80] que previa que as populações negras tinham duas vezes mais probabilidades de reincidência do que as populações brancas nos dois anos seguintes à condenação, considerando que as populações brancas tinham muito menos probabilidades de repetir a infração. Poderiam, no entanto, ajudar a revelar os erros na tomada de decisões para que possam ser corrigidos.[81] Além disso, a falta de transparência nos processos de construção de algoritmos pelas empresas proprietárias e a sua responsabilização perante o público são motivo de preocupação, tanto mais que fazem parte das medidas tomadas pelas autoridades estatais para disponibilizar os dados ao público.

138. Tendo em conta o que precede, quando são utilizados algoritmos no âmbito de um processo penal, afigura-se essencial garantir plenamente o respeito pelo princípio da igualdade de armas e da presunção de inocência consagrado no artigo 6.o da CEDH. O interessado deve ter acesso e ser capaz de contestar a validade científica de um algoritmo, a ponderação atribuída aos seus vários elementos e as conclusões erradas a que chega quando um juiz sugere que o pode utilizar antes de tomar a sua decisão. Além disso, este direito de acesso é igualmente abrangido pelo princípio fundamental da proteção dos dados pessoais. Todas as pessoas têm o direito de não serem sujeitas a decisões que as afetem de forma significativa, tomadas exclusivamente com base no tratamento automatizado de dados, sem que o seu ponto de vista tenha sido previamente tido em conta.

139. A este respeito, existe uma diferença entre a Europa e os Estados Unidos no que se refere ao direito de acesso aos algoritmos: enquanto nos Estados Unidos as autoridades judiciais continuam relutantes em reconhecer plenamente este direito e a ponderar os interesses privados (nomeadamente a proteção da propriedade intelectual) face aos direitos de defesa, na Europa o quadro é mais protetor devido ao RGPD, que estabelece um direito à informação sobre a lógica subjacente às decisões tomadas utilizando algoritmos.[82]

140. As considerações expressas anteriormente em relação aos efeitos potencialmente negativos dessas ferramentas sobre a imparcialidade do juiz também são válidas em matéria penal: um juiz que decida contra a previsão de um algoritmo provavelmente correrá riscos à medida que assumir maior responsabilidade. Não parece irrealista imaginar que os juízes se mostrem relutantes em assumir este encargo adicional, especialmente em sistemas em que os seus mandatos não são permanentes mas estão sujeitos a votação popular,[83] ou em que a sua responsabilidade pessoal (disciplinar, civil ou mesmo penal) é suscetível de ser incorrida, especialmente se as suas garantias estatutárias em matéria disciplinar forem insuficientes.

8. Questões específicas relacionadas com a proteção de dados pessoais

A utilização de algoritmos levanta a questão da proteção dos dados pessoais aquando do seu tratamento. O princípio da precaução deve ser aplicado às políticas de avaliação dos riscos.

141. Para que todo o potencial dos algoritmos possa ser explorado no respeito dos princípios da proteção de dados, deve aplicar-se o princípio da precaução e devem ser aplicadas políticas preventivas para combater os riscos potenciais associados à utilização dos dados tratados por esses algoritmos e o impato da sua utilização nas pessoas e na sociedade em geral.

142. O princípio da licitude do tratamento de dados pessoais e a obrigação de prevenir ou minimizar o impato do tratamento de dados sobre os direitos e liberdades fundamentais dos titulares de dados deverão induzir uma avaliação prévia do risco. Tal deverá permitir a aplicação de medidas adequadas, em especial durante a fase de conceção (e, por conseguinte, desde a conceção) e por defeito, a fim de atenuar os riscos identificados.

143. Uma vez que os dados pessoais devem ser tratados para finalidades determinadas e legítimas, não devem ser utilizados de forma incompatível com essas finalidades e não devem ser posteriormente tratados de forma que a pessoa em causa possa considerar inesperada, inadequada ou questionável (princípio da lealdade). A questão da reutilização dos dados pessoais, tornando-os amplamente acessíveis, deve, por conseguinte, ser tratada com a máxima prudência.

144. A conceção dos métodos de tratamento de dados utilizados pelos algoritmos deve minimizar a presença de dados redundantes ou marginais e evitar qualquer potencial enviesamento oculto e qualquer risco de discriminação ou impato negativo nos direitos e liberdades fundamentais dos titulares dos dados.

145. Quando se utiliza a inteligência artificial, os direitos das pessoas em causa revestem-se de especial importância, e o controlo que cada um de nós deve ter sobre a sua informação pessoal implica que deve ser possível exercer os seguintes direitos: o direito das pessoas em causa a não serem sujeitas a decisões automatizadas que as afetem significativamente sem que o seu ponto de vista seja tido em conta, o direito a obter informações sobre a fundamentação subjacente ao tratamento de dados efetuado por algoritmos, o direito de oposição a esse tratamento e o direito a um recurso judicial.

9. O potencial e as limitações das ferramentas de justiça preditiva

O termo justiça preditiva deve ser descartado porque é ambíguo e enganoso. Estes instrumentos baseiam-se em métodos de análise da jurisprudência, utilizando métodos estatísticos que não reproduzem de forma alguma o raciocínio jurídico, mas que podem tentar descrevê-lo. Os vieses analíticos, se não puderem ser totalmente eliminados, devem ser identificados. O processo de conceção e a utilização da ferramenta devem ser integrados num quadro ético claro.

146. Na seção 3, já destacamos a ambiguidade e falácia do conceito de justiça preditiva e como ele opera uma lenta mudança na mente coletiva, levando-nos a acreditar que as máquinas, desprovidas de qualquer emoção, um dia serão mais capazes de tornar o ato de julgar mais confiável. Mais do que nunca, suas promessas precisam ser examinadas de forma objetiva e científica, com base em bases sólidas de pesquisa fundamental, a fim de identificar possíveis limitações. A este respeito, deve notar-se que os riscos de interpretações distorcidas do significado das decisões judiciais são extremamente elevados quando baseadas apenas em modelos estatísticos. Esta observação é ainda confirmada pela falta de uma compreensão precisa das ligações entre os dados e pela presença óbvia de falsas correlações que não podem ser detetadas em grandes massas de dados.

147. Além disso, a neutralidade dos algoritmos é um mito, pois os seus criadores transferem consciente ou involuntariamente os seus próprios sistemas de valores para eles. O filósofo Eric Sadin observou que, por trás de sua fachada eficiente e impessoal, os sistemas algorítmicos refletem impercetivelmente as intenções de seus designers ou patrocinadores, induzindo um poder funcional e assimétrico sobre a vida de outras pessoas. Da mesma forma, a pesquisadora Aurélien Grosdidier considera que um algoritmo, por si só, não é capaz de outra coisa senão permitir-nos - na melhor das hipóteses - compreender parte da intenção do designer e estender o questionamento a toda a cadeia de processamento da informação (intenção do designer, produção de código de computador, execução de código de computador e contexto de execução e manutenção). Esta observação é também partilhada pelo criminólogo Aleš Zavrsnik, que sublinha como as fases de construção e interpretação dos algoritmos são realizadas pelo homem, para o homem, e não podem escapar a erros, preconceitos, valores, interesses humanos e uma representação humana do mundo, independentemente da forma como são concebidos.

148. Apesar destas limitações significativas, devemos esquecer a contribuição de uma tecnologia com poder inigualável? Os próprios matemáticos C. S. Calude e G. Longo enfatizam em seu estudo sobre big data que o escopo restritivo ou negativo de seus resultados, como muitas vezes acontece, não destrói a ciência dos dados, mas abre caminho para um pensamento maior, incluindo o desafio de um novo método científico mais amplo, capaz de incorporar tanto novos instrumentos algorítmicos quanto ferramentas clássicas, acompanhando o processamento com uma avaliação rigorosa da evidência. Como salientado na introdução, a utilização da IA é suscetível de oferecer um apoio extremamente significativo aos profissionais, incluindo juízes e advogados, mas também ao público em geral, especialmente se um dia permitirem a construção de ferramentas de investigação e análise documental sem paralelo em matérias legislativas, regulamentares, jurisprudenciais e doutrinais e criarem ligações dinâmicas entre todas estas fontes. Mas este tipo de aplicação ultrapassa o âmbito deste artigo, uma vez que não se destina a prever o resultado de um litígio, mas sim a analisar a jurisprudência num determinado tempo e espaço.

149. Como referido no ponto 6, sob reserva da representatividade das amostras selecionadas e transformadas, a GA contribuiu para a elaboração de escalas muito mais precisas dos montantes médios ou medianos atribuídos, mutatis mutandis, em vários domínios (apoio financeiro, prestações compensatórias, indemnizações por danos corporais, indemnizações por despedimento, etc.). Estas escalas, que se baseiam mais num consenso do que numa análise média do que numa análise do que já existe, já proporcionam um apoio significativo à tomada de decisões e à orientação, sem poderem substituir a própria lei. Como mencionado anteriormente, o risco é que, na ausência de uma representação estatística da realidade ou de ser capaz de prever qualquer coisa, os resultados do software de justiça preditiva sejam estabelecidos como padrões sem qualquer validação pelo sistema legal e em conflito com ele.

150. Por último, consideremos a ideia de poder recuar à vontade em relação aos sistemas de previsão. Em vez de bloquear os utilizadores numa probabilidade (ou conjunto de probabilidades), a ideia seria permitir-lhes navegar pelas correlações que levaram o sistema a propor a sua avaliação e poder distanciar-se selecionando outros conceitos ou grupos de palavras mais relevantes ou excluir correlações falsas. Para utilizar o exemplo UCL, este consistiria em propor uma representação gráfica dos diferentes termos retidos pelo sistema (com as respetivas ponderações) para verificar a existência de uma violação (ou não-violação) e autorizar outros caminhos a seguir, propondo a seleção de outros termos ou grupos léxicos.

151. Por mais ousada e sedutora que esta proposta possa ser, ela pressupõe que os próprios profissionais (juízes, advogados, universidades) a assumam coletivamente para testar sua viabilidade e que não permitam que operadores privados sozinhos, salvo alguns cientistas descontrolados, projetem software e modos de raciocínio ou cálculo abstrusos ou bloqueados.

152. As promessas ambiciosas (e não cumpridas) de algumas empresas de tecnologia jurídica não devem esconder o imenso potencial das tecnologias e a necessidade de aplicações adaptadas e construídas diretamente com ambientes de pesquisa científica e académica, bem como com todos os profissionais do direito, tais como magistrados, funcionários, advogados, notários, oficiais de justiça e especialistas de campo. Algumas medidas parecem poder tirar pleno partido destes novos instrumentos através de aplicações adaptadas e concebidas em associação direta com os investigadores e todos os profissionais do direito, incluindo juízes, procuradores, escrivães, advogados, notários, oficiais de justiça e peritos na matéria.

153. Neste contexto dinâmico, afigura-se essencial, em primeiro lugar, não tomar decisões precipitadas e dispor de tempo para debater antecipadamente os riscos e as aplicações práticas destes instrumentos nos sistemas judiciários e para os testar numa primeira fase. Um sistema judicial em conformidade com o seu tempo seria um sistema capaz de estabelecer, administrar e garantir uma verdadeira ciberética, tanto para o sector público como para o privado, e de insistir na transparência e equidade totais no funcionamento dos algoritmos, que podem contribuir um dia para a tomada de decisões judiciais.

10. A necessidade de um debate público aprofundado sobre estas ferramentas antes da implementação de políticas públicas para o seu desenvolvimento. A necessidade urgente de a ciberética proporcionar um quadro para o desenvolvimento de algoritmos de inteligência artificial no respeito dos direitos fundamentais

O desafio de integrar estes instrumentos num processo de decisão judicial justifica a simplificação dos conceitos para o grupo-alvo em causa. Deve ser criado um quadro ético para promover o rápido desenvolvimento de uma forma de IA que inclua mecanismos de prevenção de preconceitos e discriminação nos seus próprios processos de conceção.

10.1 A importância de debater, testar e rever continuamente a aplicação destas ferramentas antes da implementação de políticas públicas

154. As questões relacionadas com a implementação de ferramentas de justiça preditiva são tão numerosas e multifacetadas que exigem uma abordagem equilibrada por parte dos decisores públicos.

155. Em primeiro lugar, é essencial realizar um debate público em torno destas questões, reunindo tanto os designers das ferramentas como os profissionais do direito. Conselhos Judiciais, associações profissionais de juízes e associações de advogados podem, sem dúvida, contribuir para isso e ajudar a identificar oportunidades e aspetos mais controversos. Além disso, a formação judiciária e as escolas de direito podem desempenhar um papel fundamental na sensibilização dos profissionais da justiça para estas questões, para que possam compreender melhor e contribuir na prática para os desenvolvimentos atuais.

156. É também essencial realizar investigação sobre as aplicações propostas e testá-las, tanto para compreender o seu potencial e as suas fraquezas como para as poder desenvolver e adaptar às nossas necessidades. O direito de examinar as componentes e características dos instrumentos propostos pelo sector privado (ou os desenvolvidos por institutos públicos independentes e especializados, solução que deve ser encorajada) parece igualmente importante para que o serviço de justiça possa desempenhar eficazmente a sua missão. Deve ser realizada uma avaliação rigorosa dos resultados dos testes antes de uma maior implantação e integração nas políticas públicas. Parece também fortemente aconselhável avaliar regularmente o impato destes instrumentos no trabalho dos profissionais da justiça.

10.2 O estabelecimento de um quadro ético

157. Em primeiro lugar, a mera adoção de um quadro legislativo ou regulamentar para a IA parece vaidosa num contexto digital, que é inerentemente transnacional no seu âmbito. Por outro lado, uma atenção escrupulosa à natureza e à qualidade dos dados abertos é suscetível de minimizar os riscos de referências cruzadas inadequadas e de reforçar a pertinência dos resultados do tratamento automatizado. No que diz respeito aos nomes dos profissionais, uma precaução simples seria proibir a sua divulgação pública em bases de dados estruturadas não tratadas, tendo em conta os riscos de utilização abusiva. Não se trata de limitar o acesso às informações já tratadas (por exemplo, a composição de um júri), mas de filtrar os dados brutos disponibilizados gratuitamente. Em suma, é necessário fazer uma distinção entre acesso à informação e acesso a bases de dados, que podem ser manipuladas à vontade.

158. Os investigadores Buttarelli e Marr sublinharam a necessidade de controlar e proteger de perto os grandes volumes de dados. Outros investigadores (Pasquale e Morozov) sublinharam a necessidade de estabelecer procedimentos transparentes para a utilização de grandes volumes de dados e, de um modo mais geral, da IA no domínio judicial, porque as soluções propostas nunca poderão representar a vida na sua complexidade.

159. O desenvolvimento de regras de ciberética para orientar a atividade dos atores do setor e promover os princípios de transparência, equidade e neutralidade da ferramenta acima mencionados é essencial. O acompanhamento regular por peritos independentes deve assegurar que os condutores de informações artificiais utilizados para assistir os juízes nas suas decisões não sejam tendenciosos. Não é inadequado antecipar a implementação, discreta ou não, de sistemas de referenciação pagos (baseados no modelo de Search Engine Advertising do Google) que permitam a certos operadores dar menos peso a decisões que lhes são desfavoráveis. Estas regras desempenharão um papel fundamental no aumento da confiança dos cidadãos nos seus sistemas judiciais.

160. Neste contexto, a qualidade dos melhores sistemas poderia ser reconhecida através da atribuição de um rótulo ou de uma certificação. Em particular, devem garantir total transparência e perfeita equidade no tratamento da informação, tanto para os profissionais como para os cidadãos, a fim de evitar a repetição de erros como o algoritmo COMPAS acima referido. Os profissionais da justiça devem ser estreitamente associados para poderem avaliar corretamente os riscos e o impato destas aplicações nos sistemas judiciais.

161. Hoje em dia, todos os especialistas envolvidos no desenvolvimento da IA, incluindo pesquisadores, engenheiros e desenvolvedores de computadores, têm responsabilidades excecionais e sem precedentes. O seu trabalho poderia ser acompanhado por um reforço ainda maior das humanidades. O exemplo de algumas escolas inovadoras de desenvolvedores de computadores mostra que por trás da vontade de "hackear o sistema" esconde-se, segundo alguns observadores, na realidade um pragmatismo sem qualquer contextualização da responsabilidade que agora paira sobre os técnicos com poderes de quase-demiurgo. O Juramento Hipocrático tem certamente os seus limites na medicina, mas ritualiza a responsabilidade e fornece um quadro ético.

162. Por último, a ciberética deve ser acompanhada de uma formação em grande escala das partes interessadas, desde os criadores de algoritmos e as empresas de tecnologia jurídica até aos seus utilizadores. Novas humanidades transdisciplinares devem ser disponibilizadas a todos para que a IA se torne um vetor de desenvolvimento positivo para a humanidade.

Anexo II: Quais as utilizações da IAnos sistemas judiciais europeus?

O presente anexo da Carta analisa as diferentes utilizações da IA nos sistemas europeus e incentiva, em graus diferentes, a sua aplicação à luz dos princípios e valores estabelecidos na Carta de Ética.

A utilização da autoaprendizagem para constituir motores de busca para a melhoria da jurisprudência é uma oportunidade a ser aproveitada por todos os profissionais do direito. Devem ser considerados pedidos adicionais (elaboração de tabelas, apoio a medidas alternativas de resolução de litígios, etc.), mas deve ter-se o devido cuidado (em especial, a qualidade da fonte de dados e não o tratamento em massa de todo o litígio em questão). Outras aplicações ("justiça preditiva") deveriam ser atribuídas ao domínio da investigação e desenvolvimento futuro (em consulta com os profissionais do direito, a fim de garantir a sua plena adequação às necessidades reais) antes de se contemplar uma utilização significativa na esfera pública.

Em matéria penal, esta é uma questão muito sensível, mas não deve ser ignorada. À luz das muitas questões existentes quanto à sua compatibilidade com um certo número de direitos fundamentais, a utilização de algoritmos para calcular os riscos potenciais de reincidência de um indivíduo levado à justiça deve ser considerada com as mais extremas reservas. Por outro lado, o tratamento de dados quantitativos globais para a prevenção da criminalidade é uma via a explorar mais aprofundadamente com estas novas técnicas, tendo em conta os preconceitos conhecidos (efeitos performativos, qualidade dos dados, etc.). Do mesmo modo, a utilização de algoritmos para estabelecer uma melhor ligação entre o tipo de serviço comunitário disponível e a personalidade de um indivíduo pode ser um fator de eficácia de uma medida deste tipo.

Ø Utilizações a serem encorajadas

· Aperfeiçoamento da jurisprudência: as técnicas de autoaprendizagem têm sido cada vez mais utilizadas no campo do processamento da linguagem natural nos últimos anos (o que inclui os esforços iniciais na compreensão da linguagem natural) e são um recurso considerável para encontrar opções de pesquisa que complementem a palavra-chave atual ou a pesquisa de texto integral. Estes instrumentos poderiam ligar várias fontes (por exemplo, constituições e convenções, leis, jurisprudência e teoria jurídica). As técnicas de visualização de dados podem ilustrar os resultados da pesquisa.

· Acesso ao direito: sem substituir a intervenção humana, poderiam ser criados chatbots para facilitar o acesso às várias fontes de informação existentes utilizando a linguagem natural. Os modelos de documentos (pedidos judiciais, contratos de arrendamento, etc.) também podem ser gerados em linha.

· Criação de novos instrumentos estratégicos: a utilização de técnicas de ciência dos dados e de inteligência artificial nos dados das atividades judiciais pode contribuir para melhorar a eficácia da justiça, permitindo, por exemplo, efetuar avaliações quantitativas e qualitativas e fazer projeções (por exemplo, futuros recursos humanos e orçamentais). Nesta base, poderiam ser elaborados indicadores-chave de desempenho. Recomenda-se que os profissionais do direito, especialmente os juízes, sejam envolvidos na implementação destes instrumentos, em termos de apropriação destes instrumentos e de análise dos resultados em conjugação com fatores relacionados com as características específicas do tribunal em questão ou com a qualidade da justiça (por exemplo, a necessidade de preservar o acesso à justiça).

Ø Utilizações possíveis, exigindo precauções metodológicas consideráveis

· Ajuda na elaboração de escalas em certas disputas civis: uma análise de todas as decisões judiciais não é estatisticamente significativa se todos os fatores causais (explícitos e implícitos nas decisões) não forem identificados. Saber que a compensação média concedida numa determinada zona geográfica é mais elevada do que noutra pode ser explicado não pelo comportamento dos juízes, mas pelas características da zona em questão. A autoaprendizagem pode, portanto, ser útil na identificação de decisões (ver a melhoria da jurisprudência acima), mas o processamento automatizado de dados por si só não pode produzir informações significativas. Um pré-requisito essencial é a compilação de uma amostra relevante de decisões a serem processadas (por exemplo, por meio de pesquisas).

· Apoio a medidas alternativas de resolução de litígios em matéria civil: em alguns países europeus, as companhias de seguros utilizam instrumentos de "justiça preditiva" para avaliar as possibilidades de êxito de um litígio e para orientar o litigante para outro método de resolução de litígios quando se considera que há poucas hipóteses de êxito. Além disso, alguns sistemas no estrangeiro oferecem montantes de compensação sem qualquer transparência real quanto às regras de cálculo. No entanto, esses sistemas não podem ser considerados imparciais e confiáveis (ver a seção sobre técnicas de autoaprendizagem). As decisões são tomadas sobre um cidadão usando bases truncadas. Noutros casos, um litigante pode ser aconselhado, através de um agente virtual (chatbot), a optar por uma medida alternativa de resolução de litígios após um exame preliminar dos critérios introduzidos pelo próprio litigante, ao visitar o sítio Web de um tribunal ou ao procurar informações jurídicas em linha. O agente virtual pode, se for caso disso, também recomendar que o litigante procure aconselhamento junto de um serviço de mediação ou de um advogado. Em todos estes casos, a presença de um terceiro treinado (mediador que utiliza não só técnicas, mas talvez escalas como as calculadas acima, ou um advogado) parece ser a solução mais adequada nesta fase.

· Resolução de litígios em linha: quando os litigantes entram numa plataforma de resolução de litígios em linha, devem ser informados de forma clara e compreensível se o tratamento do seu litígio é feito de forma totalmente automatizada ou com a participação de um mediador ou árbitro. Além disso, as informações prestadas às partes em litígio devem ser honestas e devem evitar dar-lhes a impressão de que se trata de um tribunal (neste contexto, o termo "tribunal em linha" é frequentemente utilizado para este tipo de plataforma, quando tecnicamente o seu objetivo é prestar serviços de resolução alternativa de litígios). Trata-se de dois fatores essenciais para que as partes possam fazer uma escolha informada, discordando eventualmente do parecer e decidindo recorrer a um tribunal real na aceção do artigo 6º da CEDH. Além disso, tendo em conta os requisitos dos artigos 6.oe 13.o da CEDH, devem ser sempre consideradas formas de revisão do processo de resolução de litígios em linha e dos seus resultados pelos tribunais estatais, especialmente quando o litigante tenha consentido na resolução de litígios em linha totalmente automatizada.

· A utilização de algoritmos na investigação criminal para identificar onde são cometidas as infrações penais: este tipo de aplicação poderia dizer respeito não só à polícia, mas também aos procuradores dos organismos de prevenção da criminalidade de que fazem parte. Foram utilizados sistemas nos Estados Unidos para orientar as patrulhas policiais em tempo real para possíveis locais onde estão a ser cometidas infrações. No entanto, este tipo de abordagem quantitativa pode gerar um forte "efeito performativo" (num dado local, existe uma maior probabilidade de descobrir uma infração, o que reforça o sistema). A análise criminal através de abordagens que combinem sistemas de informação geográfica (SIG) e grandes quantidades de dados sobre procedimentos poderia ser melhor partilhada com os procuradores e poderia certamente beneficiar de um contributo significativo para a aprendizagem automática. As unidades de combate ao branqueamento de capitais já utilizam sistemas "preditivos" para identificar fluxos financeiros suspeitos, mas, no caso das informações quantitativas (financeiras), as máquinas são mais capazes de produzir resultados fiáveis. Os investigadores devem também ter um melhor acesso a estes dados para produzir estudos relevantes para os decisores políticos.

Ø Utilizações a considerar na sequência de estudos científicos suplementares

· Perfil do juiz: quantificar a atividade de um juiz revelará menos sobre quaisquer possíveis vieses do que sobre quaisquer fatores externos que influenciem suas decisões. O próprio juiz não é a razão pela qual a atividade judicial em uma área empobrecida não produz os mesmos resultados que em outro território, qualquer que seja sua personalidade. Quando a decisão é proferida de forma colegial e sem a possibilidade de um juiz expressar uma opinião divergente, é inútil traçar o perfil de cada um dos juízes da secção. Por outro lado, poderia ser incentivada uma avaliação quantitativa e qualitativa mais pormenorizada das atividades dos juízes, graças a novos instrumentos, mas com um objetivo puramente informativo de apoio à tomada de decisões e para sua utilização exclusiva.

· Antecipação das decisões judiciais: o tratamento estatístico dos grupos lexicais, por si só, revela a frequência da utilização de certos grupos de palavras, mas não identifica as verdadeiras razões de uma decisão e não efetua uma análise jurídica (ver o estudo realizado pelo University College of London sobre as decisões do TEDH, que produziu melhores resultados sobre os fatos do que sobre a análise do direito). Os sistemas híbridos, baseados na construção de modelos matemáticos que supostamente representam a diversidade de raciocínios dos juízes, não são mais eficientes porque ainda estão limitados pelo viés na amostra de dados que processaram e têm de recomeçar da estaca zero se uma lei for alterada ou se houver uma inversão na jurisprudência.

Ø Utilizações a serem considerados com as reservas mais extremas

· Utilização de algoritmos em matéria penal para traçar o perfil dos indivíduos: as experiências noutros países (COMPAS nos Estados Unidos e HART no Reino Unido) foram criticadas pelas ONG (ver trabalhos da ProPublica nos Estados Unidos e da Big Brother Watch no Reino Unido). Devido às limitações da metodologia utilizada, esta abordagem puramente estatística conduziu a um resultado errado: a constatação de que alguns indivíduos afro-americanos estão mais frequentemente envolvidos em atos criminosos levou a um fator de risco mais elevado para toda a população afro-americana. Assim, mesmo para delitos menores, estes sistemas têm ponderado negativamente os arguidos afro-americanos, com o resultado de aumentar injustamente o quantum das suas sentenças. Esta abordagem, que tem efeitos discriminatórios e deterministas, deve ser substituída por uma que respeite mais as normas europeias em matéria de sanções penais e que ofereça ao indivíduo a possibilidade de reabilitação e reintegração. Se os sistemas algorítmicos conseguirem ajudar a melhorar a recolha de informações para os serviços de liberdade condicional, por exemplo, e permitirem que as informações relevantes sejam recolhidas mais rapidamente para posterior tratamento humano, então será definitivamente possível progredir (em especial nos procedimentos acelerados). Qualquer outra utilização é propensa a preconceitos que entram em conflito com certos princípios fundamentais nacionais e supranacionais.

· Norma baseada na quantidade: não se trata apenas de produzir escalas, o que poderia ser legítimo, mas de fornecer a cada juiz o conteúdo das decisões produzidas por todos os outros juízes e afirmar que a sua futura escolha está na massa destes "precedentes". Esta abordagem deve ser rejeitada porque este grande número não pode acrescentar ou substituir a lei. Pelas razões apresentadas acima (Ajuda na elaboração de escalas), uma abordagem baseada na quantidade não é o caminho a seguir. O estudo da CEPEJ também destacou os perigos da cristalização da jurisprudência e os efeitos potencialmente negativos sobre a imparcialidade e independência dos juízes.

Apêndice III: Glossário

Este glossário fornece uma definição dos termos usados pela Carta Ética e pelo documento de estudo. Foi dada preferência ao fornecimento de uma definição restrita para todo o vocabulário utilizado. Todos os documentos devem ser lidos e compreendidos à luz destas definições.

ALGORITIMO Sequência finita de regras formais (operações e instruções lógicas) que permitem obter um resultado a partir da introdução inicial de informação. Esta sequência pode fazer parte de um processo de execução automatizado e basear-se em modelos concebidos através da aprendizagem automática.

ANONIMIZAÇÃO Método de tratamento de dados pessoais para prevenir de forma completa e irreversível a identificação de uma pessoa singular ou coletiva. Por conseguinte, a anonimização implica que já não existe qualquer ligação possível entre a informação em causa e a pessoa a quem diz respeito. A identificação torna-se então completamente impossível.[84] Uma vez que os princípios relativos à proteção de dados se aplicam a todas as informações relativas a uma pessoa identificada ou identificável, não se aplicam aos dados anonimizados.

INTELIGÊNCIA ARTIFICIAL (IA) Um conjunto de métodos, teorias e técnicas científicas cujo objetivo é reproduzir, através de uma máquina, as capacidades cognitivas dos seres humanos. Os desenvolvimentos atuais buscam fazer com que as máquinas executem tarefas complexas anteriormente realizadas por seres humanos.

No entanto, o termo inteligência artificial é criticado por especialistas que distinguem entre IAs "fortes" (mas capazes de contextualizar problemas especializados e variados de forma completamente autónoma) e IAs "fracas" ou "moderadas" (alto desempenho no seu campo de formação). Alguns especialistas argumentam que IAs "fortes" exigiriam avanços significativos na pesquisa básica, e não apenas simples melhorias no desempenho dos sistemas existentes, para serem capazes de modelar o mundo como um todo.

As ferramentas identificadas neste documento são desenvolvidas usando métodos de autoaprendizagem, ou seja, IAs "fracos".

BIG DATA (meta-dados, grandes conjuntos de dados) O termo big data refere-se a grandes conjuntos de dados de fontes mistas (por exemplo, dados abertos, dados proprietários e dados adquiridos comercialmente). Para os dados derivados da atividade judicial, os grandes volumes de dados podem ser a combinação de dados estatísticos, registos de ligações de software empresarial (registos de aplicações), bases de dados de decisões judiciais, etc.

CHATBOT (agente de conversação) Agente de conversação que conversa com seu usuário (por exemplo, robôs de empatia usados para ajudar aqueles que estão doentes, ou serviços de conversação automatizados nas relações com clientes).[85]

DATARepresentação de informações para processamento automático. Quando se diz que os algoritmos podem ser "aplicados" às mais diversas realidades no mundo jurídico ou em qualquer outro lugar, pressupõe-se a "digitalizabilidade" de qualquer realidade sob a forma de "dados". Mas está claro a partir da física que nada nos diz que os processos físicos podem ser adequadamente traduzidos em termos de "dados" (e integrados no ciclo de entrada/saída dos algoritmos). Se este já é o caso da física, não há razão para que isso não aconteça também nas relações sociais. Devemos, portanto, ser cautelosos com a ideia de "dados", que pressupõe sempre que a realidade que estamos a tentar descrever tem um formato tal que é naturalmente processável através de algoritmos.

Uma base de dados é um "contentor" que armazena dados como números, datas ou palavras, que podem ser reprocessados usando um computador para produzir informações, por exemplo, coletando e ordenando números e nomes para formar um diretório.

DATA MINING Data mining permite analisar um grande volume de dados e destacar modelos, correlações e tendências.

CIÊNCIA DOS DADOSUm grande campo que agrupa matemática, estatística, probabilidades, processamento de dados e visualização de dados a fim de obter compreensão a partir de um conjunto misto de dados (imagens, som, texto, dados do genoma, ligações entre redes sociais, medições físicas, etc.).

Os métodos e ferramentas derivados da inteligência artificial se enquadram nessa categoria.

DEEP LEARNING Ver Machine Learning e Neurónios

EXPERT SYSTEM Esta é uma das formas de alcançar a inteligência artificial. Um sistema especializado é uma ferramenta capaz de reproduzir os mecanismos cognitivos de um especialista numa determinada área. Mais precisamente, é um software capaz de responder a perguntas, através do raciocínio baseado em fatos e regras conhecidas. É composto por 3 partes:

- uma base fatual;

- uma base de regras;

- um motor de inferência.

O motor de inferência é capaz de utilizar fatos e regras para produzir novos fatos, até chegar à resposta à pergunta do perito.

A maioria dos sistemas especializados existentes são baseados em mecanismos lógicos formais (lógica aristotélica) e usam raciocínio dedutivo.

LEGAL TECH Empresas que utilizam a tecnologia da informação no campo do direito para oferecer serviços jurídicos inovadores. Estas empresas são start-ups especializadas em direito. Outros termos derivados de setores empresariais também surgiram, como Fintechs para start-ups que oferecem serviços financeiros e Medtechs no campo médico.

MACHINE LEARNING Aprendizagem automática permite construir um modelo matemático a partir de dados, incorporando um grande número de variáveis que não são conhecidas de antemão. Os parâmetros são configurados gradualmente durante a fase de aprendizagem, que utiliza conjuntos de dados de treinamento para localizar e classificar links. Os diferentes métodos de aprendizagem automática são escolhidos pelos projetistas dependendo da natureza das tarefas a serem concluídas (agrupamento). Estes métodos são geralmente classificados em três categorias: Aprendizagem (humana) supervisionada, aprendizagem não supervisionada e aprendizagem de reforço. Estas três categorias agrupam diferentes métodos, incluindo redes neurais, aprendizagem profunda, etc.

O gráfico abaixo ilustra as diferentes categorias de aprendizagem automática:

METADATA Dados que permitem definir, contextualizar ou descrever outros dados. Na maioria de seus usos de computador, o meta-prefixo significa "definição ou descrição de referência".

Os meta-dados sintetizam informações básicas sobre dados, facilitando a busca e manipulação de determinadas instâncias de dados. O autor, a data de criação, a data de modificação e o tamanho do arquivo são exemplos. Meta-dados e seu corolário, filtragem de dados, ajuda a localizar um documento específico.

NEURONS/NEURAL NETWORKAs redes neurais são sistemas computacionais vagamente inspirados pelas redes neurais biológicas que constituem o cérebro animal [1] Tais sistemas "aprendem" a executar tarefas considerando exemplos, geralmente sem serem programados com quaisquer regras específicas de tarefa. Por exemplo, no reconhecimento de imagens, eles podem aprender a identificar imagens que contêm gatos analisando imagens de exemplo que foram rotuladas manualmente como "gato" ou "sem gato" e usando os resultados para identificar gatos em outras imagens. Eles fazem isso sem qualquer conhecimento prévio sobre gatos, por exemplo, que eles têm pelos, caudas, bigodes e faces semelhantes a gatos. Em vez disso, eles geram automaticamente características de identificação a partir do material de aprendizagem que processam.

Uma RNA é baseada em uma coleção de unidades conectadas ou nós chamados neurônios artificiais que modelam frouxamente os neurônios em um cérebro biológico. Cada conexão, como as sinapses em um cérebro biológico, pode transmitir um sinal de um neurônio artificial para outro. Um neurônio artificial que recebe um sinal pode processá-lo e então sinalizar neurônios artificiais adicionais conectados a ele.

O objetivo original da abordagem da RNA era resolver problemas da mesma forma que um cérebro humano resolveria. No entanto, ao longo do tempo, a atenção passou a estar voltada para a realização de tarefas específicas, levando a desvios da biologia. As redes neurais artificiais têm sido utilizadas numa variedade de tarefas, incluindo visão computacional, reconhecimento de voz, tradução automática, filtragem de redes sociais, jogos de mesa e jogos de vídeo e diagnóstico médico.

OPEN DATA O termo refere-se à disponibilização de bases de dados estruturadas para download público. Estes dados podem ser reutilizados a baixo custo, sob reserva das condições de uma licença específica, que pode, nomeadamente, estipular ou proibir certos fins de reutilização.

Os dados abertos não devem ser confundidos com a informação pública unitária disponível nos sítios web, onde não é possível descarregar toda a base de dados (por exemplo, uma base de dados de decisões judiciais). Os dados abertos não substituem a publicação obrigatória de decisões ou medidas administrativas ou judiciais específicas já estabelecidas por determinadas leis ou regulamentos.

Por último, existe por vezes confusão entre os dados (dados estritamente abertos) e os seus métodos de tratamento (aprendizagem automática, ciência dos dados) para diferentes fins (motores de busca, assistência na redação de documentos, análise da evolução das decisões, previsão das decisões judiciais, etc.).

SOFTWARE FONTE ABERTASoftware para o qual o código fonte está disponível para todos. O software pode, portanto, ser livremente utilizado, modificado e redistribuído.

DADOS PESSOAISQualquer informação relativa a uma pessoa singular identificada ou identificável (a "pessoa em causa"), direta ou indiretamente.

Estes incluem dados sensíveis relacionados com dados genéticos, dados biométricos que identificam inequivocamente uma pessoa, dados relativos a infrações, processos penais e condenações penais e medidas de segurança conexas, bem como quaisquer dados relativos a informações que revelem sobre a origem racial ou étnica, opiniões políticas, filiação sindical, convicções religiosas ou outras, saúde ou vida sexual.

JUSTIÇA PRÉ-MÉDICA A justiça preditiva é a análise de grandes quantidades de decisões judiciais por tecnologias de inteligência artificial, a fim de fazer previsões para o resultado de certos tipos de litígios especializados (por exemplo, indemnizações por despedimento ou pensões alimentares).

O termo "preditivo" utilizado pelas empresas de tecnologia jurídica vem dos ramos da ciência (principalmente estatística) que possibilitam prever resultados futuros por meio da análise indutiva. As decisões judiciais são tratadas com vista a detetar correlações entre os dados de cálculo (critérios estabelecidos na legislação, os fatos do caso e o raciocínio) e os dados de saída (julgamento formal, como o montante da compensação).

As correlações consideradas relevantes permitem criar modelos que, quando utilizados com novos dados de entrada (novos fatos ou precisões descritas como um parâmetro, como a duração da relação contratual), produzem, de acordo com os seus criadores, uma previsão da decisão (por exemplo, o intervalo de compensação).

Alguns autores criticaram tanto a forma como a substância desta abordagem. Eles argumentam que, em geral, a modelagem matemática de certos fenômenos sociais não é uma tarefa comparável a outras atividades mais facilmente quantificáveis (isolar os fatores realmente causais de uma decisão judicial é infinitamente mais complexo do que jogar o jogo de Go ou reconhecer uma imagem, por exemplo):

aqui, há um risco muito maior de falsas correlações. Além disso, em teoria jurídica, duas decisões contraditórias podem revelar-se válidas se a fundamentação jurídica for sólida. Consequentemente, fazer previsões seria um exercício puramente informativo, sem qualquer alegação prescritiva.

PERFILING Uma técnica automatizada de tratamento de dados que consiste em aplicar um "perfil" a uma pessoa singular, nomeadamente para tomar decisões sobre ela ou para analisar ou prever preferências, comportamentos e atitudes pessoais.

De acordo com o artigo 2º da Convenção 108 revista, entende-se por "tratamento de dados" qualquer operação ou conjunto de operações efetuadas sobre dados pessoais, tais como a recolha, conservação, conservação, alteração, recuperação, divulgação, disponibilização, apagamento, destruição ou realização de operações lógicas e/ou aritméticas sobre esses dados.

do RGPD, trata-se do tratamento de dados pessoais de tal forma que deixam de poder ser atribuídos a uma determinada pessoa em causa sem a utilização de informações suplementares, desde que essas informações suplementares sejam conservadas separadamente e sejam objeto de medidas técnicas e organizativas destinadas a assegurar que os dados pessoais não sejam atribuídos a uma pessoa singular identificada ou identificável.[86]

Apêndice IV: Lista de verificação para integrar os princípios da Carta no método de processamento

A fim de avaliar a compatibilidade do seu método de processamento com a Carta, existe uma escala de autoavaliação disponível para cada um dos princípios listados.

Para cada princípio, marque a caixa correspondente aos seus métodos de processamento.

A caixa mais à esquerda indica integração completa, a caixa mais à direita indica nenhuma integração.

Na parte inferior da folha de avaliação (na linha assinalada com "Total"), somar o número de casas assinaladas. A coluna com a pontuação mais alta indica o nível de compatibilidade do seu método de processamento com o Charter.

Esta avaliação é, naturalmente, puramente informativa e não equivale, de forma alguma, a qualquer certificação.

Lista de verificação para avaliar os métodos de processamento

1. Princípio dos direitos fundamentais:

Garantir que a conceção e a aplicação de instrumentos e serviços de inteligência artificial sejam compatíveis com os direitos fundamentais, incluindo o direito à proteção dos dados pessoais

2. Princípio da não discriminação:

Prevenir especificamente o desenvolvimento ou a intensificação de qualquer discriminação entre indivíduos ou grupos de indivíduos

3. Princípio da qualidade e da segurança:

No que diz respeito ao tratamento de decisões e dados judiciais, utilizar fontes certificadas e dados intangíveis com modelos elaborados em ambiente tecnológico seguro

4. Princípio da transparência, imparcialidade e equidade:

Tornar os métodos de tratamento de dados acessíveis e compreensíveis, autorizar auditorias externas

5. Princípio "sob controle do usuário": Impedir uma abordagem prescritiva e garantir que os usuários sejam atores informados e controlem suas escolhas

Compatível com a Carta

Medidas a tomar para serem compatíveis

Não compatível com a Carta

[1] Para a definição de inteligência artificial, ver o Glossário em anexo.

[2] A escolha ética é feita a montante pelos designers do programa e, portanto, não é deixada para o usuário.

[3] Neste contexto, é interessante a sugestão feita na página 38 do estudo MSI-NET do Conselho da Europa sobre "Algoritmos e Direitos Humanos": "O fornecimento de algoritmos completos ou do código de software subjacente ao público é uma solução improvável neste contexto, uma vez que as empresas privadas consideram o seu algoritmo como um software proprietário fundamental que está protegido. No entanto, pode haver a possibilidade de exigir que sejam fornecidos ao público subconjuntos chave de informação sobre os algoritmos, por exemplo, quais as variáveis em uso, para que objetivos estão a ser otimizados os algoritmos, os dados de formação e os valores médios e desvios-padrão dos resultados produzidos, ou a quantidade e tipo de dados processados pelo algoritmo". Ou mesmo as sugestões que figuram na página 117 do relatório "AI pela humanidade" elaborado por Cédric Villani, deputado da Assembleia Nacional francesa no âmbito de uma missão que lhe foi confiada pelo Primeiro-Ministro da República Francesa: "Os auditores podem ficar satisfeitos com a simples verificação da justiça e equidade de um programa (fazendo apenas o que lhes é exigido), apresentando uma variedade de dados falsos, por exemplo, ou criando uma grande quantidade de perfis de utilizadores do sistema de acordo com orientações precisas. Além disso, há também as declarações no relatório da Câmara dos Lordes, "AI in the UK: ready, willing and able?", parágrafos 92, 96-99.

[4] Neste contexto, é interessante notar as soluções geralmente consideradas para garantir a neutralidade dos algoritmos no relatório da Câmara dos Lordes acima referido (parágrafos 114, 115, 116, 119, 120): conjuntos de dados mais diversificados, mais diversidade e abordagens multidisciplinares, mais auditoria de aspetos como o processamento de dados e a forma como a máquina é construída.

[5] Ver, em particular, a abertura da moldura Capítulo 9

[6] Por exemplo, os Tribunais de Recurso de Douai e Rennes na França realizaram um julgamento de três meses em 2017 com um programa de software rotulado de "preditivo" por um painel de juízes.

[7] Trabalho sobre uma amostra de 584 decisões do Tribunal Europeu dos Direitos do Homem: Nikolaos Aletras, Dimitrios Tsarapatsanis, Daniel Preoţiuc-Pietro, Vasileios Lampos, "Predicting judicial decisions of the European Court of Human Rights: a Natural Language Processing perspective", publicado em 24 de outubro de 2016, [Online], https://peerj.com/articles/cs-93/

[8] Ver, em especial, o ponto 51 do documento CEPEJ(2016)13, "Orientações sobre como promover a mudança para a ciberjustiça".

[9] Declaração de Montreal, disponível em https://www.declarationmontreal-iaresponsable.com/demarche, acedida em 16 de julho de 2018.

[10] Veja algoritmos COMPAS ou ferramentas como RAVEL LAW ou ROSS chatbot

[11] Ver bibliografia resumida no Apêndice IV - contribuições substanciais de Benoît Charpentier, Giuseppe Contissa e Giovanni Sartori(https://media.wix.com/ugd/c21db1_14b04c04c49ba7f46bf9a5d88581cbda172.pdf) e Emmanuel Barthe (http://www.precisement.org/blog/Intelligence-artificielle-en-droit-derriere-la-hype-la-realite.html#nb14). (apenas em francês)

[12] Os dados são letras e números sem sentido. As informações são dados incluídos num contexto. É o contexto que dá sentido aos dados. Podemos adivinhar que 2005 é um ano, mas sem contexto, não sabemos. Mas em "em 2005, completamos 3 projetos" o contexto dá sentido ao número. Por conseguinte, "dados abertos" não são dados no sentido da definição, mas informação. Da mesma forma, os grandes dados são também grandes quantidades de informação, não de dados.

[13] T-PD(2017)1, Guidelines on the protection of individuals with regard to the processing of personal data in a world of big data.

[14] Regulamentos gerais de proteção de dados (DGPS, Regulamento da UE 2016/679 e Convenção n.º 108 do Conselho da Europa para a Proteção das Pessoas relativamente ao Tratamento Automatizado de Dados de Caráter Pessoal).

[15] Tal como definido na T-PD(2017)1 das "Guidelines on the protection of individuals with regard to the processing of personal data in a world of big data", T-PD(2017)1, a pseudo-anonimização refere-se ao tratamento de dados pessoais "de tal forma que os dados pessoais já não possam ser atribuídos a um determinado titular sem a utilização de informações adicionais, desde que essas informações adicionais sejam mantidas separadamente e sejam objeto de medidas técnicas e organizacionais destinadas a assegurar que os dados pessoais não sejam atribuídos a uma pessoa singular identificada ou identificável".

[16] Esta lei foi adotada para harmonizar a legislação francesa com a Diretiva 2013/37/UE do Parlamento Europeu e do Conselho Europeu, de 26 de junho de 2013, que, por sua vez, alterou a Diretiva do Conselho, de 17 de novembro de 2003, relativa à reutilização de informações do setor público (a "Diretiva ISP").

[17] Artigo R433-3 do Código de Organização Judiciária

[18] Paróquia católica grega Lupeni e o. v. Roménia [GC]. No. 76943/11, 29/11/2016, § 116.

[19] Eloi Buat-Menard e Paolo Giambiasi, "La mémoire numérique des décisions judiciaires", Dalloz Reports, 2017, p. 1483. (apenas em francês)

[20] Artigo 12º do Código de Processo Civil Francês

[21] O TJCE declarou, quanto às condições que regem a responsabilidade de um Estado-Membro pelo conteúdo de uma decisão de um tribunal supremo nacional, que "uma infração ao direito comunitário será suficientemente grave" e deve dar lugar à reparação do prejuízo "quando a decisão em causa tenha sido tomada em manifesta violação da jurisprudência do Tribunal de Justiça na matéria" (TJCE, processo C-224/01, Koebler, §56).

[22] CEDH, Z. v. Finlândia nº 22009/93, §§95 e seguintes e o Livro Verde da Comissão Europeia sobre a informação do sector público na sociedade da informação (COM(1998)585) ("Se não forem tomadas precauções especiais, as bases de dados de jurisprudência, que são instrumentos de documentação jurídica, podem tornar-se ficheiros de informação sobre pessoas se estas bases de dados forem consultadas para obter uma lista de decisões judiciais sobre um determinado indivíduo e não para conhecer a jurisprudência").

[23] A caracterização é definida na secção 4 do RGPD. É o tratamento dos dados pessoais de uma pessoa para analisar e prever o seu comportamento ou a sua situação, tais como a determinação do seu desempenho no trabalho, situação financeira, saúde, preferências, hábitos de vida, etc.

[24] CEDH, Vernes v. França, n.º 30183/06 no que respeita à identificação dos juízes que proferiram a decisão, Pretto v. Itália, n.º 7984/77 para a publicação do acórdão, Kontalexis v. Grécia, n.º 59000/08, § 38, DMD GROUP, a.s, v. Eslováquia, n.º 19334/03, § 66, Miracle Europe KFT v. Hungria, n.º 57774/13, § 58 para o direito a um tribunal instituído por lei em articulação com o direito a um juiz imparcial.

[25] Estas questões podem também aplicar-se ao Rechtspfleger que toma decisões judiciais e aos escriturários, assistentes do juiz mencionados na composição da formação da corte (embora em menor grau).

[26] Ver TEDH Previti vs. Itália, não. 45291/06, §§ 249 e seguintes, que recorda os princípios da imparcialidade objetiva do juiz.

[27] Ver o exemplo do Tribunal Federal Suíço, cuja jurisprudência pode ser descarregada: https://www.bger.ch/fr/index/juridiction/jurisdiction-inherit-template/jurisdiction-recht.htm; ou, para os cantões: http://ge.ch/justice/dans-la-jurisprudence (Cantão de Genebra, por exemplo).

[28] As decisões do Tribunal Europeu dos Direitos do Homem são colegiais. As publicações incluem quaisquer opiniões divergentes.

[29]https://www.nature.com/articles/nature16961

[30]Dominique Cardon, A quoi rêvent les algoritmes, nos vies à l'heure des big data, La République des idées, Editions du Seuil, 2015, p. 58.

[31]"AlphaZero: A IA do DeepMind aprende e domina o xadrez em menos de 4 horas", Génération NT, artigo publicado em 8 de dezembro de 2017,[Online], https://www.generation-nt.com/alphazero-ia-deepmind-maitrise-echecs-4-heures-actualite-1948919.html (página acedida em 14 de dezembro de 2017).

[32] Um exemplo é o High Frequency Trading (HFT), que é um tipo de transação financeira realizada em alta velocidade por software baseado em algoritmos. Em 2013 e na Europa, 35 % das transações já foram realizadas com HFT. Nos EUA, o HFT representa 70% dos volumes negociados no mercado de ações. Tendo em vista a automatização das transações, a queda é ainda mais rápida em caso de quedas, como foi o caso durante a crise financeira de 2007.

[33] Hubert Dreyfus, o que os computadores ainda não conseguem fazer. A Critique of Artificial Reason, Cambridge, The MIT Press, 1992 citado por Dominique Cardon em A quoi rêvent les algorithmes, nos vies à l'heure des Big Data, p.59.

[34] As regras de processamento escritas poderiam ser baseadas em código específico em diferentes linguagens de programação, como LISP ou editores de regras de modelo. Ver, por exemplo, Radboud Winkels, "CLIME : Un projet de développement de servurs juridiques intelligents", em Danièle Bourcier, Patricia Hasset e Christophe Roquilly (eds.), Droit et intelligence artificielle, 2000, Romillat, p. 59.

[35] Li Gong, "La traduction automatique statistique, comment ça marche ?", Interstices.info, publicado em 29 de outubro de 2013, [Online], https://interstices.info/jcms/nn_72253/la-traduction-automatique-statistique-comment-ca-marche (página acedida em 14 de dezembro de 2017).

[36]https://www.nature.com/articles/nature14236

[37]Inteligência artificial da IBM Watson prestando um serviço à área médica e fornecendo uma ferramenta de busca chamada "Ross", apresentada como um advogado virtual - Roos, "Faça mais do que humanamente possível" [Online], http://rossintelligence.com(página acedida em 14 de dezembro de 2017).

[38]Pierre Lévy, "Intelligence artificielle et sciences humaines", blog de Pierre Levy. 8 de outubro de 2014. [Online], https://pierrelevyblog.com/2014/10/08/intelligence-artificielle-et-sciences-humaines/ (página acedida em 30 de dezembro de 2017).

[39]Yann LeCun, "Qu'est-ce que l'intelligence artificielle", pesquisa publicada no site do Collège de France, [Online], https://www.college-de-france.fr/media/yann-lecun/UPL4485925235409209505_Intelligence_Artificielle__Y._LeCun.pdf(página acedida em 14 de dezembro de 2017).

[40]Dominique Cardon, op. cit., p.60.

[41] Cristian Sorin Calude, Giusseppe Longo, "Le déluge des corrélations fallacieuses dans le big data", em Bernard Stiegler (dir.) (2017), La toile que nous voulons, edições da FYP, p.156.

[42] Theory of "Ramsey", Ronald L. Graham, Joel H. Spencer - "Ramsey Theory", Scientific American, vol.263, No.1, July 1990, p112-117 cited by Cristian Sorin Calude, Giusseppe Longo, "Le déluge des corrélations fallacieuses dans le big data", ibid.

[43]Herbert L. A. A. Hart (1976), Le concept de droit, departamentos da Universidade de Saint-Louis, Bruxelas.

[44]https://www.contrepoints.org/2014/08/15/177160-common-law-contre-droit-civil-lexperience-francaise-de-lancien-regime

[45]Sobre estas questões, Michel Troper (2001), La théorie du droit, le droit, l'Etat, PUF, Paris, p. 69-84.

[46]Xavier Linant de Bellefonds (1994), "L'utilisation des systèmes experts en droit comparé", Revue internationale de droit comparé, Vol. 46, No. 2, p. 703-718.

[47]Trabalho sobre uma amostra de 584 decisões do Tribunal Europeu dos Direitos do Homem: Nikolaos Aletras, Dimitrios Tsarapatsanis, Daniel Preoţiuc-Pietro, Vasileios Lampos, "Predicting judicial decisions of the European Court of Human Rights: a Natural Language Processing perspective", publicado em 24 de outubro de 2016, [Online], https://peerj.com/articles/cs-93/ (página acedida em 14 de dezembro de 2017).

[48] Fonte: Análise estatística 2017 do CEDH, janeiro de 2018.

[49] O software Predictive é oferecido aos segurados da Allianz, por exemplo.

[50] A este respeito, ver o relatório de informação n.º 495 (2016-2017), elaborado em nome da Comissão de Direito do Senado e apresentado em 4 de abril de 2017 pelo Senador Philippe Bas

[51] No que diz respeito à abordagem atuarial, a oferta da Case Law Analytics anuncia mais uma avaliação de risco do que uma previsão de uma solução para um litígio.

[52] O efeito performativo ou de autorealização é o risco de um sistema produzir progressivamente a mesma produção, influenciando os produtores de informação de entrada; este efeito é frequentemente mencionado em relação às escalas judiciais que, quando informadas por decisões baseadas nestas escalas, tendem a ser representativas apenas de si próprias.

[53] J-P. Jean, "Penser les finalités de la nécessaire ouverture des bases de données de jurisprudence", Conferência de 14 de outubro de 2016 realizada na Cour de Cassation, https://www.courdecassation.fr/IMG///Open%20data,%20par%20Jean-Paul%20Jean.pdf, página acedida em 17 de março de 2018.

[54] Ver, para o efeito, a resolução de litígios em linha disponível no Reino Unido - https://www.judiciary.gov.uk/wp-content/uploads/2015/02/Online-Dispute-Resolution-Final-Web-Version1.pdf.

Ver também o sistema PAs dos Países Baixos, que emite decisões automatizadas com base em autorizações previamente concedidas e que deu origem a litígios a nível nacional e perante o TJCE: há dois casos (c-293/17 en c-294/17) apresentados ao Conselho de Estado dos Países Baixos (agricultores/conservação da natureza contra os Países Baixos) para determinar se um sistema (programa de regulação do azoto) pode ou não decidir se os agricultores, entre outros, estão ou não a violar a Diretiva Habitat. Recentemente, o Tribunal de Justiça da União Europeia, no Luxemburgo, respondeu aos pedidos de decisão prejudicial relativos a estes processos apensos (ECLI:EU:C:2018:882)

[55] Darin Thompson, "Creating new paths to justice using simple artificial intelligence and online dispute resolution", Osgoode Hall Law School of York University.

[56]http://www.cyberjustice.ca/projets/odr-plateforme-daide-au-reglement-en-ligne-de-litiges/

[57] Evgeny Morozov, "Pour tout résoudre cliquez ici", edições do FYP, citado por David Larrousserie, "Contre le' solutionnisme' numérique", Le Monde, 6 de outubro de 2014, https://www.lemonde.fr/sciences/article/2014/10/06/contre-le-solutionnisme-numerique_4501225_1650684.html

[58] Nº 1 do artigo 22º do Regulamento (CE) nº 2016/679: "O titular dos dados tem o direito de não ficar sujeito a uma decisão baseada exclusivamente no tratamento automatizado"; estão previstas exceções (como o consentimento do titular dos dados), mas "o responsável pelo tratamento deve aplicar medidas adequadas para salvaguardar os seus direitos e liberdades e interesses legítimos", incluindo "o direito de o titular dos dados obter a intervenção humana por parte do responsável pelo tratamento, expor o seu ponto de vista e contestar a decisão".

Ver, no mesmo sentido, a Convenção do Conselho da Europa para a Proteção das Pessoas relativamente ao Tratamento Automatizado de Dados de Caráter Pessoal, tal como alterada pelo Protocolo adotado em maio de 2018 quando este último entrar em vigor. O nº 1, alínea a), do artigo 9º estabelece o princípio segundo o qual "toda a pessoa tem o direito de não ficar sujeita a uma decisão que lhe diga respeito de forma significativa, tomada unicamente com base no tratamento automatizado de dados, sem que o seu ponto de vista seja tomado em consideração". Não obstante este princípio de proibição, o nº 2 do artigo 9º estabelece que "a alínea a) do nº 1 não é aplicável se a decisão for autorizada por uma lei a que o responsável pelo tratamento esteja sujeito e que preveja igualmente medidas adequadas para salvaguardar os direitos, liberdades e interesses legítimos da pessoa em causa".

O relatório explicativo afirma (§75): "É essencial que qualquer pessoa suscetível de ser objeto de uma decisão puramente automatizada tenha o direito de contestar essa decisão, apresentando efetivamente o seu ponto de vista e os seus argumentos. Em especial, a pessoa em causa deve ter a possibilidade de provar a eventual inexatidão dos dados pessoais antes da sua utilização, a inadequação do perfil a aplicar à sua situação específica ou outros fatores com impacto no resultado da decisão automatizada. Este é particularmente o caso quando a aplicação de um raciocínio algorítmico, ao levar à limitação de um direito, à recusa de um benefício social ou à avaliação de sua capacidade de empréstimo com base apenas no software, tem o efeito de estigmatizar indivíduos. No entanto, a pessoa em causa não pode exercer esse direito se a decisão automatizada estiver prevista na lei a que está sujeito o responsável pelo tratamento, que prevê medidas adequadas para salvaguardar os direitos e liberdades e os interesses legítimos da pessoa em causa".

da Convenção modernizada n.º 108, que prevê o direito de a pessoa em causa "obter, a seu pedido, o conhecimento dos motivos subjacentes ao tratamento de dados, quando lhe forem aplicados os resultados desse tratamento". O relatório explicativo da Convenção modernizada (§77) afirma: "Os titulares dos dados têm o direito de obter conhecimento da fundamentação subjacente ao tratamento de dados, incluindo as consequências dessa fundamentação e as conclusões que dela possam ter sido retiradas, em especial quando utilizam algoritmos para a tomada de decisões automatizada, em especial no contexto da definição de perfis. Por exemplo, no caso de um sistema de notação de crédito, os mutuários têm o direito de conhecer a lógica subjacente ao processamento dos seus dados que leva à decisão de conceder ou recusar crédito, em vez de simplesmente serem informados.

da própria decisão. A compreensão destes elementos contribui para o exercício efetivo de outras garantias essenciais, tais como o direito de oposição e o direito de recurso para a autoridade competente". Este "deve obter informações úteis sobre a lógica subjacente" encontra-se igualmente na RDA (n.º 1, alínea f), do artigo 13º; n.º 2, alínea g), do artigo 14º; n.º 1, alínea h), do artigo 15º).

[59] Charlotte Pavillon, "Concerns over a digital judge", nrc.nl, https://www.nrc.nl/nieuws/2018/01/19/zorgen-om-populaire-digitale-rechter-a1588963

[60] Scarlett-May Ferrié, Algorithmes tested against fair trial, documento consultado em http://lexis360.fr, descarregado em 09/07/2018,§ 27-38

[61] Art.6 §1 §1 " 1. todos têm direito a uma audiência justa e pública ... por um tribunal independente e imparcial... que decidirá (...) o mérito de qualquer acusação criminal contra ela...; para as limitações ver Deweer c. Belgique, § 49 ; Kart c. Turquie [GC], § 67.

[62] CEDH, Golder c. Royaume-Uni, §§ 28-36

[63] Resolução 2054 (2015) da Assembleia Parlamentar do Conselho da Europa (PACE), 10 de Novembro de 2015, http://assembly.coe.int/nw/xml/XRef/Xref-XML2HTML-EN.asp?fileid=22245&lang=en

[64] Ver Tribunal Europeu dos Direitos do Homem, Grande Secção, Vinter e Outros vs. Reino Unido, paras. 114 - 118

[65] Por outro lado, a utilização da GA para fins de tratamento e reabilitação (por exemplo, para recolher dados sobre o tratamento administrado ou métodos de reintegração na prisão) deve ser incentivada.

[66] Ver Ales Zavrsnik, Big Data, crime e controlo social, página 194 e seguintes, que enumera em pormenor uma série de instrumentos utilizados pelos serviços de polícia na Europa e nos Estados Unidos.

[67] Por exemplo, como parte do projeto "E-Security - ICT for knowledge-based and predictive urban security" (http://www.esecurity.trento.it/), que foi conduzido na cidade italiana de Trento entre novembro de 2012 e maio de 2015, uma base de dados que recolhe informação sobre crimes reportados à polícia, os resultados de inquéritos realizados pela câmara municipal sobre vitimização e segurança real e percebida pelos cidadãos, informação sobre desordem física e social urbana da polícia, bem como outras variáveis relacionadas com "SmartCity" (e.g. informações relativas ao contexto sociodemográfico, ambiente urbano, iluminação noturna, presença de câmaras de vigilância e transportes públicos). Foi criado para melhor equipar o trabalho de prevenção ao crime e melhoria da segurança urbana. Os gestores de projeto testemunharam a fiabilidade das técnicas utilizadas, que permitiriam prever atos criminosos com uma taxa de sucesso de cerca de 60-65 % e que contribuiriam para uma melhor luta contra a criminalidade quando os recursos disponíveis eram limitados. Além disso, os testes realizados no Reino Unido no âmbito de um projeto-piloto de previsão de possíveis locais de roubo, furto e assalto mostram que as projeções informáticas utilizadas, denominadas PREDPOL, eram exatas em 78 % dos casos, em comparação com 51 % que utilizavam técnicas tradicionais.

[68] A indicação de uma concentração geográfica do crime ajudaria as forças policiais a considerar melhor os fatores ambientais que tornam o crime mais provável na área identificada (iluminação, presença de lojas, etc.) e a planejar respostas adequadas em consulta com outros parceiros.

[69]"Predicting crime, estilo LAPD", The Guardian, 25 de junho de 2014.

[70] "How technology is allowing police to predict where and when crime will happen", The Independent, 7 de outubro de 2017.

[71] Ales Zavrsnik, Big Data, crime e controlo social, página 196.

[72] Na literatura, essas ferramentas são frequentemente referidas como "justiça algorítmica", "justiça automatizada" ou "justiça simulada".

[73] Um estudo de 2015 identificou cerca de sessenta ferramentas preditivas nos Estados Unidos.

[74] Existem outros algoritmos que foram desenvolvidos usando observações críticas expressas pela doutrina (ver próximo capítulo) que se baseiam em variáveis menores, mais diretamente relacionadas ao crime cometido e menos relacionadas à raça, gênero ou status socioeconômico. Um exemplo é a Ferramenta de Avaliação de Segurança Pública usada em 30 jurisdições americanas.

[75] Esse efeito puramente discriminatório pode, de facto, ser explicado pela "calibração" relativamente permissiva do modelo algorítmico, que cria muitos "falsos positivos".

[76] As populações negras foram mais frequentemente classificadas como de alto risco, mas não reincidiram nos dois anos de condenação; as populações brancas, por outro lado, que foram mais frequentemente classificadas como de baixo risco, cometeram delitos nos dois anos seguintes. Em suma, o algoritmo sobrestimou o risco de reincidência para os negros e subestimou-o para os brancos (os "falsos positivos" eram maioritariamente negros, enquanto os "falsos negativos" eram maioritariamente brancos). Em resposta às alegações da ProPublica, NorthPointe (agora Equivant desde esta controvérsia) respondeu que as populações brancas e negras estavam igualmente representadas ao considerar os "verdadeiros positivos", ou seja, aqueles que tinham realmente reincidido. A questão de como conciliar a precisão do algoritmo na detecção de reincidência e a necessidade de evitar efeitos discriminatórios contra populações negras tem sido fonte de intenso debate na literatura; ver em particular Chouldechova A (2016), "A fair prediction with a disparate impact: a study on bias in reincidism prediction instruments", disponível em http://arxiv.org/abs/1610.07524; e também "Bias in criminal risks scores is mathematically inevititable, Researchers say", disponível em https://www.propublica.org/article/bias-in-criminal-risk-scores-is-mathematically-inevitable-researchers-say. Esse debate também reflete a questão da legitimidade de uma empresa privada, sem qualquer controle institucional, para arbitrar entre dois requisitos opostos: o de defender a sociedade, por um lado, e o de respeitar os direitos dos indivíduos, por outro.

[77] Um extrato da decisão do Supremo Tribunal do Wisconsin no processo Wisconsin v. Loomis pode também servir de inspiração a nível europeu: "É importante considerar que ferramentas como o COMPAS continuam a mudar e a evoluir. As preocupações que hoje abordamos podem muito bem ser atenuadas no futuro. Cabe ao sistema de justiça criminal reconhecer que, nos próximos meses e anos, dados adicionais de pesquisa estarão disponíveis. Podem ser desenvolvidas ferramentas diferentes e melhores. À medida que os dados mudam, o nosso uso de ferramentas baseadas em evidências também terá de mudar. O sistema de justiça deve acompanhar a investigação e avaliar continuamente a utilização destes instrumentos".

[78] Aleš Zavrsnik, "Big Data, crime e controlo social", página 196.

[79]www.propublica.org/article/technical-response-to-northpointe.

[80] Outros algoritmos centram-se noutros elementos mais diretamente relacionados com a infração cometida.

[81] Mojca M. Plesnicar e Katja Sugman Stubbs, "Subjetividade, algoritmos e a sala de audiências".

[82] Artigo 15.º, n.º 1, alínea h), do Regulamento (UE) n.º 2016/679: "A pessoa em causa tem o direito de obter do responsável pelo tratamento"... "e, pelo menos nesses casos, informações pertinentes sobre a lógica subjacente, bem como o significado e as consequências previstas desse tratamento para a pessoa em causa".

[83] Mojca M. Plesnicar e Katja Sugman Stubbs, "Subjetividade, algoritmos e a sala de audiências".

[84] Parecer 05/2014 sobre técnicas de anonimização. Ver também n.º 26 do Regulamento (UE) n.º 2016/679 do Parlamento Europeu e do Conselho, de 27 de abril de 2016.

[85] Relatório CNIL dezembro 2017: Como podem os humanos manter a vantagem? As questões éticas levantadas pelos algoritmos e pela inteligência artificial.

[86] Artigo 4.º do Regulamento (UE) n.º 2016/679 do Parlamento Europeu e do Conselho, de 27 de abril de 2016.