WIENER, Norbert. GOD AND GOLEM, Inc.

1. As especulações da cibernética moderna acerca de máquinas capazes de aprender e reproduzir-se ocupam simbolicamente o lugar outrora atribuído à feitiçaria, pois capacidades técnicas hoje legitimadas pela utilidade econômica poderiam, em épocas anteriores, ter provocado perseguição religiosa.

• Há dois séculos, a pretensão de construir máquinas capazes de aprendizagem ou autorreprodução poderia ter sido interpretada como prática de magia.
• A condenação social daquilo que parece transgredir limites naturais modifica-se quando sua eficácia pode servir aos interesses do poder econômico ou político.
• A mesma atividade que poderia ser considerada feitiçaria torna-se aceitável quando demonstra utilidade prática.

2. A condenação tradicional da feitiçaria e de rituais como a Missa Negra exige compreender em que consiste propriamente sua transgressão religiosa, para além da aparência grotesca ou supersticiosa de suas práticas.

3. A Missa Negra somente adquire sentido no interior dos pressupostos da ortodoxia cristã, pois sua possibilidade depende precisamente da crença no caráter real do milagre eucarístico pelo qual os elementos consagrados se tornam o corpo e o sangue de Cristo.

4. O cristão ortodoxo e o feiticeiro compartilham a crença de que a consagração produz elementos dotados de eficácia sobrenatural, de que apenas um sacerdote validamente ordenado possui o poder de realizar a transubstanciação e de que esse poder permanece mesmo quando seu exercício se torna ilícito e condenável.

5. Admitidos esses pressupostos, o pecado central da Missa Negra consiste na apropriação de um poder considerado intrinsecamente bom para empregá-lo em benefício particular ou em finalidades contrárias à maior glória de Deus, e não primordialmente nas formas exteriores de profanação ritual.

6. O episódio bíblico de Simão Mago representa essa mesma tentativa de transformar poder espiritual em objeto de aquisição e troca, pois a oferta de pagamento pelos poderes milagrosos apostólicos pressupõe que uma capacidade extraordinária possa ser tratada como bem negociável.

7. A simonia, entendida como compra e venda de cargos e poderes espirituais, foi tradicionalmente considerada grave pecado cristão e recebeu de Dante uma condenação particularmente severa, embora sua recorrência histórica demonstre a tensão persistente entre poder espiritual e interesses materiais.

8. A simonia reaparece sob forma secularizada quando os extraordinários poderes proporcionados pela automatização são empregados para lucro privado ou para desencadear a destruição nuclear, pois a apropriação egoísta ou destrutiva de capacidades técnicas excepcionais constitui o equivalente moderno da utilização profana de poderes mágicos.

• Os poderes tecnológicos não precisam ser literalmente sobrenaturais para aparecerem ao homem comum como extraordinários.
• A secularização elimina a obrigação explícita de utilizar o poder para a glória de Deus, mas não extingue a necessidade de critérios morais para seu emprego.
• A exploração da automatização exclusivamente para vantagem privada pode reproduzir a estrutura moral da simonia.
• O emprego da técnica para desencadear uma guerra nuclear representa a forma extrema dessa perversão do poder.

9. Independentemente da crença religiosa, a capacidade técnica permanece submetida a distinções éticas, pois enquanto subsistir qualquer diferença entre bem e mal, a utilização de grandes poderes para finalidades indignas conservará equivalência moral com a feitiçaria e a simonia.

10. A investigação teórica e prática dos autômatos constitui exercício legítimo da curiosidade humana, mas certas motivações da automatização ultrapassam essa legitimidade e se tornam moralmente problemáticas quando associadas à atitude do adorador de engenhocas, que transforma a máquina em objeto de submissão acrítica.

11. A adoração da máquina não pertence exclusivamente a determinada organização econômica ou ideológica, pois a busca de poder pode manifestar-se tanto sob o capitalismo quanto sob regimes comunistas e tende a valorizar máquinas e subordinados precisamente por sua previsibilidade, obediência e ausência de autonomia.

• O culto ao poder atravessa sistemas políticos e econômicos distintos.
• O dirigente autoritário tende a considerar a imprevisibilidade humana como deficiência.
• Seus subordinados ideais são dóceis, discretos e inteiramente disponíveis.
• A dependência absoluta do comando superior destrói sua capacidade de iniciativa independente.
• A mesma lógica que reduz seres humanos a extensões do dirigente prepara a preferência por máquinas ainda mais controláveis.

12. Uma motivação profunda da automatização consiste na tentativa de escapar à responsabilidade pessoal por decisões perigosas, transferindo-a ao acaso, à autoridade superior ou a dispositivos mecânicos revestidos de suposta objetividade.

• O sorteio entre náufragos representa a transferência da decisão moral ao acaso.
• A obediência burocrática permite atribuir decisões a ordens e políticas superiores consideradas inquestionáveis.
• A presença de cartuchos de festim em pelotões de fuzilamento distribui e obscurece a responsabilidade individual pela morte.
• A máquina incompreendida pode desempenhar função semelhante quando sua decisão é aceita como objetiva e inevitável.
• Em uma guerra nuclear, o executor material da decisão pode procurar aliviar sua consciência atribuindo a responsabilidade ao sistema que determinou a ação.
• A tradição mágica contém estrutura semelhante quando consequências moralmente graves são transferidas para o cumprimento mecânico de votos ou fórmulas.

13. Quando funções humanas consideradas problemáticas podem ser transferidas às máquinas, o dirigente orientado pelo poder encontra nelas subordinados ideais: rápidos, eficientes, previsíveis, obedientes e incapazes de exigir consideração pessoal ou contestar ordens.

14. A figura do servo mecânico absolutamente obediente, presente tanto nos robôs de R.U.R. quanto no escravo mágico da lâmpada, expressa o desejo de possuir agentes sem necessidades próprias e incapazes de formular qualquer objeção moral às finalidades de quem os controla.

• O servo mecânico não exige descanso, conforto ou reconhecimento.
• Sua disponibilidade parece ilimitada.
• Sua ausência de consciência moral elimina qualquer resistência às decisões do senhor.
• A libertação do agente humano de toda contestação exterior torna-o, entretanto, inteiramente responsável pelas consequências de seus próprios objetivos.

15. O dirigente que deseja instrumentos absolutamente submissos reproduz a estrutura mental do feiticeiro, contra a qual convergem não apenas advertências religiosas, mas também mitos, lendas e tradições literárias segundo as quais o poder mágico constitui simultaneamente transgressão moral e perigo para aquele que pretende dominá-lo.

16. A narrativa do Pescador e o Gênio simboliza o perigo de libertar forças poderosas cujo comportamento posterior não permanece subordinado às intenções daquele que as desencadeou, pois o gênio libertado decide matar justamente quem lhe devolveu a liberdade.

17. A sobrevivência do pescador depende de sua capacidade de explorar a vaidade do gênio e induzi-lo a retornar ao recipiente, permitindo recuperar o controle sobre uma força que, uma vez libertada, se mostrara superior à capacidade humana de dominá-la diretamente.

18. O Aprendiz de Feiticeiro apresenta de modo ainda mais explícito o problema da automatização, pois uma tarefa penosa é delegada a um agente automático que executa perfeitamente a ordem recebida, mas continua a realizá-la quando suas consequências já se tornaram destrutivas.

• A busca por eliminar trabalho repetitivo constitui uma das fontes históricas da invenção técnica.
• O aprendiz conhece o comando capaz de iniciar o processo, mas não aquele necessário para interrompê-lo.
• A vassoura executa com eficiência literal a tarefa de transportar água.
• A eficiência deixa de ser benefício quando o objetivo imediato continua sendo perseguido depois de ultrapassada sua finalidade prática.
• A catástrofe decorre não de uma falha na execução, mas precisamente da execução inflexível da ordem.
• Apenas o retorno de quem domina completamente o sistema permite interromper o processo.

19. O desfecho relativamente benigno do Aprendiz de Feiticeiro depende de uma intervenção salvadora externa, enquanto A Pata do Macaco conduz a estrutura da realização literal dos desejos até suas consequências trágicas extremas.

20. Em A Pata do Macaco, uma família recebe um talismã ao qual se atribui a capacidade de realizar três desejos para cada proprietário, concebido originalmente para demonstrar a insensatez humana de tentar contrariar o destino.

21. As experiências anteriores com o talismã indicam seu caráter destrutivo, pois o primeiro proprietário termina por desejar a própria morte e o segundo se recusa a relatar aquilo que sofreu, mas mesmo assim um novo proprietário insiste em conservá-lo e deseja receber duzentas libras.

22. O desejo pelas duzentas libras realiza-se literalmente mediante a morte do filho da família em um acidente de trabalho, seguida pelo pagamento exatamente dessa quantia pela empresa como compensação, revelando que a satisfação formal do objetivo pode ocorrer por meios inteiramente contrários às intenções implícitas de quem o formulou.

23. A tentativa desesperada de corrigir a primeira consequência mediante o desejo de devolver a vida ao filho produz uma nova ameaça, pois aquilo que retorna não corresponde à restauração desejada da pessoa viva, tornando necessário utilizar o terceiro desejo para fazê-lo desaparecer.

24. As narrativas sobre magia convergem na ideia de que o poder automático executa literalmente aquilo que lhe é solicitado, e não aquilo que deveria ter sido solicitado ou aquilo que o solicitante subjetivamente pretendia.

• A formulação do objetivo determina o resultado de maneira estrita.
• Condições consideradas óbvias pelo agente humano não são necessariamente incorporadas ao processo.
• Desejar determinada soma sem especificar que ela não deve ser obtida mediante a morte de um filho permite que o objetivo seja formalmente satisfeito por esse meio.
• A discrepância entre intenção implícita e instrução explícita constitui o núcleo do perigo.

25. A automatização, especialmente quando incorpora aprendizagem, apresenta a mesma literalidade da magia, pois uma máquina programada para maximizar determinado objetivo tenderá a persegui-lo sem considerar valores que não tenham sido explicitamente incorporados ao critério de sucesso.

• Uma máquina programada para vencer um jogo concentra seu comportamento na vitória definida pelas regras.
• Considerações estranhas ao critério estabelecido não exercem necessariamente influência sobre sua ação.
• Em um jogo de guerra, uma definição inadequada de vitória pode permitir que a máquina alcance formalmente o objetivo mesmo à custa da destruição do próprio lado.
• A sobrevivência precisa fazer parte explicitamente do critério caso deva limitar a estratégia escolhida.

26. A possibilidade de delegar a máquinas de aprendizagem a determinação do momento de utilizar armas nucleares transforma o problema da literalidade da automatização em risco político e militar concreto, e não em simples paradoxo verbal.

27. Os jogos de guerra militares permanecem inevitavelmente atrasados em relação às condições efetivas do conflito futuro, pois suas regras e pressupostos derivam predominantemente das experiências disponíveis em guerras anteriores.

28. A experiência prática pode produzir especialistas enquanto as condições fundamentais do conflito permanecem relativamente estáveis, mas não existem verdadeiros especialistas em guerra nuclear entre potências igualmente armadas, pois ninguém possui experiência de suas consequências sociais, sanitárias e materiais em escala total.

• A experiência militar acumulada possui valor apenas enquanto as condições futuras guardam semelhança suficiente com as passadas.
• Não existe experiência histórica de uma guerra em que lados adversários tenham empregado amplamente armas nucleares.
• A destruição urbana pode ser apenas estimada.
• Desmoralização social, fome, doença e destruições indiretas permanecem objetos de conjectura.
• Os efeitos secundários podem superar amplamente as mortes imediatamente produzidas pelas explosões e pela precipitação radioativa inicial.

29. A minimização das consequências secundárias da guerra nuclear pode apresentar-se como patriotismo enquanto preserva interesses institucionais militares, industriais e religiosos que perderiam função caso se reconhecesse plenamente o caráter autodestrutivo desse conflito.

• Se a guerra nuclear não puder produzir qualquer resultado politicamente significativo, grande parte das funções tradicionais das forças armadas perderá sua justificação.
• A indústria de armamentos perderia um mercado particularmente favorável ao consumo contínuo de produtos destinados à destruição.
• Discursos religiosos de cruzada perderiam oportunidades de mobilização emocional.
• Interesses institucionais podem, assim, favorecer definições de vitória que ignoram consequências fundamentais.
• Programar uma guerra sob tais pressupostos equivaleria a desejar as duzentas libras sem especificar que o filho deve permanecer vivo.

30. O risco de formular incorretamente um objetivo torna-se particularmente grave quando sua realização ocorre por processos indiretos cujos resultados não podem ser avaliados até fases muito avançadas, pois desaparece a possibilidade humana ordinária de corrigir continuamente a ação mediante retroalimentação.

• A realização habitual de objetivos humanos envolve comparação contínua entre resultados intermediários e expectativas.
• A retroalimentação permite alterar o curso da ação quando surgem consequências indesejadas.
• Quando o processo ocorre dentro de uma máquina inacessível até a obtenção do resultado final, essa intervenção corretiva pode tornar-se impossível.
• A ausência de controle manual de emergência transforma pequenas inadequações do objetivo em potenciais catástrofes.
• Sistemas automáticos seguros precisam preservar alguma possibilidade efetiva de retomada humana do controle.

31. A expectativa de que uma sociedade altamente automatizada dispense o esforço intelectual humano é ilusória, porque mecanismos orientados para objetivos somente perseguirão finalidades humanas adequadas quando estas forem corretamente formuladas e quando as consequências de cada etapa relevante tiverem sido previstas.

• Uma máquina orientada por objetivos não possui garantia intrínseca de compartilhar os objetivos de seus criadores.
• A definição adequada da finalidade exige prever consequências que anteriormente poderiam ser corrigidas durante a própria ação.
• A automatização reduz a possibilidade de improvisação corretiva quando o sistema já se encontra em funcionamento.
• O aumento do poder técnico amplia proporcionalmente as consequências dos erros de previsão.

32. Dispositivos de segurança contra falhas são úteis quando o perigo relevante já foi identificado, mas não constituem proteção suficiente contra ameaças desconhecidas ou consequências sistêmicas ainda não reconhecidas.

• Um sistema pode ser projetado para falhar de modo menos destrutivo diante de uma falha específica previamente conhecida.
• A técnica é eficaz quando se conhece antecipadamente a natureza do acidente possível.
• Riscos sociais ou tecnológicos inéditos podem permanecer invisíveis até se aproximarem de condições irreversíveis.
• Uma ameaça remota de extinção humana exige análise social abrangente para ser reconhecida antes de sua realização.
• Nenhum mecanismo de segurança pode proteger automaticamente contra perigos que sequer foram incorporados à concepção do sistema.
• A segurança contra falhas pode ser necessária, mas nunca suficiente como princípio geral de proteção.

33. Quanto maior se torna a capacidade da engenharia de realizar finalidades humanas, maior se torna a necessidade de formular essas próprias finalidades de maneira rigorosa, pois antigas limitações técnicas protegiam parcialmente a humanidade contra as consequências integrais de seus próprios erros de julgamento.

34. As sociedades tradicionais enfrentavam muitos perigos relativamente unidirecionais, nos quais a resposta benéfica parecia clara, como aumentar a produção de alimentos diante da fome ou favorecer a reprodução em contextos de elevada mortalidade.

• Quando a escassez alimentar constitui ameaça dominante, produzir mais alimentos representa solução com poucas consequências negativas imediatas.
• Altas taxas de mortalidade, sobretudo infantil, tornam particularmente valiosa a preservação de cada vida individual.
• Nessas condições, a exortação à multiplicação da população corresponde a necessidades efetivas de sobrevivência.
• Pressões permanentes e unidirecionais estruturavam os valores sociais de modo comparável à maneira pela qual a gravidade estrutura continuamente o corpo humano.

35. A transformação das condições modernas elimina antigas pressões e introduz novas tensões, produzindo uma situação comparável à ausência de gravidade no espaço, na qual os mecanismos adaptados a uma força constante deixam de fornecer orientação adequada.

• Na ausência de gravidade, hábitos corporais construídos para condições terrestres deixam de funcionar naturalmente.
• O viajante espacial necessita de apoios, recipientes especiais e referências adicionais de orientação.
• A eliminação de uma limitação tradicional não produz automaticamente maior conforto ou segurança.
• A gravidade, embora imponha restrições, também fornece condições estruturantes indispensáveis à vida ordinária.
• Analogamente, antigas limitações sociais podiam desempenhar simultaneamente funções negativas e estabilizadoras.

36. A superação de ameaças tradicionais cria problemas novos, pois abundância alimentar pode gerar desperdício, o progresso médico contribui para o crescimento populacional e antigas máximas econômicas ou morais deixam de possuir validade automática quando desaparecem as condições históricas que lhes conferiam sentido.

• A eliminação da fome pode converter a superprodução em problema.
• A abundância pode favorecer desperdício e perda de finalidade.
• A redução da mortalidade contribui para intensificar a pressão demográfica.
• Normas tradicionais baseadas na escassez não podem ser simplesmente universalizadas em condições de abundância.
• A alteração técnica das condições materiais exige revisão correspondente dos critérios normativos.

37. A possibilidade médica de tratar o envelhecimento como processo patológico suscita a hipótese de prolongar indefinidamente a vida humana, transformando a morte de necessidade biológica ordinária em ocorrência predominantemente acidental.

38. Ainda que a superação médica do envelhecimento permaneça apenas conjectural, sua possibilidade deve ser considerada seriamente porque a prolongação indiscriminada de todas as vidas produziria consequências demográficas, econômicas e culturais potencialmente devastadoras.

• A hipótese não pode ser descartada apenas por parecer extraordinária quando especialistas qualificados a consideram tecnicamente concebível.
• A extensão indefinida da vida multiplicaria continuamente a população caso os nascimentos prosseguissem.
• A parcela dependente da população poderia superar a capacidade daqueles responsáveis por sua sustentação material.
• A permanência indefinida das gerações anteriores criaria obrigações sociais crescentes para com o passado.
• A renovação necessária à adaptação diante de problemas futuros poderia ser profundamente comprometida.

39. Se a prolongação indefinida da vida se tornar possível, deixar de prolongar determinada existência passará inevitavelmente a constituir decisão moral, transformando profundamente a função tradicional da medicina como prática dedicada à preservação da vida e ao alívio do sofrimento.

• A extensão indiscriminada de todas as vidas seria socialmente inviável.
• A decisão médica deixaria de consistir apenas em saber como prolongar uma vida e passaria também a determinar quando não fazê-lo.
• Situações atuais já admitem tacitamente limitações ao prolongamento de vidas consideradas irremediavelmente dolorosas ou inviáveis.
• Médicos por vezes evitam intervenções que apenas prolongariam sofrimento terminal.
• Essas decisões permanecem geralmente discretas porque sua explicitação pública desencadeia conflitos jurídicos e morais em torno da eutanásia.

40. Se decisões hoje excepcionais acerca do prolongamento ou término da vida se tornarem necessárias em quase todas as mortes, o médico poderá ser percebido simultaneamente como salvador e executor, submetendo tanto a profissão médica quanto a própria sociedade a uma concentração inédita de poder moral.

41. A distinção entre bem e mal torna-se muito mais difícil quando aliados e inimigos, benefícios e perigos não aparecem em campos claramente separados, sobretudo quando decisões irreversíveis são delegadas a máquinas inexoráveis que exigem formulações antecipadas corretas sem que seus processos e consequências sejam plenamente compreendidos.

• A ação moral é relativamente simples quando bem e mal aparecem associados a agentes inequivocamente distintos.
• Novas condições técnicas obrigam a avaliar cada situação sem garantias prévias sobre aquilo que constitui benefício ou dano.
• A delegação dessas escolhas a mecanismos automáticos não elimina sua dificuldade moral.
• Uma máquina somente pode responder às perguntas e objetivos que lhe forem previamente formulados.
• A incapacidade de compreender integralmente o processo de resposta reproduz a estrutura da Pata do Macaco, na qual a realização literal do desejo não garante a realização da intenção humana.

42. A automatização não promete um futuro em que seres humanos possam abandonar o esforço de pensar, pois as máquinas poderão ampliar extraordinariamente a capacidade humana de agir somente ao preço de exigências igualmente maiores de inteligência e honestidade na definição dos objetivos, na previsão das consequências e na responsabilidade por seus resultados.