00:00...
...

[1] 00:12I write fiction sci-fi thrillers,
Escrevo livros de suspense e ficção científica,

[2] 00:15so if I say "killer robots,"
portanto, se eu disser "robôs assassinos",

[3] 00:18you'd probably think something like this.
você provavelmente pensa em algo assim.

[4] 00:20But I'm actually not here to talk about fiction.
Mas, na verdade, não estou aqui para falar de ficção.

[5] 00:22I'm here to talk about very real killer robots,
Estou aqui para falar sobre robôs assassinos muito reais,

[6] 00:25autonomous combat drones.
drones de combate autônomos.

[7] 00:29Now, I'm not referring to Predator and Reaper drones,
Não me refiro aos drones Predator e Reaper,

[8] 00:32which have a human making targeting decisions.
que têm um humano tomando decisões sobre o alvo.

[9] 00:35I'm talking about fully autonomous robotic weapons
Estou falando de armas robóticas completamente autônomas

[10] 00:39that make lethal decisions about human beings
que tomam decisões letais sobre seres humanos

[11] 00:41all on their own.
por si mesmas.

[12] 00:44There's actually a technical term for this: lethal autonomy.
Há na verdade um termo técnico para isso: autonomia letal.

[13] 00:48Now, lethally autonomous killer robots
Bem, robôs assassinos com autonomia letal

[14] 00:50would take many forms -- flying, driving,
tomariam muitas formas -- voar, dirigir

[15] 00:54or just lying in wait.
ou apenas ficar à espreita.

[16] 00:56And actually, they're very quickly becoming a reality.
E, na verdade, eles estão se tornando realidade muito rapidamente.

[17] 00:59These are two automatic sniper stations
Estas são duas estações automáticas de tiro

[18] 01:02currently deployed in the DMZ between North and South Korea.
atualmente implantadas na zona desmilitarizada entre a Coreia do Norte e a do Sul.

[19] 01:06Both of these machines are capable of automatically
Essas duas máquinas são capazes de automaticamente

[20] 01:08identifying a human target and firing on it,
identificar um alvo humano e atirar nele,

[21] 01:12the one on the left at a distance of over a kilometer.
aquela, à esquerda, a uma distância de mais de um quilômetro.

[22] 01:16Now, in both cases, there's still a human in the loop
Agora, em ambos os casos, ainda há um humano no circuito

[23] 01:20to make that lethal firing decision,
para tomar a decisão letal de atirar,

[24] 01:22but it's not a technological requirement. It's a choice.
mas isso não é um requisito tecnológico. É uma escolha.

[25] 01:27And it's that choice that I want to focus on,
E é nessa escolha em que quero focar,

[26] 01:31because as we migrate lethal decision-making
porque, à medida que transferimos a decisão letal

[27] 01:33from humans to software,
dos humanos para um programa de computador,

[28] 01:36we risk not only taking the humanity out of war,
colocamos em risco não só tirar a humanidade da guerra,

[29] 01:40but also changing our social landscape entirely,
mas também alterar nossa paisagem social inteiramente,

[30] 01:43far from the battlefield.
longe do campo de batalha.

[31] 01:45That's because the way humans resolve conflict
Isso ocorre porque a maneira como os humanos resolvem conflitos

[32] 01:50shapes our social landscape.
dá forma à nossa paisagem social.

[33] 01:52And this has always been the case, throughout history.
E o caso foi sempre esse, através da história.

[34] 01:54For example, these were state-of-the-art weapons systems
Por exemplo, estes eram sistemas de armamento de primeira linha

[35] 01:57in 1400 A.D.
em 1400 d.C.

[36] 01:59Now they were both very expensive to build and maintain,
Agora, eles eram muito caros para construir e manter,

[37] 02:02but with these you could dominate the populace,
mas com eles você poderia dominar a população,

[38] 02:05and the distribution of political power in feudal society reflected that.
e a distribuição do poder político na sociedade feudal refletiu isso.

[39] 02:09Power was focused at the very top.
O poder estava focado bem no topo.

[40] 02:12And what changed? Technological innovation.
E o que mudou? Inovação tecnológica.

[41] 02:16Gunpowder, cannon.
Pólvora, canhões.

[42] 02:17And pretty soon, armor and castles were obsolete,
Logo armaduras e castelos estavam obsoletos,

[43] 02:21and it mattered less who you brought to the battlefield
e importava menos quem você trazia para o campo de batalha

[44] 02:24versus how many people you brought to the battlefield.
do que quantas pessoas você trazia para o campo de batalha.

[45] 02:28And as armies grew in size, the nation-state arose
E, à medida que exércitos cresceram em tamanho, surgiu a nação-estado

[46] 02:31as a political and logistical requirement of defense.
como um requisito político e logístico de defesa .

[47] 02:35And as leaders had to rely on more of their populace,
E, à medida que os líderes tiveram que confiar em uma parcela maior da população,

[48] 02:37they began to share power.
eles começaram a compartilhar o poder.

[49] 02:39Representative government began to form.
O governo representativo começou a se formar.

[50] 02:42So again, the tools we use to resolve conflict
Outra vez, as ferramentas que usamos para resolver conflitos

[51] 02:45shape our social landscape.
dão forma à nossa paisagem social.

[52] 02:48Autonomous robotic weapons are such a tool,
Armas robóticas autônomas são ferramentas,

[53] 02:52except that, by requiring very few people to go to war,
apesar de que, ao exigirem poucas pessoas numa guerra,

[54] 02:58they risk re-centralizing power into very few hands,
colocam em risco 'recentralizar' o poder em muito poucas mãos,

[55] 03:02possibly reversing a five-century trend toward democracy.
possivelmente revertendo uma tendência de cinco séculos em direção à democracia.

[56] 03:09Now, I think, knowing this,
Agora, penso que, conhecendo isto,

[57] 03:11we can take decisive steps to preserve our democratic institutions,
podemos dar passos decisivos para preservar nossas instituições democráticas,

[58] 03:15to do what humans do best, which is adapt.
fazendo o que os humanos fazem melhor, que é adaptar-se.

[59] 03:19But time is a factor.
Mas o tempo é um fator.

[60] 03:21Seventy nations are developing remotely-piloted
Setenta nações estão desenvolvendo, por conta própria,

[61] 03:24combat drones of their own,
drones de combate pilotados remotamente,

[62] 03:26and as you'll see, remotely-piloted combat drones
e, como vocês verão, drones de combate pilotados remotamente

[63] 03:29are the precursors to autonomous robotic weapons.
são os precursores das armas robóticas autônomas.

[64] 03:33That's because once you've deployed remotely-piloted drones,
Isso acontece porque, uma vez que você tenha instalado drones pilotados remotamente,

[65] 03:36there are three powerful factors pushing decision-making
há três fatores poderosos agindo no sentido de que a tomada de decisão

[66] 03:39away from humans and on to the weapon platform itself.
passe dos humanos para a própria plataforma de armas.

[67] 03:44The first of these is the deluge of video that drones produce.
O primeiro deles é a inundação de vídeos que os drones produzem.

[68] 03:49For example, in 2004, the U.S. drone fleet produced
Por exemplo, em 2004, a frota de drones dos E.U.A. produziu

[69] 03:53a grand total of 71 hours of video surveillance for analysis.
um total de 71 horas de vídeos de vigilância para análise.

[70] 03:58By 2011, this had gone up to 300,000 hours,
Em 2011, isso tinha aumentado para 300.000 horas,

[71] 04:03outstripping human ability to review it all,
superando a capacidade humana de revisá-los todos,

[72] 04:06but even that number is about to go up drastically.
mas mesmo esse número deve aumentar drasticamente.

[73] 04:10The Pentagon's Gorgon Stare and Argus programs
Os programas Gorgon Stare e Argus do Pentagono,

[74] 04:12will put up to 65 independently operated camera eyes
colocarão 65 câmeras operadas independentemente

[75] 04:15on each drone platform,
em cada plataforma de drones,

[76] 04:17and this would vastly outstrip human ability to review it.
e isto superará e muito a capacidade humana de revisá-las.

[77] 04:21And that means visual intelligence software will need
Isso significa que software visual inteligente precisará

[78] 04:23to scan it for items of interest.
verificá-las para itens de interesse.

[79] 04:27And that means very soon
Isso significa que muito em breve

[80] 04:28drones will tell humans what to look at,
os drones dirão aos humanos o que olhar,

[81] 04:31not the other way around.
não o contrário.

[82] 04:33But there's a second powerful incentive pushing
Mas há um segundo incentivo poderoso agindo para que

[83] 04:36decision-making away from humans and onto machines,
a tomada de decisão passe dos humanos para as máquinas,

[84] 04:39and that's electromagnetic jamming,
que é o congestionamento eletromagnético

[85] 04:42severing the connection between the drone
interrompendo a conexão entre o drone

[86] 04:44and its operator.
e seu operador.

[87] 04:47Now we saw an example of this in 2011
Vimos um exemplo disso, em 2011,

[88] 04:50when an American RQ-170 Sentinel drone
quando o drone Sentinel RQ-170

[89] 04:53got a bit confused over Iran due to a GPS spoofing attack,
ficou ligeiramente confuso no Irã, devido a um ataque de 'spoofing' ao GPS,

[90] 04:57but any remotely-piloted drone is susceptible to this type of attack,
mas qualquer drone pilotado remotamente é suscetível a esse tipo de ataque,

[91] 05:02and that means drones
e isso significa que os drones

[92] 05:04will have to shoulder more decision-making.
terão que ter maior poder de decisão.

[93] 05:08They'll know their mission objective,
Eles conhecerão o objetivo da missão,

[94] 05:11and they'll react to new circumstances without human guidance.
e reagirão a novas circunstâncias sem a supervisão humana.

[95] 05:16They'll ignore external radio signals
Eles ignorarão sinais externos de rádio

[96] 05:18and send very few of their own.
e enviarão muito poucos deles.

[97] 05:21Which brings us to, really, the third
O que nos traz, de fato, ao terceiro

[98] 05:23and most powerful incentive pushing decision-making
e mais poderoso incentivo para transferir a tomada de decisão

[99] 05:27away from humans and onto weapons:
dos humanos para as máquinas:

[100] 05:30plausible deniability.
negação plausível.

[101] 05:33Now we live in a global economy.
Atualmente vivemos em uma economia global.

[102] 05:36High-tech manufacturing is occurring on most continents.
A manufatura de alta tecnologia está ocorrendo na maioria dos continentes.

[103] 05:40Cyber espionage is spiriting away advanced designs
A espionagem cibernética está espalhando projetos avançados

[104] 05:43to parts unknown,
para partes desconhecidas,

[105] 05:45and in that environment, it is very likely
e, neste ambiente, é muito provável

[106] 05:47that a successful drone design will be knocked off in contract factories,
que um bem sucedido projeto de drone, produzido em fábricas terceirizadas,

[107] 05:52proliferate in the gray market.
prolifere no mercado paralelo.

[108] 05:54And in that situation, sifting through the wreckage
E, nessa situação, vasculhando os escombros

[109] 05:57of a suicide drone attack, it will be very difficult to say
de um ataque sucida de drones, será muito difícil dizer

[110] 06:00who sent that weapon.
quem enviou aquela arma.

[111] 06:04This raises the very real possibility
Isto levanta a possibilidade muito realista

[112] 06:07of anonymous war.
de guerra anônima.

[113] 06:10This could tilt the geopolitical balance on its head,
Isso poderia inclinar o equilíbrio geopolítico no topo,

[114] 06:12make it very difficult for a nation to turn its firepower
tornar muito difícil para uma nação mirar seu poder de fogo

[115] 06:16against an attacker, and that could shift the balance
contra um atacante, e isso poderia alterar o equilíbrio,

[116] 06:19in the 21st century away from defense and toward offense.
no século XXI, da defesa para a ofensa.

[117] 06:22It could make military action a viable option
Poderia tornar a ação militar uma opção viável

[118] 06:26not just for small nations,
não apenas para nações pequenas,

[119] 06:28but criminal organizations, private enterprise,
mas também para organizações criminosas, empresas privadas,

[120] 06:30even powerful individuals.
até mesmo para indivíduos poderosos.

[121] 06:33It could create a landscape of rival warlords
Poderia criar uma paisagem de senhores da guerra rivais

[122] 06:36undermining rule of law and civil society.
enfraquecendo a prevalência da lei e a sociedade civil.

[123] 06:40Now if responsibility and transparency
Agora, se responsabilidade e transparência

[124] 06:43are two of the cornerstones of representative government,
são as duas pedras fundamentais do governo representativo,

[125] 06:46autonomous robotic weapons could undermine both.
armas robóticas autônomas poderiam enfraquecer ambas.

[126] 06:50Now you might be thinking that
Bem, vocês podem estar pensando que

[127] 06:52citizens of high-tech nations
cidadãos de nações com alta tecnologia

[128] 06:54would have the advantage in any robotic war,
teriam uma vantagem em qualquer guerra robótica,

[129] 06:57that citizens of those nations would be less vulnerable,
que cidadãos dessas nações seriam menos vulneráveis,

[130] 07:00particularly against developing nations.
particularmente em relação a nações em desenvolvimento.

[131] 07:05But I think the truth is the exact opposite.
Mas, penso que a verdade é exatamente o oposto.

[132] 07:08I think citizens of high-tech societies
Penso que cidadãos de sociedades de alta tecnologia

[133] 07:10are more vulnerable to robotic weapons,
são mais vulneráveis a armas robóticas,

[134] 07:14and the reason can be summed up in one word: data.
e a razão pode ser resumida em uma palavra: informação.

[135] 07:19Data powers high-tech societies.
A informação dá poder a sociedades de alta tecnologia.

[136] 07:22Cell phone geolocation, telecom metadata,
Geolocalização por celular, metadados de telecomunicação,

[137] 07:25social media, email, text, financial transaction data,
mídia social, email, mensagem de texto, dados de transações financeiras,

[138] 07:29transportation data, it's a wealth of real-time data
dados de transportes, é uma riqueza de dados em tempo real

[139] 07:32on the movements and social interactions of people.
dos movimentos e interações sociais das pessoas.

[140] 07:36In short, we are more visible to machines
Em resumo, somos mais visíveis para as máquinas

[141] 07:39than any people in history,
que qualquer outro povo na história,

[142] 07:42and this perfectly suits the targeting needs of autonomous weapons.
e isso se encaixa perfeitamente nas necessidades-alvo de armas autônomas.

[143] 07:47What you're looking at here
O que estão vendo aqui

[144] 07:49is a link analysis map of a social group.
é um mapa com a análise das ligações de um grupo social.

[145] 07:52Lines indicate social connectedness between individuals.
As linhas indicam a conectividade social entre indivíduos.

[146] 07:56And these types of maps can be automatically generated
E esses tipos de mapas podem ser gerados automaticamente

[147] 07:59based on the data trail modern people leave behind.
baseados no rastro de dados que as pessoas modernas deixam para trás.

[148] 08:03Now it's typically used to market goods and services
Agora, isso é tipicamente usado para propaganda de bens e serviços

[149] 08:06to targeted demographics, but it's a dual-use technology,
para populações alvo, mas é uma tecnologia de uso duplo

[150] 08:10because targeting is used in another context.
porque o alvo é usado em outro contexto.

[151] 08:14Notice that certain individuals are highlighted.
Observe que certos indivíduos estão destacados.

[152] 08:16These are the hubs of social networks.
Estes são os centros de redes sociais.

[153] 08:20These are organizers, opinion-makers, leaders,
Eles são organizadores, formadores de opinião, líderes,

[154] 08:23and these people also can be automatically identified
e essas pessoas também podem ser automaticamente identificadas

[155] 08:26from their communication patterns.
pelos seus padrões de comunicação.

[156] 08:28Now, if you're a marketer, you might then target them
Agora, se você é um marqueteiro, você pode atingi-las

[157] 08:30with product samples, try to spread your brand
com amostras de produtos, tentar espalhar sua marca

[158] 08:33through their social group.
através do grupo social deles.

[159] 08:36But if you're a repressive government
Mas, se você é um governo repressor

[160] 08:38searching for political enemies, you might instead remove them,
procurando inimigos políticos, você pode ao invés removê-los,

[161] 08:42eliminate them, disrupt their social group,
eliminá-los, destruir o grupo social deles,

[162] 08:45and those who remain behind lose social cohesion
e aqueles que restarem perdem a coesão social

[163] 08:48and organization.
e a organização.

[164] 08:51Now in a world of cheap, proliferating robotic weapons,
Agora, em um mundo onde proliferam armas robóticas baratas,

[165] 08:54borders would offer very little protection
as fronteiras ofereceriam muito pouca proteção

[166] 08:57to critics of distant governments
para críticos de governos distantes

[167] 08:59or trans-national criminal organizations.
ou organizações criminosas transnacionais.

[168] 09:03Popular movements agitating for change
Movimentos populares se agitando por mudança

[169] 09:06could be detected early and their leaders eliminated
poderiam ser detectados logo, e seus líderes eliminados

[170] 09:10before their ideas achieve critical mass.
antes que suas ideias atinjam massa crítica.

[171] 09:13And ideas achieving critical mass
E ideias atingindo massa crítica

[172] 09:15is what political activism in popular government is all about.
tem tudo a ver com ativismo político em governos populares.

[173] 09:19Anonymous lethal weapons could make lethal action
Armas letais anônimas poderiam tornar a ação letal

[174] 09:23an easy choice for all sorts of competing interests.
uma escolha fácil para todos os tipos de interesses concorrentes.

[175] 09:27And this would put a chill on free speech
E isso congelaria o discurso livre

[176] 09:31and popular political action, the very heart of democracy.
e a ação política popular, o próprio coração da democracia.

[177] 09:36And this is why we need an international treaty
E é por isto que precisamos de um tratado internacional

[178] 09:39on robotic weapons, and in particular a global ban
sobre armas robóticas, e, em particular, o banimento global

[179] 09:42on the development and deployment of killer robots.
do desenvolvimento e implantação de robôs assassinos.

[180] 09:46Now we already have international treaties
Agora, nós já temos tratados internacionais

[181] 09:50on nuclear and biological weapons, and, while imperfect,
sobre armas nucleares e biológicas, e, ainda que imperfeitos,

[182] 09:53these have largely worked.
eles têm funcionado amplamente.

[183] 09:55But robotic weapons might be every bit as dangerous,
Mas as armas robóticas podem ser um pouco mais perigosas,

[184] 09:59because they will almost certainly be used,
porque elas serão usadas quase que com certeza,

[185] 10:02and they would also be corrosive to our democratic institutions.
e elas também seriam corrosivas para nossas instituições democráticas.

[186] 10:07Now in November 2012 the U.S. Department of Defense
Agora, em novembro de 2012, o Departamento de Defesa dos EUA

[187] 10:11issued a directive requiring
emitiu uma diretriz exigindo

[188] 10:13a human being be present in all lethal decisions.
que um ser humano esteja presente em todas as decisões letais.

[189] 10:18This temporarily effectively banned autonomous weapons in the U.S. military,
Temporariamente, isto de fato baniu armas autônomas nas forças militares dos EUA,

[190] 10:23but that directive needs to be made permanent.
mas essa diretriz precisa tornar-se permanente.

[191] 10:26And it could set the stage for global action.
E ela poderia preparar o palco para a ação global.

[192] 10:31Because we need an international legal framework
Porque precisamos de uma estrutura legal internacional

[193] 10:34for robotic weapons.
para armas robóticas.

[194] 10:37And we need it now, before there's a devastating attack
E precisamos disto agora, antes que haja um ataque devastador

[195] 10:40or a terrorist incident that causes nations of the world
ou um incidente terrorista que provoque uma corrida

[196] 10:43to rush to adopt these weapons
entre as nações do mundo para adotar essas armas,

[197] 10:45before thinking through the consequences.
antes de pensar nas consequências.

[198] 10:48Autonomous robotic weapons concentrate too much power
Armas robóticas autônomas concentram poder demais

[199] 10:51in too few hands, and they would imperil democracy itself.
em poucas mãos, e poderiam pôr em risco a própria democracia.

[200] 10:58Now, don't get me wrong, I think there are tons
Agora, não me entendam mal, penso que há toneladas

[201] 11:00of great uses for unarmed civilian drones:
de ótimos usos para drones civis desarmados:

[202] 11:03environmental monitoring, search and rescue, logistics.
monitoramento ambiental, busca e resgate, logística.

[203] 11:07If we have an international treaty on robotic weapons,
Se tivermos um tratado internacional sobre armas robóticas,

[204] 11:10how do we gain the benefits of autonomous drones
como obtemos os benefícios de drones e veículos autônomos

[205] 11:13and vehicles while still protecting ourselves
e ainda nos protegemos

[206] 11:16against illegal robotic weapons?
contra armas robóticas ilegais?

[207] 11:20I think the secret will be transparency.
Penso que o segredo será a transparência.

[208] 11:25No robot should have an expectation of privacy
Nenhum robô deveria ter expectativa de privacidade

[209] 11:28in a public place.
em local público.

[210] 11:31(Applause)
(Aplausos)

[211] 11:36Each robot and drone should have
Cada robô e drone deveriam ter

[212] 11:38a cryptographically signed I.D. burned in at the factory
uma assinatura de identificação criptografada e marcada na fábrica

[213] 11:41that can be used to track its movement through public spaces.
que pudesse ser usada para rastrear seus movimentos em espaços públicos.

[214] 11:44We have license plates on cars, tail numbers on aircraft.
Temos placas em carros, números em aeronaves.

[215] 11:47This is no different.
Isto não é diferente.

[216] 11:49And every citizen should be able to download an app
E cada cidadão deveria ser capaz de baixar um aplicativo

[217] 11:51that shows the population of drones and autonomous vehicles
que mostrasse a população de drones e veículos autônomos

[218] 11:54moving through public spaces around them,
transitando em espaços públicos ao redor delas,

[219] 11:57both right now and historically.
tanto naquele momento quanto o histórico dessa movimentação.

[220] 12:00And civic leaders should deploy sensors and civic drones
E líderes civis deveriam instalar sensores e drones civis

[221] 12:03to detect rogue drones,
para detectar drones intrusos,

[222] 12:05and instead of sending killer drones of their own up to shoot them down,
que, em vez de enviar drones assassinos próprios para abatê-los,

[223] 12:09they should notify humans to their presence.
deveriam notificar os humanos da presença deles.

[224] 12:12And in certain very high-security areas,
E, em certas áreas de segurança máxima,

[225] 12:14perhaps civic drones would snare them
talvez drones civis pudessem emboscá-los

[226] 12:16and drag them off to a bomb disposal facility.
e arrastá-los para instalações de descarte de bombas.

[227] 12:19But notice, this is more an immune system
Mas vejam, isto é mais um sistema imunológico

[228] 12:22than a weapons system.
que um sistema de armamento.

[229] 12:23It would allow us to avail ourselves of the use
Ele nos permitiria o benefício do uso

[230] 12:26of autonomous vehicles and drones
de veículos autônomos e drones

[231] 12:28while still preserving our open, civil society.
e ainda a preservação de nossa sociedade civil e aberta.

[232] 12:32We must ban the deployment and development
Devemos banir a instalação e o desenvolvimento

[233] 12:35of killer robots.
de robôs assassinos.

[234] 12:37Let's not succumb to the temptation to automate war.
Não vamos sucumbir à tentação de automatizar a guerra.

[235] 12:42Autocratic governments and criminal organizations
Governos autocráticos e organizações criminosas,

[236] 12:45undoubtedly will, but let's not join them.
sem dúvida, vão, mas não vamos nos juntar a eles.

[237] 12:48Autonomous robotic weapons
Armas robóticas autônomas

[238] 12:50would concentrate too much power
concentrariam poder demais

[239] 12:52in too few unseen hands,
em poucas mãos não vistas,

[240] 12:54and that would be corrosive to representative government.
e isso seria corrosivo para o governo representativo.

[241] 12:57Let's make sure, for democracies at least,
Vamos nos certificar, para democracias ao menos,

[242] 13:00killer robots remain fiction.
de que robôs assassinos continuem sendo ficção.

[243] 13:03Thank you.
Obrigado.

[244] 13:04(Applause)
(Aplausos)

[245] 13:09Thank you. (Applause)
Obrigado. (Aplausos)