Centenas de milhões de anos de evolução abençoaram nosso planeta com uma grande variedade de formas de vida, cada uma inteligente à sua maneira. Cada espécie evoluiu para desenvolver habilidades distintas, capacidades de aprendizagem e uma forma física que garante sua sobrevivência em seu ambiente.

Mas, apesar de ser inspirado pela natureza e evolução, o campo da inteligência artificial tem se concentrado em criar os elementos de inteligência separadamente e fundi-los após o desenvolvimento. Embora essa abordagem tenha dado ótimos resultados, também limitou a flexibilidade dos agentes de IA em algumas das habilidades básicas encontradas até mesmo nas formas de vida mais simples.

Em um novo artigo publicado na revista científica Nature, pesquisadores de IA da Universidade de Stanford apresentam uma nova técnica que pode ajudar a tomar medidas para superar alguns desses limites. Intitulada “Deep Evolutionary Reinforcement Learning”, a nova técnica utiliza um ambiente virtual complexo e um aprendizado reforçado para criar agentes virtuais que possam evoluir tanto em sua estrutura física quanto em capacidades de aprendizagem. Os achados podem ter implicações importantes para o futuro da pesquisa de IA e robótica.

Evolução é difícil de simular.

Ben Dickson / TechTalks

Na natureza, corpo e cérebro evoluem juntos. Ao longo de muitas gerações, todas as espécies animais passaram por inúmeros ciclos de mutação para crescer membros, órgãos e um sistema nervoso para apoiar as funções de que precisa em seu ambiente. Mosquitos têm visão térmica para detectar calor corporal. Morcegos têm asas para voar e um aparelho de ecolocalização para navegar em lugares escuros. Tartarugas marinhas têm nadadeiras para nadar e um sistema de detecção de campo magnético para viajar longas distâncias. Os humanos têm uma postura vertical que liberta seus braços e permite que eles vejam o horizonte distante, mãos e dedos ágeis que podem manipular objetos, e um cérebro que os torna as criaturas mais sociais e nos capacita a encontrar soluções para resolver problemas.

Curiosamente, todas essas espécies descendem da primeira forma de vida que apareceu na Terra há vários bilhões de anos. Com base nas pressões de seleção causadas pelo meio ambiente, os descendentes desses primeiros seres vivos evoluíram em muitas direções diferentes.

Estudar a evolução da vida e da inteligência é interessante. Mas replicá-la é extremamente difícil. Um sistema de IA que pretende recriar a vida inteligente da mesma forma que a evolução teria que buscar muita informação, que é extremamente caro computacionalmente. Precisaria de muitos ciclos paralelos e sequenciais de tentativa e erro.

Os pesquisadores de IA usam vários atalhos e recursos pré-assinados para superar alguns desses desafios. Por exemplo, eles fixam a arquitetura ou o design físico de um sistema de IA ou robótico e se concentram em otimizar os parâmetros aprendeu. Outro atalho é o uso da evolução lamarckiana em vez da darwiniana, na qual os agentes de IA transmitem seus parâmetros aprendidos aos seus descendentes. Outra abordagem é treinar diferentes subsistemas de IA separadamente (visão, locomoção, linguagem, etc.) e, em seguida, afixá-los juntos em um sistema final de IA ou robótico. Embora essas abordagens acelerem o processo e reduzam os custos de treinamento e evolução dos agentes de IA, elas também limitam a flexibilidade e a variedade de resultados que podem ser alcançados.

Aprendizado de reforço

Ben Dickson / TechTalks

Em seu novo trabalho, os pesquisadores de Stanford pretendem aproximar a pesquisa de IA do processo evolutivo real, mantendo os custos o mais baixos possível.

“Nosso objetivo é elucidar alguns princípios que regem as relações entre a complexidade ambiental, a morfologia evoluída e a capacidade de aprendizado do controle inteligente”, escrevem em seu artigo.

 

Sua estrutura é chamada de Deep Evolutionary Reinforcement Learning. Na DERL, cada agente usa um aprendizado de reforço profundo para adquirir as habilidades necessárias para maximizar seus objetivos durante sua vida útil. A DERL usa a evolução darwiniana para procurar o espaço morfológico para soluções ideais, o que significa que quando uma nova geração de agentes de IA são gerados, eles só herdam os traços físicos e arquitetônicos de seus pais (juntamente com pequenas mutações). Nenhum dos parâmetros aprendidos são passados através de gerações.

Simulando evolução da Inteligência Artificial

O ambiente DERL só tem uma fração das complexidades do mundo real. “Embora o DERL nos permita dar um passo significativo na escala da complexidade dos ambientes evolutivos, uma importante linha de trabalho futuro envolverá a concepção de ambientes evolutivos mais abertos, fisicamente realistas e multi-agentes”, escrevem os pesquisadores.

No futuro, os pesquisadores expandirão o leque de tarefas de avaliação para avaliar melhor como os agentes podem melhorar sua capacidade de aprender comportamentos relevantes para o homem.

O trabalho pode ter implicações importantes para o futuro da IA e da robótica e pressionar os pesquisadores a usar métodos de exploração muito mais semelhantes à evolução natural.

Este artigo foi originalmente publicado por Ben Dickson no TechTalks, uma publicação que examina tendências em tecnologia, como elas afetam a maneira como vivemos e fazemos negócios, e os problemas que eles resolvem. Mas também discutimos o lado maligno da tecnologia, as implicações mais sombrias da nova tecnologia, e o que precisamos olhar para fora.