Vozes de CH recriadas por Inteligência Artificial

[Estoque Segregado]

Eu gostei bastante da qualidade desses que fiz e postei aqui...

Se você acha que eles estão defasados, confesso que fiquei curioso por ver os seus resultados!

Estarei providenciando nos próximos dias alguns testes que fiz, em diferentes contextos e situações.

Nesse teste, por exemplo, usei a voz (isolada via IA também) do Gustavo Berriel para servir de base para a voz sintetizada do Mário Vilela na animação do Chaves:


Neste outro teste, usei trechos de uma fandub, cedidos pelo @Medeiros CH para servir de base para a voz do Osmiro Campos:

[PhillRMZ]

Eu gostei bastante da qualidade desses que fiz e postei aqui...

Se você acha que eles estão defasados, confesso que fiquei curioso por ver os seus resultados!

Estarei providenciando nos próximos dias alguns testes que fiz, em diferentes contextos e situações.

Nesse teste, por exemplo, usei a voz (isolada via IA também) do Gustavo Berriel para servir de base para a voz sintetizada do Mário Vilela na animação do Chaves:


Neste outro teste, usei trechos de uma fandub, cedidos pelo @Medeiros CH para servir de base para a voz do Osmiro Campos:

Interessantes os resultados que você obteve, mas vale ressaltar que os processos que você e eu utilizamos são bem distintos, embora eu considere que em ambos os casos o resultado pode ser bem satisfatório.

No seu caso, nos dois exemplos que você mostrou, você "substituiu" com uma IA as vozes já gravadas por alguém, dublador ou fandublador, pelas vozes "clonadas" dos dubladores clássicos. Essa é uma forma interessante de se obter por IA uma dublagem com uma voz específica, mas depende de um material já dublado/fandublado com uma boa qualidade e interpretação próxima dos dubladores que se pretende utilizar.

No meu caso, eu usei IAs pra quase tudo! Rsrs... Exceto para a edição que fiz, tanto das falas, quanto de áudio.
Inicialmente utilizei uma IA para traduzir o áudio original em espanhol para português, nessa etapa precisei editar bastante as falas para que ficassem o mais próximo possível da dublagem clássica que conhecemos de Chaves. Aqui destaco que foram necessários vários testes, para que as falas soassem o mais naturais possível e ainda parecessem com a forma de falar dos dubladores. Lembrando que nesse primeiro resultado eu obtive uma "dublagem" com as vozes originais dos atores da série, para então aplicar sobre elas, com uma segunda IA, as vozes brasileiras clássicas que conhecemos.

De qualquer forma, como falei acima, ambas formas são válidas pra se obter um resultado mais fluído que o Falatron, por exemplo, que gera um resultado extremamente truncado e muito "artificial", ou ainda como IAs que apresentam muitos erros como o Elevenlabs, por exemplo... Que também resultam em falas muito artificiais.

Inclusive, fiz também alguns testes em outra cena utilizando essa mesmo método seu, usando uma voz já dublada como base, gostei bastante do resultado, em breve postarei também!

[Estoque Segregado]

De qualquer forma, como falei acima, ambas formas são válidas pra se obter um resultado mais fluído que o Falatron, por exemplo, que gera um resultado extremamente truncado e muito "artificial", ou ainda como IAs que apresentam muitos erros como o Elevenlabs, por exemplo... Que também resultam em falas muito artificiais.

Sim, seus testes não foram ruins, a limitação é principalmente por conta da ferramenta, já que não há como "simular" a interpretação de forma mais aproximada com a realidade com esse tipo de IA que gera do zero (provavelmente via texto). Acredito que o caminho que usei seja o mais assertivo, justamente pela questão da interpretação (ainda que imperfeita em alguns casos) e pela duração do processo até o resultado. Só depende de datasets bem treinados e um bom intérprete. Todo o restante do processo não será nada muito diferente do que já vemos por ai em fandubs.

Alias, sobre os datasets, é importante definir "boas práticas" na hora de definir quais trechos/arquivos serão utilizados para treinar as vozes, não só selecionando obviamente o áudio com a melhor qualidade possível mas também distinguindo as épocas (lotes, no caso da MAGA) e os personagens (assim facilitando o trabalho da IA na hora da conversão).

Inclusive, fiz também alguns testes em outra cena utilizando essa mesmo método seu, usando uma voz já dublada como base, gostei bastante do resultado, em breve postarei também!

Interessante! Ansioso para conferir, e minha sugestão a você é se aprofundar mais nesse método. Se com essas IAs tipo Falatron você já tem obtido bons resultados, com essas IAs tipo ElevenLabs então deve rolar boas surpresas.

[PhillRMZ]

Sim, seus testes não foram ruins, a limitação é principalmente por conta da ferramenta, já que não há como "simular" a interpretação de forma mais aproximada com a realidade com esse tipo de IA que gera do zero (provavelmente via texto). Acredito que o caminho que usei seja o mais assertivo, justamente pela questão da interpretação (ainda que imperfeita em alguns casos) e pela duração do processo até o resultado. Só depende de datasets bem treinados e um bom intérprete. Todo o restante do processo não será nada muito diferente do que já vemos por ai em fandubs.

Na verdade no meu método a interpretação não é gerada totalmente do zero via texto, ela faz um equilíbrio mesclando a interpretação dos atores originais, em espanhol, com o texto que é possível editar. Então, na minha opinião, gera um equilíbrio de fidelidade tanto à obra original, quanto à dublagem brasileira, se a edição do texto for de qualidade, claro. Rsrs

Alias, sobre os datasets, é importante definir "boas práticas" na hora de definir quais trechos/arquivos serão utilizados para treinar as vozes, não só selecionando obviamente o áudio com a melhor qualidade possível mas também distinguindo as épocas (lotes, no caso da MAGA) e os personagens (assim facilitando o trabalho da IA na hora da conversão).

Quando treino as vozes, sempre utilizo áudios na melhor qualidade possível e se, por ventura, o resultado não ficar satisfatório, eu descarto e busco outra fonte para treinar novamente, até ficar o mais próximo possível da voz que busco.

Você pode ver um exemplo de duas vozes que treinei nos vídeos que postei, as vozes do Héctor Bonilla e do Chaves (Cassiano).

Interessante! Ansioso para conferir, e minha sugestão a você é se aprofundar mais nesse método. Se com essas IAs tipo Falatron você já tem obtido bons resultados, com essas IAs tipo ElevenLabs então deve rolar boas surpresas.

Na verdade nunca usei o Falatron e nem cheguei a testar o Elevenlabs! Hahaha. Conheci este ao mesmo tempo que conheci o Heygen Labs que gera resultados superiores ao Elevenlabs. Na época fiquei maravilhado com o que o Heygen era capaz de fazer, embora ele seja um tanto falho ao traduzir algumas frases, o que gera um resultado ainda artificial, embora não tanto quanto o Falatron, mas que além de dar mais trabalho de edição de áudio, não fica com uma qualidade.

Após fazer alguns testes com o Heygen, descobri uma outra IA que é bem superior no quesito interpretação e ainda possibilita a edição do texto, o que resulta em uma qualidade incomparável e que é a que utilizo no momento.

Em breve postarei um teste que fiz utilizando o método que você utiliza, tendo como base uma outra dublagem!

[PhillRMZ]

Ficou excepcional! Só a voz do Gastaldi que não combina muito com o chaves velho

Tenho que concordar. Nessa montagem, era a voz que o Maga usava para o Chaves dos anos 70. Eu acredito que, se ele tivesse tido a oportunidade de dublar o Chaves dos anos 80 e 90, ele iria conseguir adaptar bem a sua voz. Teve até aquela entrevista com o Gugu, em que ele dublou o Chaves do fim dos anos 80 e ficou perfeito (na minha opinião) e até "rejuvenesceu" o Chespirito para os anos 70.

Considerando que algumas pessoas acham que a voz que o Gastaldi fazia para o Chaves na Maga não combina muito com o "Chaves velho", ontem enquanto assistia novamente às entrevistas que o Chespirito deu ao Gugu e que o Gastaldi dublou, decidi experimentar uma voz mais madura do Gastaldi nessa cena dos anos 90, vejam só como ficou:

[Chavito.M]

Ficou excepcional! Só a voz do Gastaldi que não combina muito com o chaves velho

Tenho que concordar. Nessa montagem, era a voz que o Maga usava para o Chaves dos anos 70. Eu acredito que, se ele tivesse tido a oportunidade de dublar o Chaves dos anos 80 e 90, ele iria conseguir adaptar bem a sua voz. Teve até aquela entrevista com o Gugu, em que ele dublou o Chaves do fim dos anos 80 e ficou perfeito (na minha opinião) e até "rejuvenesceu" o Chespirito para os anos 70.

Considerando que algumas pessoas acham que a voz que o Gastaldi fazia para o Chaves na Maga não combina muito com o "Chaves velho", ontem enquanto assistia novamente às entrevistas que o Chespirito deu ao Gugu e que o Gastaldi dublou, decidi experimentar uma voz mais madura do Chespirito nessa cena dos anos 90, vejam só como ficou:

Realmente, essa voz combinou mais. Aliás, tenho que dar meus parabéns para todos vocês que estão fazendo essas montagens

[I.A Degenerativa]

@PhillRMZ Desculpe a pergunta mas quantos Epochs e quantos minutos de Dataset tem o seu modelo do Gastaldi? De qual lote da dublagem você extraiu os áudios para faze-lo?

[PhillRMZ]

@PhillRMZ Desculpe a pergunta mas quantos Epochs e quantos minutos de Dataset tem o seu modelo do Gastaldi? De qual lote da dublagem você extraiu os áudios para faze-lo?

Esse modelo não fui eu que fiz, então não sei quantos minutos de Dataset, nem de qual lote de dublagem utilizaram os áudios, mas o modelo tem 200 Epochs.

A propósito o que achou desse modelo?

[I.A Degenerativa]

Com esse papo todo de IA, aqui um vídeo zoeira que eu fiz com o Chaveco do Cassiano Ricardo, que eu mesmo treinei no site da Kits AI. O delegado aí é do Falatron mesmo, o meu amigo ainda não tinha treinado a voz do delegado pra lá.


Eu também cheguei a fazer uma introdução na zoeira pra esse vídeo com a mesma voz treinada do Chaveco do Cassiano

[Estoque Segregado]

Menções especiais ao @Engenheiro Pudim e ao @Medeiros CH, que colaboraram para a realização desse vídeo.

Há uma sutil diferença em relação a um trecho

[PhillRMZ]

Ontem vi no Insta do Fórum essa chamada para um evento (https://www.instagram.com/reel/C04VFHSS ... BiNWFlZA==) no qual Carlos Villagrán vai participar no próximo ano e pensei: Puxa! Repuxa! Recontrapuxa! Seria muito legal se o evento convidasse o Nelson Machado para dublar essa chamada!

Mas como não sabemos se eles vão realmente fazer isso e também como fã ansioso pra ver essa chamada com "a voz do Quico", decidi apelar para as IAs e para aquela edição rápida e eis aqui o resultado! Rsrs.

[samedley]

Sim, seus testes não foram ruins, a limitação é principalmente por conta da ferramenta, já que não há como "simular" a interpretação de forma mais aproximada com a realidade com esse tipo de IA que gera do zero (provavelmente via texto). Acredito que o caminho que usei seja o mais assertivo, justamente pela questão da interpretação (ainda que imperfeita em alguns casos) e pela duração do processo até o resultado. Só depende de datasets bem treinados e um bom intérprete. Todo o restante do processo não será nada muito diferente do que já vemos por ai em fandubs.

Na verdade no meu método a interpretação não é gerada totalmente do zero via texto, ela faz um equilíbrio mesclando a interpretação dos atores originais, em espanhol, com o texto que é possível editar. Então, na minha opinião, gera um equilíbrio de fidelidade tanto à obra original, quanto à dublagem brasileira, se a edição do texto for de qualidade, claro. Rsrs

Alias, sobre os datasets, é importante definir "boas práticas" na hora de definir quais trechos/arquivos serão utilizados para treinar as vozes, não só selecionando obviamente o áudio com a melhor qualidade possível mas também distinguindo as épocas (lotes, no caso da MAGA) e os personagens (assim facilitando o trabalho da IA na hora da conversão).

Quando treino as vozes, sempre utilizo áudios na melhor qualidade possível e se, por ventura, o resultado não ficar satisfatório, eu descarto e busco outra fonte para treinar novamente, até ficar o mais próximo possível da voz que busco.

Você pode ver um exemplo de duas vozes que treinei nos vídeos que postei, as vozes do Héctor Bonilla e do Chaves (Cassiano).

Interessante! Ansioso para conferir, e minha sugestão a você é se aprofundar mais nesse método. Se com essas IAs tipo Falatron você já tem obtido bons resultados, com essas IAs tipo ElevenLabs então deve rolar boas surpresas.

Na verdade nunca usei o Falatron e nem cheguei a testar o Elevenlabs! Hahaha. Conheci este ao mesmo tempo que conheci o Heygen Labs que gera resultados superiores ao Elevenlabs. Na época fiquei maravilhado com o que o Heygen era capaz de fazer, embora ele seja um tanto falho ao traduzir algumas frases, o que gera um resultado ainda artificial, embora não tanto quanto o Falatron, mas que além de dar mais trabalho de edição de áudio, não fica com uma qualidade.

Após fazer alguns testes com o Heygen, descobri uma outra IA que é bem superior no quesito interpretação e ainda possibilita a edição do texto, o que resulta em uma qualidade incomparável e que é a que utilizo no momento.

Em breve postarei um teste que fiz utilizando o método que você utiliza, tendo como base uma outra dublagem!

Ficou um belo trabalho hein, parabéns!

[oasis wonderwall da silva blur]

Menções especiais ao @Engenheiro Pudim e ao @Medeiros CH, que colaboraram para a realização desse vídeo.

Há uma sutil diferença em relação a um trecho

mermao kkkkkkkkkkkkkkkkkkk isso tá mto bom pqp

[Estoque Segregado]

mermao kkkkkkkkkkkkkkkkkkk isso tá mto bom pqp

As partes mais problemáticas ocorrem justamente por estar usando um áudio que teve que ser isolado depois, se fosse uma gravação bruta seria melhor ainda, mas já deu pra brincar um pouco.

Estou aberto a ouvir sugestões de outras cenas. Não posso prometer nada por conta do meu tempo limitado, mas tendo alguma cena definida, vou fazendo durante meus intervalos. Alias, ainda preciso postar duas esquetes que também testei (essas o resultado ficou inferior a esse mais recente por conta de tê-los feitos a algum tempo, mas acho que vale postar, a titulo de curiosidade).

[E.R]

Ficou ótimo esse vídeo com as "dublagens" do Mário Vilela e do Marcelo Gastaldi.

Meses atrás, fizeram um trecho de um vídeo do episódio do Professor Girafales no hospital do Dr Chapatin, mas o resultado ficou muito robótico.

Esses episódios inéditos do Chaves e Chapolin no Programa Chespirito, como esse do Professor no hospital, do Chapolin x Hitler, do papagaio do Jaiminho, queria muito ver com essas dublagens feitas por IA.

Aliás, tem pouco conteúdo com o Jaiminho nesses trabalhos.