Disco to sztuczna inteligencja, która z pojedynczego zdjęcia generuje film taneczny
Ostrzegamy tancerzy TikToka, bo już niedługo do stworzenia tanecznego filmiku wystarczy samo zdjęcie. Disco to model generatywny, który ma tę zdolność.
Jeśli nie umiesz tańczyć, ale z jakiegoś powodu chcesz wyglądać tak, jak potrafisz, za jakiś czas będziesz mógł stworzyć film ze swojego baletu ze zdjęcia selfie.Generatywny model sztucznej inteligencji Disentangled Control for Real-World Reference Human Dance Generation (DisCo), opracowany przez badacza Tan Wanga i jego współpracowników z Nanyang Technological University w Singapurze, wraz z Microsoft Azure, pozwala w rzeczywistości generować realistyczne filmy przedstawiające tańczących ludzi, używając tylko statycznego obrazu jako odniesienia .
Aby tańczyć, zaczynasz od obrazu
Badania preprintów ilustrują, w jaki sposób firma DisCo „rozumie”, jak różne części ciała poruszają się podczas sekwencji tanecznych, oddzielając temat od tła, dzięki czemu konstrukcja ostatecznego filmu jest bardziej wiarygodna.Najlepszym sposobem na wyszkolenie takiego modelu jest posiadanie zestawów danych, które są odpowiednie do celu, a naukowcy z Singapuru uważali, że tańce TikTok są na ich drodze.
W rzeczywistości firma DisCo wykorzystała zestaw danych składający się z 350 filmów TikTok związanych z tańcem jednej osoby trwającym 10-15 sekund każdy. Z nich naukowcy wyodrębnili klatki i użyli na nich narzędzia OpenPose, aby zlokalizować kluczowe punkty pozy osoby, skutecznie budując „szkielet” pozycji. Więc przeszkolili swój model z 8 procesorami graficznymi Nvidia V100.
Wyniki uzyskane z badań są dobre w niektórych przykładowych filmach wykorzystanych jako demonstracja sukcesu Disco.
Nie można jednak wykluczyć, że model o takich możliwościach mógłby być również wykorzystany do tworzenia filmów typu deepfake, po prostu zaczynając od przedniego zdjęcia osoby.
dday