Robot chirurgiczny opanowuje podstawowe procedury dzięki uczeniu wideo, dorównując ludzkiej precyzji
Naukowcy z Johns Hopkins stworzyli robota chirurgicznego, który uczy się podstawowych procedur po prostu oglądając filmy przedstawiające ludzkich chirurgów. Wykorzystując sztuczną inteligencję podobną do ChatGPT, system da Vinci może teraz wykonywać podstawowe zadania chirurgiczne z ludzką precyzją, co stanowi przełom w autonomicznej chirurgii robotycznej.
Naukowcy z Johns Hopkins i Stanford osiągnęli znaczący kamień milowy w chirurgii robotycznej – nauczyli robota chirurgicznego obsługi podstawowych procedur, po prostu oglądając filmy przedstawiające ludzkich chirurgów wykonujących swoje czynności.
Zespołowi udało się zaprogramować system chirurgiczny da Vinci do wykonywania trzech podstawowych, ale krytycznych zadań chirurgicznych: obsługi igieł, podnoszenia tkanki i zszywania ran. I robi to z takim samym poziomem umiejętności, jaki można zaobserwować u doświadczonych chirurgów. Jest to ogromny krok w kierunku w pełni autonomicznej chirurgii robotycznej.
„To niezwykłe, że mamy ten model, w którym po prostu dostarczamy dane wejściowe z kamery, a on przewiduje niezbędne ruchy robota do operacji” – mówi dr Axel Krieger, adiunkt na Wydziale Inżynierii Mechanicznej JHU i starszy autor badania. „Uważamy, że stanowi to znaczący krok naprzód w robotyce medycznej”
W tym celu zespół badawczy połączył uczenie się naśladowania z architekturą podobną do modelu językowego używanego w ChatGPT. Zamiast jednak skupiać się na słowach, ich model matematycznie rozkłada ruchy chirurgiczne, przekształcając je w dokładne działania robota.
Aby wytrenować robota, nakarmili go setkami filmów chirurgicznych nagranych z kamer zamontowanych na nadgarstkach robotów da Vinci podczas rzeczywistych operacji. Ten pokaźny zbiór danych pochodzi z prawie 7000 systemów da Vinci na całym świecie, używanych przez ponad 50 000 przeszkolonych chirurgów.
Podczas gdy system da Vinci jest szeroko stosowany, precyzja jest jego słabym punktem. Zespół badawczy poradził sobie z tym problemem, zmuszając robota do wykonywania ruchów w odniesieniu do otoczenia, zamiast wykonywania dokładnych, wstępnie ustawionych ruchów, i to zrobiło dużą różnicę.
Jedną z najbardziej niesamowitych rzeczy jest to, jak elastyczne stają się systemy. „Model jest tak dobry w uczeniu się rzeczy, których go nie nauczyliśmy” – mówi główny autor Ji Woong „Brian” Kim, doktorant w Johns Hopkins. „Na przykład, jeśli upuści igłę, automatycznie ją podniesie i będzie kontynuował. To nie jest coś, czego go nauczyłem”
Rozwój ten oznacza, że nie ma już potrzeby skrupulatnego programowania każdego konkretnego ruchu dla zadania chirurgicznego, co wcześniej zajmowało lata, aby uzyskać właściwy wynik dla tylko jednego rodzaju procedury. Dzięki temu nowemu podejściu robot może nauczyć się całej procedury, obserwując ją w ciągu zaledwie kilku dni.
Naukowcy zaprezentowali swoje odkrycia na konferencji poświęconej uczeniu się robotów w Monachium, pokazując, w jaki sposób sztuczna inteligencja i technologia medyczna łączą się w robotyce chirurgicznej.
Źródło: