PyTorch consolida su pila de procesamiento de medios en TorchCodec

El equipo de desarrollo de PyTorch ha consolidado su pila de procesamiento de medios, centralizando todas las operaciones de entrada y salida de imágenes, video y audio en una librería dedicada llamada TorchCodec. Bajo esta reestructuración arquitectónica, TorchVision y TorchAudio centran su foco principal exclusivamente en las transformaciones de tensores, mientras que las funciones en desuso de decodificación y codificación de medios en ambas librerías son reemplazadas por TorchCodec en entornos CPU y CUDA.

Entrada y salida centralizada con TorchCodec

Anteriormente, los mecanismos de decodificación y codificación de medios se encontraban distribuidos en múltiples motores dentro de TorchVision y TorchAudio. TorchVision mantenía puntos de entrada independientes entre los motores PyAV, C++ y CUDA, mientras que TorchAudio gestionaba transmisiones de audio y video mediante utilidades como StreamReader y StreamWriter. Esta duplicación generaba una sobrecarga de mantenimiento debido a las diversas dependencias en C/C++, que incluían múltiples versiones de FFmpeg, SDK de códecs para GPU y librerías de imágenes específicas para cada formato.

TorchCodec funciona como un punto de entrada unificado para convertir archivos multimedia sin procesar o bytes codificados en tensores de PyTorch y codificar tensores transformados de vuelta a formatos multimedia. Al centralizar la entrada y salida en una sola librería, los esfuerzos de optimización se enfocarán en un único código fuente, lo que produce mejoras de velocidad —especialmente para la decodificación de video en CUDA— al tiempo que aísla las complejidades de compilación de binarios nativos fuera de las librerías de dominio general.

Alcance reenfocado para TorchVision y TorchAudio

Al delegar la decodificación y codificación a TorchCodec, TorchVision y TorchAudio han reducido su alcance de mantenimiento activo a las transformaciones de tensores, como las transformaciones v2 de TorchVision y los extractores de características especializados de TorchAudio. Los componentes secundarios incluidos anteriormente en estas librerías, como los conjuntos de datos empaquetados, modelos de referencia y canalizaciones, ya no están en desarrollo activo, dado que el equipo principal delega en alternativas del ecosistema como las librerías de Hugging Face.

Lanzamientos desacoplados y estabilidad de la ABI

Junto con la reorganización del ecosistema multimedia, TorchCodec, TorchVision y TorchAudio han alcanzado la estabilidad en su interfaz binaria de aplicaciones (ABI, por sus siglas en inglés). Como consecuencia, las actualizaciones individuales de estas librerías de dominio ya no están vinculadas directamente a los ciclos específicos de lanzamiento del núcleo de PyTorch, lo que permite a los desarrolladores actualizar el marco principal sin necesidad de recompilar las herramientas multimedia derivadas.

Ilustración editorial generada con IA; no es una fotografía documental.

Fuente: Evolution of the PyTorch Media Processing Landscape