Un equipo de investigación de Skoltech y la Universidad Estatal de Instrumentación Aeroespacial de San Petersburgo presentó un artículo en el que fueron pioneros en un método alternativo para detectar manzanas podridas y mohosas en la etapa poscosecha, cuando las frutas se almacenan y luego se entregan al cliente.
por Oleg Sherbakov, Instituto Skolkovo de Ciencia y Tecnología
Un sistema de visión por computadora determinará diferentes defectos en una etapa temprana, cuando pueden ser invisibles para el ojo humano. El artículo se publica en la revista Entropy .
A pesar de la automatización generalizada, la calidad de las frutas y verduras en la etapa poscosecha, especialmente durante la clasificación, está controlada principalmente por el ser humano. Cuando los productos se entregan, pueden deteriorarse o dañarse. Algunas áreas de descomposición pueden pasarse por alto o pasarse por alto, mientras que un agricultor no siempre puede estar disponible para determinar el tipo de enfermedad o daño.
Utilizando manzanas, el equipo estudió dos tipos de defectos: deterioro y moho. Si, por ejemplo, las manzanas están muy apretadas, se golpean entre sí y, por tanto, se pudren más rápido en esas zonas. El moho se produce por una violación radical de las condiciones de almacenamiento o cuando se pasó por alto durante la cosecha.
Para detectar defectos, los especialistas utilizan luz infrarroja , pero, según los investigadores, para ello se necesitan dispositivos multiespectrales e hiperespectrales, que son muy caros y no siempre fáciles de usar. El estudio tenía como objetivo ofrecer una alternativa a esas cámaras, que utilizan modelos basados en aprendizaje profundo que pueden generar imágenes infrarrojas. Los autores subrayan que no pretendían sustituir los métodos tradicionales y sólo intentaron proponer una forma más asequible e innovadora.
«Empleamos dos tipos de redes neuronales: la red generativa adversaria y la red neuronal convolucional. La primera permite convertir un tipo de imagen en otro. En nuestro caso, obtuvimos imágenes infrarrojas de RGB, es decir, fotografías visibles. Pero eso no es suficiente para detectar «Defectos porque las redes generativas adversarias no clasifican imágenes. Aquí entran en juego las redes neuronales convolucionales. Ayudan a detectar y segmentar objetos de las clases necesarias en las fotos», dijo el autor principal del estudio, Nikita Stasenko, un ingeniero de investigación junior. en el Agro Center de Skoltech.
Los experimentos implicaron varias etapas. El equipo comenzó recopilando y procesando datos de imágenes visibles. Para ello, los autores seleccionaron 16 manzanas de cuatro tipos diferentes. Las manzanas recibieron diferentes tratamientos: una manzana sin tratamiento, una manzana completamente lavada y limpiada, una manzana dañada mecánicamente y una manzana congelada por choque y sobreenfriada a -20°С.
«Cuando recopilamos datos, verificamos varios modelos basados en redes generativas adversarias (Pix2Pix, CycleGAN y Pix2PixHD) y comparamos las imágenes infrarrojas generadas con las originales. Según las métricas de calidad, las imágenes generadas por Pix2PixHD resultaron ser tan lo más parecido posible al original», añadió Nikita Stasenko.
La segunda etapa utilizó la red neuronal convolucional Mask R-CNN. En la investigación anterior, este modelo fue el más efectivo. Para entrenarlo, el equipo recopiló otro conjunto de datos a partir de imágenes infrarrojas y las anotó: marcaron manzanas sanas y aquellas con áreas de descomposición y moho.
En la tercera etapa, los autores utilizaron Jetson Nano, un sistema integrado especial que permite ejecutar redes neuronales entrenadas. En el futuro, este sistema dará lugar a un dispositivo real para detectar defectos en los cultivos. Además, el equipo planea ampliar los resultados en otros tipos de cultivos y probar otros modelos neuronales.
Más información: Nikita Stasenko et al, Aprendizaje profundo en agricultura de precisión: segmentación de imágenes VNIR generadas artificialmente para la predicción temprana del deterioro poscosecha en manzanas, Entropía (2023). DOI: 10.3390/e25070987
