Procesamiento de imágenes sobre cultivos de Brassica Carinata

Trabajo final del curso de Tratamiento de Imágenes desarrollado en conjunto con Vanessa Yelós.

Introducción

Brassica Carinata es una especie oleaginosa invernal, del género Brassicaceae con origen en las tierras altas de Etiopía. Dentro de sus usos comunes se encuentran la alimentación animal a partir de sus hojas y la producción de condimentos o aceites utilizando sus semillas.

En Uruguay, su incorporación al sistema productivo es reciente, pero dado un escaso desarrollo a nivel mundial del cultivo, nuestro país se posiciona como pionero a nivel productivo y científico del mismo. Aproximadamente se cuentan con 30 mil hectáreas de cultivo, siendo UPM uno de los agentes impulsores del mismo debido a su producción de biocombustibles.

El área de Producción Vegetal de la Estación Experimental Mario A. Cassinoni (EEMAC) en Paysandú, realizó una investigación que buscaba obtener información sobre la optimización y estimación de los cultivos. Para ello, realizaron plantaciones en parcelas con dos configuraciones, variando la distancia de los surcos en los que se cultivan las plantas. En conjunto con el departamento de Ingeniería Biológica, trabajaron utilizando imágenes de las parcelas germinadas, para así obtener la correspondencia de las plantas en cada estadio, detectando la posición de las mismas de forma manual.

El presente proyecto busca hacer uso de las técnicas de procesamiento de imágenes con el objetivo de automatizar la detección de plantas en aquellos estadios donde pueden ser identificadas de forma individual.

Datos disponibles

Con el fin de investigar la optimización y estimación de diferentes configuraciones de plantación, se generan 24 parcelas de prueba. Doce de las mismas corresponden a cultivos distanciados con surcos de 34 cm, y las doce restantes se encuentran a 17cm.

Para realizar el seguimiento de cada planta, se toman imágenes de las parcelas en diferentes estadios para luego medir la cantidad de germinaciones y su ubicación exacta.

Los datos disponibles corresponden a 10 registros fotográficos temporales en diferentes etapas del cultivo. Estos son capturados siguiendo un protocolo de adquisición que incluye la distancia focal, la resolución de la imágen (6000 x 4000 píxeles), altura, encuadre, orientación, horario de captura, entre otras.

Dentro de los registros, tres de los mismos disponen de información adicional que incluye el etiquetado manual de las plantas encontradas.

Metodología

Debido a que la base de datos de imágenes presenta variabilidad considerable en la iluminación, se acotó a un grupo reducido de las mismas con el objetivo de realizar una prueba de concepto del desarrollo.

Las siguientes imágenes corresponden a dos de los estadios etiquetados y son las utilizadas para comprobar el funcionamiento del algoritmo implementado.

Imagen 1.
Imagen 1.
Imagen 2.
Imagen 2.

Cada imagen cuenta con un archivo XML con los datos de etiquetado de plantas realizados manualmente por un experto, como se aprecia a continuación.

Imagen 1 con etiquetado manual.
Imagen 1 con etiquetado manual.
Imagen 2 con etiquetado manual.
Imagen 2 con etiquetado manual.

En primer lugar se realiza una segmentación por colores, seleccionando el color verde, mediante el espacio de color HSV para obtener una mejor aproximación del rango del mismo. Se consideran dos casos: el caso óptimo de color y un caso con margenes extendidos buscando tener en cuenta valores hacia los tonos amarillos, abarcando así algunos casos particulares. A través del uso de morfología matemática y operaciones lógicas se obtiene una primera segmentación de información.

Debido a que las imágenes utilizadas son de etapas tempranas del cultivo, dadas las caracteristicas propias del mismo, es posible detectar hojas individuales de una misma planta como áreas diferenciadas. Buscando resolver este problema se aplica sobre una dilatación, un etiquetado con conectividad 8, obteniendo luego los bounding box correspondientes a cada etiqueta.

Resultados

Sobre las imágenes seleccionadas se ejecuta el algoritmo desarrollado, obteniendo como resultado la detección de múltiples plantas. En particular, se logra detectar e individualizar las plantas que se encuentran a una distancia considerable de sus vecinas; aquellas que dado su crecimiento se superponen, son detectadas de forma agrupada no siendo posible distinguirlas entre sí por medio de este método.

Imagen 1 con Bounding box.
Imagen 1 con Bounding box.
Imagen 2 con Bounding box.
Imagen 2 con Bounding box.

Para evaluar el funcionamiento del sistema se plantea el cálculo de la sensibilidad y especificidad del mismo. Debido a esto, es necesario plantear previamente algunas hipótesis para la evaluación de estas medidas. En primer lugar se asumen como verdaderas absolutas las detecciones realizadas por el experto, significando contrastar los resultados obtenidos con los bounding box generados por el mismo. Luego, dado que el algoritmo desarrollado funciona sobre toda la imagen y no exclusivamente sobre la parcela, es necesario acotar las mediciones y comparaciones al espacio de interés.

Verdaderos positivos y verdaderos negativos.
Verdaderos positivos y verdaderos negativos.
Falsos positivos y falsos negativos.
Falsos positivos y falsos negativos.

La matriz de confusión se realiza a partir de imágenes binarizadas a las cuales se le pueden aplicar operaciones lógicas. Esto da como resultado la acumulación de píxeles diferentes de cero para las categorías Verdadero Positivo, Falso Positivo, Verdadero Negativo y Falso Negativo.

Matriz de confusión
Matriz de confusión

En la tabla se observa que la sensibilidad supera el 50% y la especificidad el 70% en todos los casos considerados, esto da una idea general del funcionamiento del algoritmo. En particular, los valores de especificidad permiten afirmar un buen rendimiento en la detección de zonas verdes. Por otra parte, la sensibilidad obtenida manifiesta un alto porcentaje de detección respecto a las etiquetadas por el experto.