mar 7

Primeras pruebas de importación de datos en 7.3.0

Posted in v7, velneo

Después de una semana bastante cargada de trabajo, que no me ha permitido sacar tiempo ni para publicar, ni para realizar demasiadas pruebas en v7, he podido sacar un poco de tiempo para realizar las primeras importaciones de datos y comprobar asi la versión actual.

Para poder analizar los datos obtenidos hay que tener en cuenta que las pruebas han sido realizadas en un ordenador portatil convencional, nuevo, pero con unas prestaciones normales para cualquier portatil actual.

Especificaciones tecnicas del equipo:

  • Portatil HP ProBook 4510s con 4 Gb de RAM y 250 Gb de Disco Duro
  • Sistema operativo Windows Vista (preinstalado en el equipo y original)
  • Antivirus Panda IS-2010 (legalizado)

En cuanto a las caracteristicas del servidor V7 utilizado para estas pruebas son:

  • vServer V7 7.3.0.8651 con instalación en Local
  • Archivos de datos (en LML) en disco Local

En cuanto al tamaño de los archivos utilizados para importar la información, ha que decir,

  1. que se han utilizado 8 archivos diferentes para las pruebas de importación,
  2. que cada uno de los archivos contiene exactamente 15,000 lineas de texto en LML, excepto el ultimo que contiene 10,000, es decir un total de 115,000 lineas de texto en 8 archivos ASCII en formato LML
  3. que el tamaño de los archivos, varia en función de la longitud de las lineas, pero que oscilan entre los 704 Kb del archivo mas pequeño (15,000 lineas con una media de 50/60 carácteres por linea) y los 3,04 Mb del más grande (15,000 lineas con una media de 250 carácteres por linea). El último archivo, a pesar de tener solo 10,000 lineas, pesa 1,47 Mb.

Para realizar la importacíon se ha utilizado un proceso sencillo que permite seleccionar el fichero a importar desde la ventana de dialogo correspondiente, y comienza la lectura secuencial del fichero hasta finalizar. El proceso se lanza directamente desde el menu y no se ha utilizado ningun proceso adicional para su ejecución en 3 plano. Por tanto, se ejecuta en 1 plano de inicio a fin.

En el proceso se han utilizado varias sentencias StrinSection para parsear las lineas en LML y se asigna cada valor a su campo correspondiente, la tabla contiene exactamente 4 campos + el #ID automático y 3 índices + el #ID de la tabla. El único campo que no ha sido indexado, es el que contiene el texto de la linea importada del fichero.

Esto significa que el proceso lee 15,000 lineas del archivo, ejecuta 60,000 sentencias StringSection y genera 15,000 registros en una tabla con 4 indices y un tamaño de 340 bytes por registro.

Los resultados obtenidos:

En la lectura de los ficheros mas pequeños (700 Kb), el tiempo aproximado de ejecución del proceso fué de 2:40′ (2 minutos y 40 segundos)

En la lectura de los ficheros mas grandes (3,04 Mb), el tiempo aproximado de ejecución del proceso fué de 2:55′

A pesar de que el fichero mas grande era 4 veces mayor que el fichero mas pequeño, la diferencia de tiempo fue despreciable (vamos, que ni hay que tenerla en cuenta).

Conclusión:

El tiempo empleado en parsear las lineas es practicamente el mismo, independientemente del tamaño de ésta. Y por tanto, la función StringSection va que te cagas 😉

El tiempo empleado en la lectura de los ficheros tambien es el mismo, asi que, se ha utilizado un tiempo medio de 0,012 segundos en la lectura de cada una de las lineas del fichero, y en ese tiempo está incluido tambien, el tiempo empleado en parsear la linea, y la generación del registro en la tabla correspondiente.

El tamaño final de las tablas de datos en disco es de 38,165 Kb en el Archivo.DAT (datos) y de 21,884 KB en el Archivo.IDX (indices)

Otra conclusión mas que he podido obtener de estas pruebas, aunque esa ya la sabia, que LML es el mejor sistema que he probado hasta ahora para importar y exportar datos. 😀

Pero como en estas pruebas no he utilizado datos numéricos, seguiré realizando mas pruebas, que permitirán tomar decisiones más importantes

El resto de conclusiones y opiniones os las dejo a vosotros, ¿que os parece?

PDF    Enviar artculo en formato PDF   
comments: Comentarios desactivados en Primeras pruebas de importación de datos en 7.3.0