Mes: septiembre 2021

Macro SAS: Validar y normalizar el DNI

~ rodrigouria

Comparto con vosotros esta macro que realiza una validación del campo DNI de una tabla. Admite como parámetros el nombre de la tabla (DNIS) y el nombre del campo con el DNI (DNI). Como salida genera otra tabla que se llama DNIS_ (añade un subrallado al final) y le añade el campo dni_norm. La macro normaliza DNIs y NIEs españoles.

En el primer paso se verifica el formato del DNI y se rechazan los que tengan un formato que no sea compatible. Estos se marcan con el indicador ind_valido. Para aquellos que cumplen con el formato básico de los DNIs, trocea ese DNI en prefix, number y sufix, De forma que se validan por separado.

En el segundo paso se normaliza la parte numérica del DNI dándole tantos dígitos como vaya a necesitar añadiendo ceros por la izquierda. En el tercer paso se calcula la letra del DNI/NIE y se juntan todos los trozos para tener el DNI normalizado. En un último paso se realiza el cruce que la tabla inicial de DNIs.

%macro normalizar_dni(tabla=,campo=);
    /* obtenemos las partes del DNI y localizamos formatos incorrectos */
    data norm1;
        set &tabla;
        &campo = upcase(&campo);
        if anypunct(&campo) > 0 then ind_valido = 0;
        else if length(&campo) > 9 then ind_valido = 0;
        else if 0 < anyalpha(substr(&campo,2)) < length(substr(&campo,2)) then ind_valido = 0;
        else if compress(substr(&campo,1,1),'XYZ','D') ne '' then ind_valido = 0;
        else if length(&campo)=9 and anyalpha(&campo)=0 and substr(&campo,1,1)='0' then do;
            &campo=substr(&campo,2);
            ind_valido = 1;
            prefix = compress(substr(&campo,1,1),'','D');
            number = input(compress(&campo,'','A'),8.);
            sufix = compress(substr(&campo,length(&campo)),'','D');
        end;
        else if length(&campo)=9 and anyalpha(&campo)=0 then ind_valido = 0;
        else do;
            ind_valido = 1;
            prefix = compress(substr(&campo,1,1),'','D');
            number = input(compress(&campo,'','A'),8.);
            sufix = compress(substr(&campo,length(&campo)),'','D');
        end;
    run;

    /* normalizamos el número */
    data norm2;
        set norm1;
        format numero $8.;
        length numero $ 8;
        n = number;
        if anyalpha(prefix)=1 then numero = put(number,z7.);
            else numero = put(number,z8.);
    run;

    /* calculamos la letra del DNI y verificamos si es correcta cuando venga informada */
    data norm3 (drop=prefix number sufix numero n letras resto letra_norm ind_valido);
        set norm2;
        letras = 'TRWAGMYFPDXBNJZSQVHLCKE';
        if prefix='Y' then n=n+10000000;
        if prefix='Z' then n=n+20000000;
        resto = mod(n,23);
        letra_norm = substr(letras,resto+1,1);
        dni_norm = compress(prefix||numero||letra_norm);
    run;

    /* salida */
    proc sql;
        create table &tabla._ as
        select a.*, dni_norm
        from &tabla a
        left join norm3 b
        on a.&campo = b.&campo;
    quit;
%mend normalizar_dni;

Podéis probarla con este set de datos de prueba que os dejo aquí:

data DNIS;
    format dni $20.;
    length dni $ 20;
    input dni $;
    datalines;
    16634732A
    1b
    16634732
    32631459w
    X00123
    Y1234612
    123&134
    Z1224536
    X00z12
    064563314
    6843131058
    1635740.65
    000000315
    G12
run;

%normalizar_dni(tabla=DNIS,campo=dni);

SAS: Obtener el listado de los últimos ficheros por fecha en Unix

~ rodrigouria

¿Cómo podemos obtener y cargar los últimos archivos de un cierto periodo? Seguro que podemos encontrarnos este problema en algunas de sus variantes y podemos resolver todas ellas basándonos de la siguiente forma. Voy a basar este artículo en el supuesto de una máquina SAS corriendo sobre un sistema operativo Unix, que creo que es lo más común, aunque tiene también la misma solución bajo Windows, con algunas diferencias.

Lo primero que vamos a hacer es obtener el listado de ficheros csv que nos interesa cargar, utilizando la línea de comandos del sistema operativo del servidor SAS, y vamos a incluir ese listado en un fichero lista_ficheros.txt. Utilizaremos el comando x de SAS que envía las instrucciones al sistema operativo para que este los interprete.

x"cd /[ruta_ficheros]";
x"ls *.csv > lista_ficheros.txt";

En el paso anterior el comando «cd» indica la ruta en la vamos a trabajar, que será la ruta en donde tenemos guardados esos ficheros. El comando «ls» lista los ficheros que cumplan con el patrón indicado y la salida la vuelca en un fichero nuevo llamado lista_ficheros.txt. Sin embargo, el paso anterior no discrimina los ficheros por fecha y para poder obtener, por ejemplo, los ficheros de los últimos 15 días utilizaremos lo siguiente:

x"cd /[ruta_ficheros]";
x"find *.csv -mtime +15 > lista_ficheros.txt";

El comando «find» busca todos aquellos ficheros en la ruta indicada que cumplan el patrón de nombre de fichero y que estén en el periodo temporal indicado en «-mtime» volcando todos los nombres de esos ficheros en un nuevo fichero llamado listado_ficheros.txt. Una vez llegado a este punto solo nos queda importar el fichero txt como una tabla SAS para poder procesar la información que contiene fácilmente:

data LISTA_FICHEROS;
    length fichero $ 50 ;
    format fichero $CHAR50. ;
    informat fichero $CHAR50. ;
    infile "[ruta_ficheros]/ficheros.txt"
        lrecl=50 encoding="LATIN9" missover;
    input fichero : $CHAR50. ;
run;

Ahora tenemos una tabla (LISTA_FICHEROS) que contiene una lista de nombres de ficheros csv que queremos importar. Como son varios, más de uno, debemos utilizar un bucle para recorrer la tabla de los nombres a la vez que importamos los csv y los vamos guardando como tablas SAS. Pero, ¿cómo se hace eso? ¿Cómo podemos recorrer una tabla a la vez que creamos otra? Utilizaremos para recorrer la primera tabla una especie de puntero que recorre LISTA_FICHEROS:

%let dsid = %sysfunc(open(LISTA_FICHEROS));
%macro importar_ficheros;
    %let num_reg = %sysfunc(attrn(&dsid,NOBS));
    %do x=1 %to &num_reg;
        %let rc = %sysfunc(fetch(&dsid));
        %let fichero = %sysfunc(getvarc(&dsid,%sysfunc(varnum(&dsid,F1))));

        data FICHERO_&x;
            length campo $ 20;
            format campo $CHAR20. ;
            informat campo $CHAR20. ;
            infile"&fichero"
                lrecl=20 encoding="UTF8" missover;
            input campo : $CHAR20. ;
        run;
%mend importar_ficheros;
%importar_ficheros;

Sobre como utilizar estos punteros de datos en SAS que hemos utilizado en este último paso podéis revisar este link: «Punteros de datos en SAS» donde se explican los distintos comandos que se utilizan para gestionar los punteros.

Por otro lado, el bucle anterior va recogiendo el nombre de cada fichero csv que está listado en la tabla LISTA_FICHEROS e importándolo a una tabla SAS. En este supuesto todos los ficheros son del mismo formato.

SAS: Procedimiento proc contents

~ rodrigouria

El procedimiento proc contents sirve para obtener información de las tablas y librerías. Produce un informe que puede presentarse en la pestaña output de SAS Enterprise Guide o puede volcarse todo en una tabla con el parámetro out=. Volcar esa información en una tabla permite utilizar la información recogida en tiempo de ejecución.
Pero, vamos a empezar por el principio:

proc contents data=SASHELP.CLASS;
run;

En este ejemplo utilizamos la tabla CLASS de la librería de ejemplos de SAS (SASHELP) que está presente en las instalaciones de SAS por defecto para obtener un informe en la pestaña «output» del contenido de la tabla. Entre otras cosas que no incluyo aparece un listado de los campos de la tabla:

Podemos enviar este listado de campos, junto con otra información adicional relevante a una tabla SAS, en vez de a ese informe. Para ello determinamos una tabla de salida con out=. Y como no nos interesa la salida en el informe, además incluimos el parámetro noprint:

proc contents data=SASHELP.CLASS
    out=SALIDA noprint;
run;

En la tabla que hemos obtenido tendremos la siguiente información (entre otra):

Variable Explicación
LIBNAME Nombre de la librería donde se encuentra la tabla.
NAME Nombre del campo de la tabla.
TYPE Código numérico que indica de que tipo es la variable. 1 = numérico o fecha y 2 = texto.
LENGTH Tamaño del campo en bytes.
VARNUM El número de orden de la variable dentro de la tabla. Es recomendable ordenar la salida por esta variable.

Podremos utilizar la información aquí almacenada para saber por ejemplo si la tabla que hemos cargado tiene un campo ID como número o como texto; o si una fecha que hemos importado ha quedado como fecha o simplemente se ha quedado como una cadena de texto. Podremos resolver esos problemas de importación desde aquí.
En siguientes artículos explicaré como podemos solucionar cada uno de esos problemas en un artículo con un código SAS completo.

SAS: Operaciones con cadenas de texto (y 2)

~ rodrigouria

Continúo comentando algunas funciones de SAS para utilizar con cadenas de texto. Existen muchas más que estas que menciono, pero estas me parecen más interesantes.

Este bloque de funciones tratan la cadena de texto dando como salida un número que bien indica una posición o un tamaño de la cadena. Lo veremos utilizando este ejemplo:

%let cad = '  En 1 lugar de la  Mancha...  ';
Función Resultado Comentario
count(&cad, ‘a’) 4 Devuelve el número de veces que aparece un carácter en una cadena dada. En el caso del ejemplo se busca contar el número de aes en la cadena.
length(&cad) 31 Devuelve el número de caracteres totales de la cadena que se indica.
anydigit(&cad) 6 Devuelve un número que representa la posición del primer dígito que aparezca en una cadena que le hemos indicado.
anyalpha(&cad) 3 Esta función hace lo mismo que la anterior, pero buscando el primer carácter de la cadena.
anypunct(&cad) 27 Finalmente, esta función hace lo mismo que las anteriores buscando signos de puntuación u otros caracteres no alfanuméricos. Como se puede ver en el ejemplo, los espacios no se consideran signos de puntuación, así que la posición que está devolviendo la función aquí es la del primer punto del final.

A continuación vamos a profundizar un poco en las distintas variantes de las funciones del tipo index que ya hemos visto en la entrada anterior. Existen 3 funciones de este tipo que son interesantes, creo, para procesar texto: index, indexc, indexw y las explicamos a continuación con el siguiente ejemplo de cadena:

%let cad = 'He quedado el 1º, por lo que estoy muy contento';
Función Resultado Comentario
index(&cad, ‘que’) 4 Devuelve la posición de la primera ocurrencia de la subcadena indicada. La subcadena tiene que ser exactamente igual en mayúsculas y minúsculas. Puede encontrar esa ocurrencia como palabra independiente o como parte de una palabra mayor.
indexw(&cad, ‘que’) 26 Devuelve la posición de la subcadena indicada, siempre que se encuentre como una palabra independiente.
indexc(&cad, ‘0123456789’) 15 Devuelve la posición del primero de los caracteres que encuentre incluido en la lista que aparece en el segundo parámetro. Esta función así expresada es equivalente al ejemplo que he dado para la función anydigit() del bloque anterior.

Finalmente, una curiosidad, la función reverse(cadena) que reordena los caracteres que la componen invirtiendo su orden. El último carácter pasará a ser el primero; el penúltimo será el segundo y así sucesivamente. Nunca la he utilizado, no imagino cómo, pero me resulta una curiosidad.

Si tenéis cualquier duda que queráis dirigirme, escribid un comentario y os contestaré con una solución.

Importar Excel con SAS

~ rodrigouria

¿Cómo importar un Excel que nos han pasado para utilizar esos datos con SAS? Esa es la pregunta que vamos a resolver hoy. Lo más directo es importar directamente el Excel que nos interesa con un proc import. Este procedimiento permite importar varios tipos de ficheros para convertirlos en tablas SAS.

La forma más básica para importar un Excel es:

proc import out=tabla
    datafile = "../ficheros/datos.xlsx"
    dbms=xlsx;
    getnames=YES;
run;

En el OUT indicamos la tabla SAS donde queremos guardar la información contenida en el Excel, indicamos la ruta del Excel en el DATAFILE. Es necesario indicar la ruta completa del Excel para evitar errores. El parámetro DBMS indica qué tipo de fichero se está importando y también como se va a transcodificar el contenido del Excel. Para Excel podemos utilizar XLS (para los formatos anteriores a la versión 2007) y XLSX. (Hay otros DBMS para Excel). Finalmente GETNAMES indica que se tomarán los nombres de las columnas contenidas en la primera fila del Excel para los nombres de los campos de la tabla.
Si tenemos un Excel con varias pestañas es necesario entonces indicar qué pestaña deseamos usar. Usaremos el parámetro SHEET.

proc import out=tabla
    datafile = "../ficheros/datos.xlsx"
    dbms=xlsx;
    sheet='numeros_de_telefono';
    getnames=YES;
run;

Cuando los datos colocados en el Excel no comienzan en la casilla A1 sino que están más abajo o más a la derecha puede suceder que la tabla resultante tenga registros vacíos o columnas sin valores. Para evitar esto se puede, entonces, indicar el rango de celdas a importar con el parámetro RANGE y la misma notación que se usa en Excel:

proc import out=tabla
    datafile = "../ficheros/datos.xlsx"
    dbms=xlsx;
    sheet='numeros_de_telefono';
    getnames=YES;
    range = "B2:G1000";
run;

Si no sabemos precisar cuantas filas o columnas tiene la tabla a importar o estas son variables con el tiempo podemos utilizar un rango abierto como por ejemplo: range="B2:"

Para evitar tener que importar muchas pestañas podemos definir una librería apuntando al Excel de forma que las pestañas se visualizarán como tablas dentro de esa librería que representará al Excel entero. La pega de este método es que los parámetros de importación se establecerán por defecto y no podremos personalizar la importación, tendremos que tratar los datos luego. Para definir esta librería utilizamos un libname indicando después del nombre de la librería el parámetro XLSX y luego la ruta y nombre del fichero.

libname excel xlsx "../ficheros/datos.xlsx";