Fraud Blocker Limpieza de datos: Diccionarios » Match Data Pro

Limpieza de datos: Diccionarios

Trabajar con diccionarios

Resumen

Un diccionario es una sencilla lista de consulta: cada entrada establece una correspondencia entre una palabra o frase que aparece en tus datos y la acción que deseas realizar con ella. Match Data Pro analiza una columna en busca de cada entrada del diccionario y, cada vez que encuentra una, la sustituye por un valor estandarizado, la elimina o la registra en una nueva columna. Es la forma más rápida de estandarizar el mismo conjunto de variaciones en miles de registros.

Usos habituales:

  • Estandarización de los sufijos de las empresas: «Incorporated», «Inc» e «INC.» pasan a ser todos «Inc».
  • Despliegar o contraer los nombres de estados, provincias, tipos de calles y direcciones.
  • Corregir errores ortográficos recurrentes y abreviaturas en los nombres de productos, títulos o departamentos.
  • Eliminar de un campo palabras irrelevantes como «N/A», «DESCONOCIDO» o «PRUEBA».
  • Marcar los registros que contengan determinados términos sin modificar los datos.

Los diccionarios se encuentran en el módulo «Limpieza y estandarización », en la pestaña «Diccionarios ». Hay dos formas de trabajar con ellos: aplicar un diccionario que ya tengas como fuente de datos o crear uno directamente a partir de los valores de tus datos.

Opción 1: Aplicar un diccionario ya existente

Utiliza esta opción cuando tu diccionario ya exista como fuente de datos en el proyecto; por ejemplo, una hoja de cálculo que hayas importado con una columna de valores originales y otra de valores estandarizados.

1. Selecciona «Diccionario»

  • Selecciona «Fuente de datos para el diccionario »: la fuente de datos que contiene tu lista de consulta.
  • Texto de origen: la columna de esa fuente de datos que contiene las palabras que se deben buscar.

2. Selecciona los datos a los que se aplicará el diccionario

  • Selecciona «Fuente de datos »: la fuente de datos que deseas depurar.
  • Seleccionar columna a la que aplicar el diccionario: la columna que se analizará.

3. Opciones de salida

Elige qué ocurre cuando se encuentra un texto de origen (consulta la sección «Explicación de las opciones de salida» más abajo). En el caso de «Reemplazar por texto estandarizado», selecciona también la columna del diccionario que contiene el texto de sustitución. A continuación, elige dónde se guardará el resultado:

  • Modificar los datos existentes: los valores depurados sobrescriben la columna seleccionada.
  • Nombre de la nueva columna: se conserva la columna original y el resultado se escribe en una nueva columna. Elige una columna de la fuente de datos del diccionario para asignarle el nombre de la nueva columna, o marca la casilla «Personalizar nombre de columna » y escribe uno.
  • Crear columna de indicador: no modifica los datos y solo añade la nueva columna, por lo que puedes comprobar qué habría cambiado antes de confirmar el cambio.

Haz clic en «Guardar y añadir a la lista de tareas». La regla se añade a la lista de tareas del módulo y se ejecuta junto con el resto de tus tareas de limpieza. La coincidencia no distingue entre mayúsculas y minúsculas.

Opción 2: Crear y aplicar un diccionario

Utiliza esta opción cuando aún no dispongas de un diccionario. Match Data Pro lee los valores distintos de una columna, te muestra la frecuencia con la que aparece cada uno y te permite decidir qué hacer con cada uno de ellos, todo ello en una sola pantalla.

Elabora la lista de palabras

  1. Selecciona la fuente de datos y la columna de la que deseas extraer el diccionario.
  2. Elige cómo se muestran los valores. La opción «Mostrar el valor completo de la celda » hace que cada valor distinto de una celda ocupe una fila. La opción «Mostrar palabras delimitadas» divide las celdas en palabras individuales utilizando los delimitadores que introduzcas (por defecto, el espacio, el punto y coma y la coma), lo que te permite estandarizar palabras sueltas dentro de un texto más largo.
  3. Haz clic en «Mostrar datos». La tabla muestra todas las palabras distintas junto con su «Recuento» (cuántos registros las contienen) y su «Recuento de caracteres».

Decide qué hacer con cada palabra

Cada fila tiene tres controles:

  • Sustitución: escribe el valor estandarizado que debe sustituir a la palabra.
  • Nombre de la nueva columna: para escribir el resultado en una nueva columna en lugar de modificar la original, escribe aquí el nombre de la columna.
  • Eliminar: marca esta casilla para eliminar la palabra de los datos dondequiera que aparezca.

Utiliza las «Acciones masivas» para aplicar un ajuste a varias filas a la vez: marca las filas y, a continuación, selecciona «Reemplazar por», «Nueva columna para» o «Marcar para eliminar » e introduce el valor.

Modo de búsqueda y coincidencia

El cuadro de búsqueda filtra la lista de palabras. Las dos iconos situados junto a él controlan tanto la búsqueda como la forma en que la regla se aplica al ejecutarse:

  • Y / O: cuando se utilicen varios términos de búsqueda, se mostrarán las filas que contengan todos ellos o cualquiera de ellos.
  • Completa / Parcial: la opción «Completa» solo encuentra coincidencias cuando la palabra es el valor completo de la celda (o una palabra completa delimitada, si se utilizan delimitadores). La opción «Parcial» encuentra coincidencias cuando la palabra aparece en cualquier parte del texto, por lo que «Inc» también coincidiría con «Incorporated». La opción «Completa» es la predeterminada y la más segura.

La opción «Añadir como columna de indicador » funciona igual que en la Opción 1: los datos originales no se modifican y solo se escriben las nuevas columnas. Cuando está activada, cada fila que tenga una «Sustitución» debe tener también un «Nombre de nueva columna».

Importación, exportación y despacho de aduana

  • La función «Exportar» guarda la tabla como una nueva fuente de datos en el proyecto, con el nombre que introduzcas, para que puedas reutilizar el diccionario en otros proyectos o editarlo en una hoja de cálculo. Las columnas exportadas son «word», «replacement», «new_column» e «is_delete».
  • La función «Importar» vuelve a cargar en la tabla una fuente de datos de diccionario exportada anteriormente. Se omiten las filas cuya palabra ya figura en la tabla, y se indica cuántas son.
  • La opción «Borrar tabla » vacía la lista para que puedas empezar de nuevo.

Cuando hayas terminado, haz clic en «Guardar y añadir a la lista de tareas ». Solo se guardarán las filas en las que se haya marcado la casilla «Sustitución», «Nuevo nombre de columna» o «Eliminar».

Explicación de las opciones de salida

Estas opciones aparecen en la Opción 1 y determinan qué ocurre con una celda cuando se encuentra en ella una de las palabras del diccionario.

OpciónPara qué sirveEjemplo con la palabra del diccionario «Street» y el texto estandarizado «St»
Sustituir por texto estandarizadoSustituye la palabra por el valor de la columna «estandarizada» del diccionario.«12 Main Street» pasa a ser «12 Main St»
Eliminar solo valoresElimina la palabra y deja el resto de la celda.«12 Main Street» pasa a ser «12 Main» (fíjate en el espacio al final)
Eliminar valores (del principio y del final)Elimina la palabra junto con los espacios que la rodean, de modo que no queden espacios sobrantes.«12 Main Street» pasa a llamarse «12 Main»
Borrar todo el contenido de una celdaVacía cualquier celda que contenga esa palabra.«12 Main Street» queda en blanco

En la Opción 2 se establecen los mismos resultados para cada fila: rellena el campo «Sustitución» para sustituir, marca la casilla «Eliminar» para borrar y rellena el campo «Nombre de la nueva columna » para escribir en una nueva columna.

Consejos

  • Empieza por un perfil. Aplica primero el Data Profiler a la columna. El recuento de valores te indicará qué variaciones merece la pena estandarizar.
  • Utiliza la opción «Mostrar palabras delimitadas» para los campos que contienen varias palabras. Las líneas de dirección, los nombres de empresas y las descripciones de productos suelen requerir diccionarios a nivel de palabra, mientras que los códigos de estado y las categorías funcionan mejor como valores de celda completos.
  • Es preferible utilizar la búsqueda completa. La búsqueda parcial es muy útil, pero puede modificar palabras que no deseabas cambiar, como, por ejemplo, sustituir «St» dentro de «Stuart». Utiliza la búsqueda parcial solo cuando sea necesario.
  • Empieza por utilizar una columna de marca. Con las opciones «Crear columna de marca» o «Añadir como columna de marca», puedes previsualizar exactamente qué registros se verían afectados por un diccionario antes de realizar ningún cambio.
  • Exporta los diccionarios que crees. Un diccionario exportado es una fuente de datos normal, por lo que puedes compartirlo entre proyectos, editarlo en Excel e importarlo de nuevo.
  • Ordenar por número de apariciones. Corregir primero las variaciones más frecuentes te permite obtener la mayor mejora con el menor esfuerzo.

Preguntas frecuentes

La opción 1 aplica un diccionario que ya existe como fuente de datos en tu proyecto. La opción 2 crea un diccionario a partir de los valores de tus datos y lo aplica en un solo paso. Todo lo que crees con la opción 2 se puede exportar como fuente de datos y utilizarse posteriormente con la opción 1.

No. «street», «Street» y «STREET» coinciden todas con la palabra del diccionario «Street».

La opción «Coincidencia completa» busca solo valores completos o palabras completas cuando se utilizan delimitadores. La opción «Coincidencia parcial» busca el texto dondequiera que aparezca, incluso dentro de otras palabras. La opción «Coincidencia completa» es la predeterminada.

Solo si seleccionas «Modificar datos existentes» o configuras una opción de «Sustitución» o «Eliminar» sin indicador ni nueva columna. Selecciona «Nombre de nueva columna», «Crear columna de indicador» o «Añadir como columna de indicador» para mantener intacta la columna original.

Sí. Exporta los datos desde la Opción 2 como fuente de datos, luego importa esa fuente de datos al otro proyecto y aplícala con la Opción 1, o utiliza la opción «Importar» de la Opción 2.

Un diccionario exportado es una fuente de datos del proyecto, por lo que cualquier persona con acceso al proyecto puede utilizarlo. Los miembros del equipo también pueden importarlo a sus propios proyectos.

No. Las reglas del diccionario se ejecutan en segundo plano junto con el resto de tus tareas de limpieza, y puedes seguir trabajando en Match Data Pro mientras se procesan.

Comienza tu primer proyecto

Para comenzar, haga clic en el botón Nuevo proyecto desde el panel de control.