XML es un formato universal
para los datos en diferentes plataformas, y hay muchas empresas que trabajan
con datos XML y envían y reciben datos a través de sistemas como archivos XML.
Hay algunas operaciones que pueden ser hechas con los datos XML: validación de
archivos XML a través de archivos XSD o DTD, transformación de datos XML con
XSLT, consulta de datos de XML con XPath, y otras operaciones que son soportadas
en muchas aplicaciones y lenguajes de programación de hoy en día.
La tarea XML de SSIS es una
tarea poderosa que proporciona algunas de estas operaciones sobre los datos
XML. En este ejercicio, traemos los datos de una tabla como XML, lo validamos
en un archivo XSD, y luego lo transformamos con XSLT.
Alistarse
1. Guarde el contenido de books.xml y books.xsd de
esta dirección en archivos físicos: http://msdn.microsoft.com/en-us/library/ms762258(v=VS.85).aspx.
2. Crear un nuevo archivo vacío en esta dirección: C:\SSIS\Control Flow\Archivos\xslt_result.xml.
Ejercicio
1. Crear un nuevo proyecto SSIS y nómbrelo TareaXML.
2. Crear una nueva variable de tipo String
de alcance paquete; nómbrelo IsValid.
3. Arrastre y suelte una Tarea XML
desde la Toolbox SSIS en el Control Flow.
4. Haga doble clic en la Tarea XML
y abra el XML Task Editor.
5. En la pestaña General
establezca OperationType como Validate.
6. Establezca SourceType como File Connection, y crear un nuevo
administrador de conexión de archivo para el archivo books.xml en
la propiedad Source.
7. Establezca SaveOperationResult
como True.
8. En la sección OperationResult,
establezca DestinationType como Variable, y establezca Destination como User::IsValid y OverwriteDestination
como True.
9. Establecer SecondOperandType
como File Connection y crear un nuevo
administrador de conexión de archivo para books.xsd en
la propiedad SecondOperand.
10. Verifique si la ValidationType
es XSD, y verifique si sus ajustes coinciden con los de la siguiente captura de
pantalla:
11. Haga clic en OK y cierre la Tarea XML.
12.
Añadir una Tarea Script de la Toolbox SSIS
en el Control Flow inmediatamente
después de la Tarea XML y dele doble clic, escriba User::IsValid en la propiedad ReadOnlyVariables,
y luego, haga clic en Edit Script y
escriba una línea de código para MessageBox como son mostrados a
continuación en el método Main() de los scripts:
public
void Main()
{
MessageBox.Show(
string.Format("Validation Result: {0}",
Dts.Variables["User::IsValid"].Value));
Dts.TaskResult = (int)ScriptResults.Success;
}
13.
Una la tarea XML con la tarea
Script, con la flecha verde. Ejecute el paquete y verifique el valor del cuadro
de mensaje; verá Validation Result: false.
14.
Crear un nuevo paquete y realizar
todos los pasos del 2 al 12 de nuevo para este nuevo paquete,
esta vez cambiar la conexión de archivo SecondOperand
para que apunte al archivo books_new.xsd (este es un archivo modificado de books.xsd, se encuentra en la sección Funcionamiento más adelante).
15.
Ejecute el paquete de nuevo, y
esta vez obtendrá Validation Result:true.
16.
Crear un nuevo paquete y nómbrelo XSLT.
17.
Arrastrar y soltar una Tarea XML de la Toolbox SSIS en el Control
Flow. Haga doble clic en la Tarea
XML y abra el XML Task Editor.
18.
Establecer la OperationType como XSLT.
19.
Establezca SourceType como File Connection
y crear una conexión a books.xml en la propiedad Source.
20.
Establecer la SecondOperandType como File Connection
y crear una conexión de archivo para el archivo books.xslt (este es un archivo que se encuentra
en la sección Funcionamiento más
adelante) en la propiedad SecondOperand.
21.
Establecer la SaveOperationResult como True. Bajo OperationResult, establezca la DestinationType
como File Connection y crear una
conexión de archivos para xslt_result.xml bajo la propiedad Destination; establecer la OverwriteDestination como True.
22. Verifique todas las configuraciones con la siguiente captura de
pantalla:
23.
Cerrar la Tarea XML y ejecutar el
paquete. Después de ejecutar el paquete, verifique el contenido del archivo xslt_result.xml. Debería ver una versión transformada de los datos de books.xml en un nuevo estilo.
Funcionamiento
La
Tarea XML proporciona operaciones amplias para datos XML. Para elegir qué hacer
con la Tarea XML debemos establecer la propiedad OperationType.
Para los
primeros trece pasos de este ejercicio utilizamos la Tarea XML para validar los
datos XML sobre un archivo de estructura XSD. Para este ejemplo, establecemos
la OperationType como Validate. Validate comprobará la validez
de los datos XML sobre archivos de estructura XSD o DTD.
Como
XML es una forma estándar de almacenar los datos y es ampliamente utilizada en
aplicaciones y lenguajes de programación, hay una necesidad de definir la
sintaxis para los datos XML. Cuando almacenamos datos en una tabla de SQL
Server, debemos obedecer las reglas definidas en el momento de diseñar la tabla
que define la estructura de la tabla.
Podemos
crear un archivo para la sintaxis y la estructura de datos XML. La estructura
XML puede ser definida de tres maneras: DTD, XDR, y XSD. Cada una de estas
formas tiene su propio formato para la definición de la estructura. Una
explicación de la diferencia entre ellos está más allá del alcance de este post;
puede leer más acerca de estos tipos y cómo utilizar sus métodos de validación
en lenguajes .NET en http://support.microsoft.com/kb/307379.
La Tarea
XML de SSIS soporta sólo DTD y XSD para validación. Podemos elegir el tipo de
validación por la propiedad ValidationType
en la ficha General del XML Task
Editor.
También
puede configurar la Tarea XML para fallar si la validación sobre el archivo de
esquema (archivo DTD o XSD). Por ello conviene establecer FailOnValidationFail a True. Esta opción es False por defecto.
Cada
operación en la Tarea XML necesita dos operandos; en las primeras doce partes
de nuestro ejercicio utilizamos Validate, que necesita dos operandos; el primer
operando es los datos XML y el segundo operando es su esquema.
Establecemos
Source como la conexión de archivos books.xml, que obtiene datos XML desde el archivo books.xml, el primer operando en la Tarea XML.
Establecemos
el segundo operando como una conexión de archivos que apunta al archivo XSD books.xsd.
Tanto
el origen y el segundo operando pueden ser una File Connection, Variable,
o Direct input.
El
resultado de la Tarea XML en cada operación es diferente, pero en todos los
casos el resultado puede guardarse en algún lugar. En este ejemplo, utilizamos
una variable String llamada IsValid para almacenar el resultado de la Tarea XML.
También establecemos las propiedades que almacenan resultados XML en la sección
Output de la ficha General del XML Task Editor.
Después
de describir las diferentes opciones en el XML Task Editor, es el momento para describir
cómo el XML será validado sobre el XSD. Echemos un vistazo a los datos XML
primero. Los datos del archivo books.xml es similar al siguiente:
<?xml version="1.0"?>
<x:books xmlns:x="urn:books"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="urn:books
books.xsd">
<book
id="bk001">
<author>Hightower,
Kim</author>
<title>The
First Book</title>
<genre>Fiction</genre>
<price>44.95</price>
<pub_date>2000-10-01</pub_date>
<review>An
amazing story of nothing.</review>
</book>
<book
id="bk003">
<author>Nagata,
Suanne</author>
<title>Becoming
Somebody</title>
<genre>Biography</genre>
<review>A
masterpiece of the fine art of gossiping.</review>
</book>
<book
id="bk002">
<author>Oberg,
Bruce</author>
<title>The
Poet's First Poem</title>
<genre>Poem</genre>
<price>24.95</price>
<review>The
least poetic poems of the decade.</review>
</book>
</x:books>
Los
datos XML contienen múltiples elementos de libros y cada elemento de libro
tiene algunos sub-elementos, tales como autor, título, género, precio, fecha_pub,
y revisión. Describir la estructura de XML está más allá del alcance de este post;
puede leer más acerca de XML en http://www.w3schools.com/xml/default.asp.
El
esquema para este XML está en el archivo books.xsd, y el esquema se ve así:
<xsd:schema
xmlns:xsd="http://www.w3.org/2001/XMLSchema"
targetNamespace="urn:books"
xmlns:bks="urn:books">
<xsd:element name="books"
type="bks:BooksForm"/>
<xsd:complexType
name="BooksForm">
<xsd:sequence>
<xsd:element
name="book"
type="bks:BookForm"
minOccurs="0"
maxOccurs="unbounded"/>
</xsd:sequence>
</xsd:complexType>
<xsd:complexType
name="BookForm">
<xsd:sequence>
<xsd:element
name="author" type="xsd:string"/>
<xsd:element
name="title" type="xsd:string"/>
<xsd:element
name="genre" type="xsd:string"/>
<xsd:element
name="price" type="xsd:float" />
<xsd:element
name="pub_date" type="xsd:date" />
<xsd:element
name="review" type="xsd:string"/>
</xsd:sequence>
<xsd:attribute
name="id" type="xsd:string"/>
</xsd:complexType>
</xsd:schema>
Como
se puede ver en el XSD, la información de esquema es descrita. Cada elemento de
libro consiste de un tipo de datos complejo, que contiene sub-elementos autor,
título, género, precio, fecha_pub, y revisión, y el tipo de datos de cada
elemento es definido en el atributo type.
Note
que cuando minOccurs
no está definido en un elemento, ese elemento será considerado como requerido.
Esto significa que más allá de que todos los elementos deben existir para cada
elemento de libro, y si uno de estos sub-elementos están faltando, la
validación sobre esta XSD retornará False.
Esto es el por qué la variable IsValid tenía un valor False en el
paso 13.
Cambiamos
el XSD en el paso 14 y creamos un
nuevo archivo XSD llamado books_new.xsd. La información de esquema para este archivo aparece como sigue:
<xsd:schema
xmlns:xsd="http://www.w3.org/2001/XMLSchema"
targetNamespace="urn:books"
xmlns:bks="urn:books">
<xsd:element name="books"
type="bks:BooksForm"/>
<xsd:complexType
name="BooksForm">
<xsd:sequence>
<xsd:element
name="book"
type="bks:BookForm"
minOccurs="0"
maxOccurs="unbounded"/>
</xsd:sequence>
</xsd:complexType>
<xsd:complexType
name="BookForm">
<xsd:sequence>
<xsd:element
name="author" type="xsd:string"/>
<xsd:element
name="title" type="xsd:string"/>
<xsd:element
name="genre" type="xsd:string"/>
<xsd:element
name="price"
type="xsd:float"
minOccurs="0" maxOccurs="unbounded" />
<xsd:element name="pub_date"
type="xsd:date"
minOccurs="0" maxOccurs="unbounded" />
<xsd:element name="review"
type="xsd:string"/>
</xsd:sequence>
<xsd:attribute
name="id" type="xsd:string"/>
</xsd:complexType>
</xsd:schema>
En
este nuevo archivo de esquema note la parte en negrita para los sub-elementos price y pub_date. Definimos la minOccurs como 0; esto significa que price y pub_date serán elementos opcionales y que omitir estos
sub-elementos no causarán al XML a fallar sobre la validación. Esta fue la
razón por la cual la variable IsValid era True en el paso 15.
Desde
el paso 16 empezamos otro ejemplo de
una Tarea XML con la OperationType a XSLT.
XSLT significa eXtensible
Stylesheet Language Transformation. XSLT es un lenguaje de hoja de estilo común, que proporciona una manera
de transformar los datos XML existentes a un nuevo estilo. Esta operación es
una manera muy útil para disminuir la complejidad de los datos XML. Si tratamos
de leer los datos XML complejos con XML Source, vamos a obtener resultados
extraños, y el XML Source a veces no resolverá estructuras de datos XML
complejas. Aquí es donde la Tarea XML con la OperationType a XSLT entra en
juego. Con XSLT simples podemos transformar el XML existente a datos XML más sencillos.
En
este ejemplo, nuestro archivo books.xml es bastante simple y no hay necesidad de cambiarlo. Sin embargo, supongamos
que queremos traer sólo las partes del autor y el título del XML y ellos tienen
atributos en lugar de sub-elementos.
Así
creamos el código XSLT para hacer esta transformación, la XLST en nuestro
ejemplo luce así:
<?xml version='1.0' ?>
<xsl:stylesheet version="1.0"
xmlns:xsl="http://www.w3.org/1999/XSL/Transform"
xmlns:x="urn:books"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="urn:books
books.xsd">
<xsl:output
method="xml" indent="yes" version="2.0"
encoding="UTF-8"
/>
<xsl:template
match="/">
<xsl:element
name="x:books">
<xsl:for-each
select="x:books/book">
<xsl:element
name="book">
<xsl:attribute
name="author">
<xsl:value-of
select="./author"/>
</xsl:attribute>
<xsl:attribute name="title">
<xsl:value-of
select="./title"/>
</xsl:attribute>
</xsl:element>
</xsl:for-each>
</xsl:element>
</xsl:template>
</xsl:stylesheet>
Los
detalles de la sintaxis y el lenguaje XSLT están más allá del alcance de este post;
puede aprender más sobre XSLT de http://www.w3schools.com/xsl/default.asp.
El
resultado de aplicar este XSLT en los datos de books.xml (que ya está almacenada en xslt_result.xml) luce así:
<?xml version="1.0"
encoding="utf-8"?>
<x:books xmlns:x="urn:books">
<book
author="Hightower, Kim" title="The First Book" />
<book
author="Nagata, Suanne" title="Becoming Somebody" />
<book
author="Oberg, Bruce" title="The Poet's First Poem" />
</x:books>
Cada
libro es dividido en un elemento y los subelementos autor y título son
transformados en atributos en la nueva estructura de datos XML.
Adicional
Hay
más operaciones que la Tarea XML proporciona para trabajar con datos XML; vamos
a explorar esas operaciones.
XPath
XPath
es un lenguaje de consulta para XML. Podemos obtener los datos de XML con
consultas XPath. La sintaxis y la estructura de consultas XPath pueden ser encontradas
aquí: http://www.w3schools.com/xpath/default.asp.
Supongamos
que queremos obtener el título de todos los nodos y crear un nuevo archivo con los
nodos de título solamente. Así que trataremos de hacer esto con estos pasos:
1.
Arrastrar
y soltar una nueva Tarea XML desde
el Toolbox SSIS en el Control Flow, y en el editor XML, establecer
la OperationType como XPath.
2.
Establecer
Source como una File Connection a books.xml.
3.
Establecer
SecondOperandType como Direct input, y establecer SecondOperand como x:books/book/title.
4.
En Namespaces añadir un elemento con un
prefijo como x, y URI como urn:books.
5.
Establecer
XPathOperation como Node list.
6.
Establecer
las propiedades Output para guardar la
salida al archivo xpath_result.txt.
7. Confirmar todas sus configuraciones con esta captura
de pantalla:
8.
Ejecute el paquete y verifique el archivo
xpath_result.txt por los resultados; debería lucir como esto:
<title>The
First Book</title>
<title>Becoming
Somebody</title>
<title>The
Poet's First Poem</title>
Merge
Con
la operación Merge podemos fusionar dos archivos XML, el primer archivo XML será
configurado en Source, y el segundo
archivo será configurado en SecondOperand.
La Tarea XML fusionará el contenido del segundo archivo XML en el primer
archivo XML.
Diff
Esta
operación comparará el primer archivo XML con el segundo archivo y genera un
documento DiffGram con las diferencias
entre los dos archivos XML de entrada.
En la
operación Diff podemos elegir algunas opciones, como ignorar los comentarios, namespaces,
prefijos y otras opciones muy claras que no necesitan mayor explicación.
Patch
Patch
aplicará el resultado de un documento DiffGram (que es el resultado de una
operación Diff sobre dos documentos XML), y crear un documento XML padre que
contiene el contenido del documento DiffGram.
Más explicación sobre Diffgram
puede ser encontrado aquí: http://msdn.microsoft.com/enus/library/aa302295.aspx.
