Archivo por meses: marzo 2018

Hyper: Revolucione sus motores de datos

Hyper es la nueva tecnología de motor de datos en memoria de alto rendimiento de Tableau, diseñada para acelerar la ingesta de datos y el procesamiento analítico de consultas en conjuntos de datos grandes y complejos.

Hyper, la tecnología incluida en Tableau 10.5, optimiza la creación de extracciones, actualiza el rendimiento y admite conjuntos de datos aún más grandes. Esto le permitirá beneficiarse de velocidades de consultas cinco veces más rápidas y una velocidad de creación de extracciones hasta tres veces mayor. Como resultado, los clientes pueden crear las extracciones en función de las necesidades de su negocio, sin preocuparse por establecer limitaciones. Asimismo, para mantener a los clientes en el flujo de análisis, Hyper puede completar consultas sobre grandes conjuntos de datos en solo unos segundos. Gracias al rendimiento acelerado de las consultas, los dashboards complejos se abren con mayor rapidez, los filtros son más veloces y la incorporación de nuevos campos a las visualizaciones es casi instantánea. Hyper tiene sus orígenes en la Universidad Técnica de Múnich (TUM), en Alemania. Más tarde, Tableau adquirió la filial comercial e integró la tecnología al producto en menos de 18 meses.

Hyper también ayuda a los clientes a adaptar sus extracciones para un uso más amplio. Para ello, aprovecha los avances en procesadores de múltiples núcleos y la implementación de novedosas técnicas de paralelización de las cargas de trabajo. La tecnología Hyper constituye un rápido sistema en memoria diseñado para ejecutar cargas de trabajo transaccionales y analíticas sin afectar al rendimiento. Mediante el uso de técnicas de optimización de consultas innovadoras y un estado de almacenamiento en la misma columna para todas las cargas de trabajo, Hyper ayudará a acercar a los clientes a sus datos.

hyper1

Diseño exclusivo de Hyper

Durante la última década, los motores de datos en memoria y las tecnologías de análisis de bases de datos incorporaron distintas técnicas, como el muestreo y el resumen. Con ellas, lograron incrementar enormemente el rendimiento de las consultas. Sin embargo, estas mejoras de rendimiento tuvieron un costo. Muchos sistemas sacrificaron rendimiento de escritura (indispensable para la velocidad en la creación de extracciones y las actualizaciones) en pro de optimizar el rendimiento de la carga de análisis. Cuando la escritura es lenta, los datos pierden relevancia y se vuelven obsoletos. ¿Cuál fue el resultado? Se generó una desconexión entre las personas y los datos que estas deseaban analizar. La misión de Hyper es acercar los datos a las personas mediante una escritura y una carga de análisis veloces. En resumen, Hyper proporciona datos actualizados con rapidez. De ese modo, le permite analizar una vista más amplia y completa de sus datos.

Redefinición de la arquitectura de sistema: un estado para las transacciones y las consultas analíticas

Con Hyper, las transacciones y las consultas analíticas se procesan en el mismo almacén de columnas, sin necesidad de volver a procesar los datos después de su obtención e importación. Así, se reduce la cantidad de datos obsoletos y se minimiza la desconexión entre los sistemas especializados. La metodología exclusiva de Hyper admite la combinación de intensas cargas de trabajo de escritura y lectura en un mismo sistema. En consecuencia, se pueden crear extracciones con rapidez sin sacrificar el rendimiento de consulta. Se gana en todos los frentes.

hyper2

Una nueva metodología para la ejecución de consultas: generación de código dinámico

Hyper usa un novedoso modelo de ejecución de compilación JIT (Just-In-Time). Muchos otros sistemas usan modelos tradicionales de ejecución de consultas que no pueden aprovechar por completo el hardware moderno de varios núcleos. Por el contrario, Hyper optimiza y compila las consultas en código informático personalizado para hacer un uso más eficaz del hardware subyacente. Cuando Hyper recibe una consulta, crea un árbol, lo optimiza de manera lógica y, después, lo usa como modelo para generar el programa específico que se va a ejecutar. Como resultado, se optimiza el uso del hardware moderno para una ejecución de consultas más rápida.

hyper3

Mayor aprovechamiento del hardware: paralelización basada en fragmentos

Hyper fue diseñado desde cero para entornos grandes de varios núcleos. Este modelo de paralelización se basa en unidades de trabajo muy pequeñas (fragmentos). Estos fragmentos se asignan de manera eficaz a todos los núcleos disponibles y permiten a Hyper responder, con mayor precisión, ante las diferencias de velocidad de los núcleos. En consecuencia, el hardware se usa con mayor eficacia y el rendimiento es superior.

hyper4

Actualización del extracto a formato .hyper

En esta versión de Tableau (a partir de la 10.5), los nuevos extractos utilizan el formato .hyper en lugar del formato .tde.

Aunque existen muchas ventajas ya mencionadas en el uso de extractos .hyper, las ventajas principales son las siguientes:

  • Crear extracciones de mayor tamaño: las extracciones en formato .hyper pueden contener miles de millones de filas de datos. Como las extracciones .hyper admiten más datos, puede utilizar la versión de Tableau Desktop 10.5 para consolidar las extracciones .tde que anteriormente tenía que crear por separado.
  • Creación y actualización más rápida de extractos: mientras que Tableau siempre ha optimizado el rendimiento para la creación y actualización de extractos, esta versión admite la creación y actualización de extractos para conjuntos de datos aún más grandes.
  • Un mejor rendimiento al interactuar con las vistas que utilizan fuentes de datos de extracción de mayor tamaño: vistas que utilizan fuentes de datos de extracción para obtener un mejor rendimiento que el que tenían anteriormente. Aunque las extracciones más pequeñas siguen funcionando eficazmente, las de mayor tamaño tienen un rendimiento más eficiente.

Más allá del auge del Big Data

La explosión de los datos

Los datos tienen el poder de transformar de gran manera cada industria o negocio, e incluso el cómo nosotros llevamos nuestra vida diaria, los datos pueden hacer que los negocios de cualquier tamaño agreguen valor e impulsen mayor competitividad, no me refiero únicamente a las grandes compañías que integran una cantidad de datos impresionante de manera masiva, sino a cualquier negocio incluso al más pequeño que se aprovecha de los datos de las redes sociales para entender mejor a sus consumidores.

El término “Big Data” se refiere a estos enormes conjuntos de datos que estamos construyendo, así como a la interpretación, análisis y acciones que tomamos en base a los conocimientos adquiridos, derivados de ésta.

Young man pointing at Big Data concept over a tabletLos grandes monstruos online como Google, Facebook y Amazon, recaban grandes cantidades de datos de las personas y usan esta información para determinar lo que la gente quiere, así como para vender servicios de publicidad dirigida, en Latinoamérica un ejemplo es Mercado Libre y BestDay.

Cuantas veces hemos hecho búsquedas en diversos servicios de compra en línea o hemos reservado boletos para un determinado tipo de película y posteriormente cuando estamos navegando, por simplemente revisar las publicaciones de Internet, nos aparecen -sin pedirlo- notas relacionadas al producto que estábamos buscando o publicaciones del tipo de película que reservamos los boletos, es aquí en donde vemos como la información de nuestras preferencias, recolectada por estos monstruos se aplica.

Hay que considerar que el aprovechamiento de los datos no es solo para los grandes jugadores como mencionábamos en un inicio, no importa si se es grande o pequeño, los datos tienen valor para cada empresa en cualquier industria.

El Internet de las cosas (IoT)

Parte de la explosión de los datos es el Internet de las Cosas (IoT) también conocido como el Internet de Todo (IoE), referido a los diversos dispositivos existentes en el mercado que recaudan datos y los transmiten vía Internet; tales como los teléfonos inteligentes, relojes deportivos, bandas deportivas, incluso televisores, refrigeradores y otros aparatos electrónicos de uso frecuente.

Estos pequeños dispositivos están transformando nuestro mundo, nuestras casas, nuestros autos y nuestros negocios, se estima que para el año 2020 un cuarto de billón de autos estén conectados a Internet, permitiendo un amplio abanico de servicios, incluyendo el manejo automatizado.

El advenimiento de los dispositivos “wereables” (aquellos que usan las personas sobre si mismos como relojes inteligentes, medidores de rendimiento de ejercicio, etc.) ha sido un hito tecnológico crucial para el Internet de las Cosas. Una de cada seis personas usa alguno de estos dispositivos de una manera u otra y estas unidades crean una riqueza de datos que muchos negocios están considerando, extrayendo de ellos datos valiosos para provecharlos.

Estos pequeños dispositivos no sólo se conectan a Internet, sino que se comunican entre ellos y comparten información. De hecho, las conexiones máquina a máquina crecerán a 27 billones para el 2024.

Imagínense, en un futuro no muy lejano, que su refrigerador pueda detectar que la leche ya está cerca de caducar o que los huevos están cerca de agotarse y que automáticamente le envié un mensaje a su reloj inteligente para notificarle la situación, al tiempo que automáticamente hace el pedido a su tienda en línea; así, al llegar a casa usted encontrará el paquete del mercado en su puerta.

En conclusión…

Cada vez será mayor la cantidad de datos que se generaran, así que las empresas que sepan aprovechar estos enormes conjuntos de datos serán las que se mantendrán y prosperaran en el futuro, las demás desaparecerán irremediablemente.

Dentro de las empresas de tecnología, aquellas que desarrollen manejadores de bases de datos más eficientes: preparados para el procesamiento de cantidades de datos jamás imaginadas, con tiempos de respuesta a las peticiones de consulta muy cortos y con un uso eficiente de las capacidades de computo; que desarrollen nuevas tecnologías que lleven a una analítica poderosa, pero de fácil acceso y manipulable directamente por los usuarios, con una manera de comunicación de resultados muy visual y en menor tiempo, serán las triunfadoras.

¿Cuándo usar NoSQL y qué familia usar?

Hoy en día las tecnologías han avanzado a paso agigantados, lo que antes conocíamos como las mejores prácticas que daban excelentes soluciones a los problemas organizaciones, en la actualidad deben ser bien evaluadas para determinar si convienen o no al negocio.

En este post en particular versaremos sobre los datos, su almacenamiento y cuando es conveniente salirse de “lo tradicional” y aplicar una Base de Datos NoSQL.

Los gestores de Base de Datos utilizados por muchos años como los Relacionales (RDBMS) han sido los preferidos de las empresas para manipular y almacenar sus datos de forma fácil, rápida y segura. Pero, teniendo en cuenta que su modelo es relacional, los datos se representan mediante un conjunto de tablas vinculadas entre sí. Es por ello que cuando se hacen consultas por lo general implica unir estos conjuntos, lo cual es costoso a nivel de los recursos del equipo.

Sin embargo, en la actualidad ha surgido una tendencia muy importante en el mundo de las Bases de Datos: las NoSQL (Not-Only SQL). Creadas en 1998 por Carlo Strozzi, quien empleó ese término para expresar que su base de datos era open-source, ligera y que no presentaba una interfaz de SQL tradicional.

Estas bases de datos NoSQL difieren del modelo clásico de relaciones entre entidades (tablas), y no usan SQL como lenguaje de consultas. También utilizan varios modelos de datos como los documentos, gráficos, claves-valores y columnas. Las bases de datos NoSQL se distinguen por su fácil desarrollo, desempeño escalable, alta disponibilidad y adaptabilidad.

Ahora bien, la gran pregunta ¿Cuándo usar NoSQL? Todo dependerá de las necesidades del proyecto. Si se necesita escalabilidad, hay escases de recursos físicos y, sobre todo, no se necesita mantener la integridad de los datos, se podría elegir una base de datos como esta. También se debe tener en cuenta el gran volumen de los datos, cómo leerlos de manera rápida y sencilla. Ya que algunas NoSQL pueden devolver esa cantidad de registros en un archivo JSON y después son manipulados desde ahí.

Los principales proyectos donde se sugiere utilizar NoSQL son:

  • Redes sociales
  • Desarrollo Web
  • Desarrollo Móvil
  • BigData
  • Cloud (XaaS)

¿Cuáles son las ventajas y desventajas de las Bases de Datos NoSQL?

Captura de pantalla 2018-03-10 18.47.32

Dar clic para agrandar

 

En suma, existen varias opciones en cuanto al almacenamiento y manipulación de nuestros datos, sólo debemos tener en cuenta qué se quiere lograr en el proyecto, qué tipo de información estamos manejando y evaluar bien cuál formato conviene utilizar, para darle la mejor utilidad posible a la tecnología que se decida implementar.

¿Microsoft destronó a Tableau?

Cada mes de febrero escuchamos comentarios sobre el “Cuadrante mágico de Gartner” pero sabemos en realidad cómo leer este análisis, los invitamos a ir más allá de la “distribución espacial” de los puntos azules en estos cuatro cuadros…

Recientemente fuimos parte de los resultados actualizados del cuadrante mágico de Gartner y hubo un gran rebullicio entre los usuarios de la herramienta de visualización analítica Tableau ¿Será posible que Power BI haya desplazado a Tableau como líder del mercado?

En primer lugar, es importante aclarar quién es Gartner y por qué es tan relevante su medición del uso de estas herramientas:

  1. Gideon Gartner es el autor de los experimentos mentales “Stalking Horses”, que despiertan el pensamiento innovador. Este método gráfico evolucionó en los años 90 hasta llegar a convertirse en una investigación oficial.
  2. Gartner Inc. es una empresa consultora y de investigación de las tecnologías de la información(TI) que organiza sus estudios en tres áreas: investigación de mercado, investigación por asuntos e investigación por sectores.
  3. El “Cuadrante mágico de Gartner” es un ranking de los fabricantes de TI con mejores solucionesy productos, creado en 1992 por Jenni Lehman, vicepresidente del grupo de operaciones de investigación de Gartner.
  4. El Cuadrante Mágico tiene dos ejes: el horizontal es “integridad de visión”, refleja cuántas características puede tener un producto y las mejoras innovadoras que están obligando a otros proveedores a reaccionar para mantener el ritmo. El eje vertical es “la capacidad de ejecución” está determinado por los ingresos, el número y calidad de los distribuidores, el número de empleados y su distribución entre las áreas de ingeniería, ventas, soporte y otros asuntos del negocio (Stiennon, 2012).
Capacidad de ejecución Retadores/Aspirantes

Caracterizados por ofrecer buenas funcionalidades y un número considerable de instalaciones del producto, pero sin la visión de los líderes

Líderes

Obtienen la mayor puntuación al combinar su habilidad para ejecutar (lo bien que un vendedor vende y ofrece soporte a sus productos y servicios a nivel global) y el alcance de visión, que se refiere a su potencial

Jugadores de nicho

Enfocados en determinadas áreas o mercados, pero sin capacidad de innovación

Visionarios

Tienen productos que cumplen con los últimos requerimientos del mercado y lo conjuntan con una habilidad para anticiparse a las necesidades futuras, pero no son tan buenos en la ejecución

                                                                                                                                           Integridad de visión

5.-   Esta herramienta representa gráficamente la situación de un producto tecnológico en un momento determinado, muestra una referencia de su comportamiento en el mercado, de cuáles son los fabricantes de productos y/o soluciones mejor valorados. Por ejemplo, una clasificación de líder brinda una ventaja competitiva a la hora de seleccionar un producto o solución y nos indica que este fabricante posee la habilidad de ejecutar el proyecto con una visión orientada a la nuestra organización.

Ahora que ya tenemos más claro el método gráfico es conveniente centrarnos en la ubicación obtenida por una de las herramientas que promovemos y que consideramos revoluciona la forma en que las organizaciones visualizan y potencian sus datos: Tableau.

gartmer_mq20182Tableau se robustece este 2018 con su sexto año de liderazgo en el Cuadrante Mágico de Gartner en análisis e inteligencia de negocios; François Ajenstat (2018) responsable de la gestión de productos para Tableau Software comentó: “lideramos el sector de la BI con una misión que inspira confianza en los clientes (…) Nuestra misión es ayudar a las personas a ver y comprender los datos. Esta misión impulsa nuestra incansable dedicación al cliente, nuestra capacidad de innovar rápidamente y nuestro compromiso con la excelencia operativa. Todo esto hace de Tableau la plataforma de análisis con más menciones y mejor calificada en Gartner Peer Insights”.

Pero, a todos nos generó “ruido” ver a Microsoft tan cerca, casi a la misma altura y un poco más favorecida en el ámbito de “visión” en el cuadrante dedicado a BI y soluciones analíticas ¿Acaso Power BI puede haber sido considerada una marca más visionaria que Tableau?

Efectivamente, Microsoft fue ubicado en la primera posición de “Visión” dentro del cuadrante de Líderes. Todo parece indicar que la decisión de actualizar y modernizar la definición de una plataforma de BI en 2016 transformó positivamente la imagen de esta marca en un mercado que evoluciona con rapidez y que presenta innovaciones constantemente.

“Microsoft está decidido a ofrecer soluciones modernas de BI y análisis para todos los tipos de usuarios y a permanecer como líder y visionario en el tan competitivo ambiente de plataformas de BI” (2016, news.microsoft.com).

Sin embargo, las expectativas de Tableau con el reciente lanzamiento de su nueva versión Hyper 10.5 son potenciar significativamente el uso de su herramienta ofreciendo velocidades de consulta cinco veces más rápidas, triplicando la velocidad en la creación de extracciones y brindando a los usuarios novedades como Tableau Server para Linux, visualizaciones en descripciones emergentes incorporadas y un control adicional de la gobernanza.

Tableau continúa liderando el cuadrante con una “cualidad aspiracional” arrebatadora y una imagen de marca dinámico, fuerte, consistente, cercana y poderosa que vive actualmente un momento de potencialidad, con claras razones para ser los favoritos de las grandes organizaciones:

  1. Los usuarios prefieren el análisis visual intuitivo de Tableau
  2. Es una plataforma flexible que se adapta a la estrategia de datos del cliente
  3. Su innovación está centrada en agregar valor para el cliente
  4. Cuenta con un estándar empresarial para el análisis de autoservicio, impulsado por TI
  5. Ofrece un gran impacto con un costo total de propiedad mínimo
  6. Cuenta con una comunidad apasionada y dedicada a aprender y compartir

A fin de cuentas, no hay que perder de vista que el Cuadrante Mágico es un Stalking Horses: un punto de partida; una ventaja temporal para competir nuevamente por ser más fuerte y derrotar al rival…

Referencias: