Microsoft Fabric – La nueva Solución de Analytics

Visits: 107

Microsoft Fabric finalmente ha sido anunciado como Public Preview durante Microsoft Build 2023.

Y esencialmente, es una nueva herramienta, o bien una especie de nueva herramienta dentro todo el ecosistema de la plataforma de Datos de Microsoft.

Debido a que el anuncio fue de una magnitud importante, es conveniente separar un poco la visión general de Microsoft sobre el mundo de datos y bajar a tierra cada concepto de esta nueva herramienta.

Lo que nos lleva a tratar de responder algunas preguntas iniciales:

  • ¿Qué es Microsoft Fabric?
  • ¿Cómo funciona?
  • ¿Por qué nos debería importar?
  • ¿Realmente todos lo vamos a usar?
  • ¿Lo vamos a usar de repente sin darnos cuenta de que realmente lo hemos activado?
  • ¿Cómo encaja en el mundo existente?
  • ¿Dónde encaja Synapse Analytics?
  • ¿Dónde encaja Power BI?

¿Qué es Microsoft Fabric?

Bien, para comenzar tomando la definición oficial de Microsoft, Fabric se define como como “la plataforma de datos en la era de la IA”.

Es una nueva plataforma de tipo SaaS (Software as a Service) que encapsula todos los diferentes tipos de cargas de trabajo y cómputo que había Synapse analytics en una versión “SaaSificada”, sumado a la agradable facilidad de uso que tenemos en Power BI.

Agrega toda la capacidad de un Lake-House más todas las piezas de Synapse Analytics, traídos a la misma plataforma SaaS que Power BI. Eso es lo que proclama ser Microsoft Fabric.

Si ya somos usuarios de la versión premium de Power BI, algunas de estas características se encontrarán habilitadas a partir de este lanzamiento.

En resumen, Fabric es una plataforma SASS que encapsula Power BI más muchos de los componentes de Synapse Analytics y otras nuevas capacidades.

Haciendo un paralelo, la forma en que se definió a Fabric sería como hablar de Microsoft Office, pero para el mundo de datos.

Por lo que asumiendo los costos (y claramente habrá algunos), sería como usar Office 365. Entonces, si tengo que hacer una presentación podemos utilizar PowerPoint, o Word para componer un documento o si tenemos que hacer cálculos utilizaríamos Excel.

Tomando esta idea como concepto, deberíamos pensar en agrupar bajo un mismo portal todas las actividades de datos. Por ejemplo, un Pipeline de Copy en Data Factory o quizás empezar a trabajar directamente desde un Reporte de Power BI con un conjunto de datos, que a su vez otro usuario puede haber trabajado con un Notebook de Python o mediante un Dataflow.

Un único almacenamiento para gobernarlos a todos

Todas estas cargas de trabajo que mencionamos, si bien pertenecen a productos que ya existían y claramente estaban orientadas a diferentes roles de usuario, ahora se encuentran bajo una misma Suite y cuyo soporte de almacenamiento es común a todas a ellas.

Este es un pilar de Fabric, todo el almacenamiento es un único tipo de storage de tipo Lake.

Microsoft ha presentado este concepto de almacenamiento tipo Lake unificado como si fuese el concepto de OneDrive, pero orientado a cargas de datos.

Hoy todos conocemos el servicio de OneDrive, donde hay Teams y también carpetas de Sharepoint. Y siempre tenemos una copia en sincronía local en nuestros equipos, por lo que toda la organización puede trabajar y compartir los archivos que necesitan.

Y esencialmente, Microsoft está tratando de imitar esta funcionalidad con este almacenamiento Lake, basado en Cloud Storage.

Hasta ahora si teníamos que trabajar con diferentes tipos de archivos o fuentes de datos, incluso en diferentes ubicaciones o nubes, la integración de estos silos de datos requería mucha complejidad para poder conectarnos, copiar o masajear la información.

Esta situación terminaba inevitablemente requiriendo tareas de Data Engineering, pipelines de ETL/ELT o simplemente una de-duplicación de estos datos múltiples veces para poder trabajar con ellos.

Pues bien, ahora Fabric con el almacenamiento unificado de tipo Lake, quiere poner fin a estas tareas complejas presentando una “única” copia de los datos con los que todos los usuarios vamos a poder trabajar.

Y este es un gran concepto, ya que teniendo un único punto de donde parten los datos, se simplifica en una gran medida el trabajo con la seguridad, para decidir quién puede acceder a qué datos, y toda la integración con el resto de las herramientas.

Por otro lado también, se ofrecerá una interfaz similar a OneDrive, llamada OneLake donde podremos interactuar con este almacenamiento para subir, modificar u obtener archivos tan fácilmente como conectarnos con nuestras credenciales incluso desde un desktop.

Un motor para cada tarea

La evolución de las diferentes cargas de trabajo, hacen que un único motor de procesamiento no sea suficiente.

Y es por esto que MS Fabric, nos permite utilizar el poder de los diferentes tipos de motores bajo una misma interfaz y sin tener que preocuparnos de aprovisionar o configurar previamente una capacidad de cómputo específica.

Data Factory

En Fabric nos encontramos con una “evolución” de los pipelines y Mapping Dataflows de Synapse Analytics, que ahora utiliza Power Query para copia y transformación de flujos de datos.

Data Engineering

En cuanto a ingeniería de datos, esencialmente nos encontramos con el motor de Spark que teníamos en Synapse, donde vemos la versión 1.1 que incluye Spark 3.3 y Delta 2.2 y se espera que el ritmo de actualización sea más constante y con una experiencia más continua y que sea completamente transparente con el resto de las piezas de Fabric.

Data Science

Por el lado de Ciencia de Datos, tenemos la capacidad de crear Modelos y Experimientos y luego incluir éstos dentro de un Pipeline con Spark Jobs.

Data Warehousing

Luego llegamos al componente de Data Warehousing, el mundo un poco más conocido para los que trabajamos con T-SQL.

En este motor, tenemos la capacidad de escribir SQL y ejecutar Stored Procedures con cargas de trabajo transaccionales.

Lo que realmente estamos viendo con Fabric es que no vamos a tener que elegir si trabajar con un SQL Pool dedicado y un SQL Pool Serverless. Ahora vamos a tener un único motor SQL que operará con un único almacenamiento de datos que ya se encuentra previamente configurado.

Es quiere decir que todo el almacenamiento de nuestras tablas y registros se encontrará dentro del OneLake y nuevamente con formato Delta.

Real Time Analytics

Este motor de análisis en tiempo real, toma la forma de lo que teníamos en Azure Data Explorer con lenguaje Kusto, para realizar ingesta y consulta de eventos en tiempo real. Este motor permite trabajar y analizar grandes volúmenes de registros en formato de series temporales, que pueden desde luego ser conectados a Power BI.

Data Activator

Este motor quizás sea la pieza de Fabric mas novedosa y permite tomar acciones automáticamente basadas en los datos.

Normalmente para automatizar acciones sobre los datos, se require el desarrollo de código y esto suele ser costoso en tiempo y recursos. Es por esto Fabric ofrece dentro de sus motores a Data Activator con una experiencia “No-Code” para poder tomar acciones directamente desde los datos y sus cambios.

Basado en modelos de datos, reglas de negocio y Triggers que se pueden configurar en forma visual, se crean acciones que pueden desencadenar procesos, alertas y llamadas a otras aplicaciones. Desde un simple email hasta interactuar con Power Automate para crear flujos mas complejos.

Conclusión

Microsoft ha fijado con Fabric una dirección unificada de dónde visualiza sus servicios en términos de datos y análisis en la nube.

Y esto parece ser algo serio, ya que de alguna manera Fabric parece ser el punto de convergencia de las múltiples iniciativas y servicios que existían en el ecosistema de Azure y On Premises de los productos de Microsoft hasta hoy.

Es verdad que aún falta mucho camino y en toda unificación habrá cosas que se perderán y otras se ganarán. Cada pieza de Fabric aún está en desarrollo y otras que aún no han sido anunciadas pero lo importante es que finalmente tenemos una dirección que permite tener una historia consistente de punta a punta con los datos.

Ciclo de Webinars Abril 2020

Visits: 300

Durante el mes de Abril, junto con la comunidad SQL Argentina, estuvimos organizando a cabo una serie de webinars semanales sobre diferentes temas de SQL Server y Power BI.

La lista completa:

ColumnStore Indexes : A new way to handle DW Workloads – Gonzalo Bissio

PowerBI Actualización Incremental – Alejandro Cabanchik

SQL Performance & Monitoring Using Free Community Tools – Javier Villegas

SQL Server Integración Multiplataformas – Javier Londoño

Todos ellos fueron grabados y los materiales publicados en los canales del grupo.

Canal de Youtube

https://www.youtube.com/sqlargentinapass

No olvidarse de suscribirse! Y por que no un like!

Tambien el material, presentaciones y demos se encuentran en el repositorio de GitHub:

https://github.com/SQLArgentina/Webinars_Abril2020

Esperamos que hayan sido de utilidad, y aguardamos el feedback para las próximas actividades.

Gracias!

[Evento] Data Platform Summit: Conociendo más sobre SQL

Visits: 220

El proximo 27 de Mayo vamos a estar presentes con SQLArgentina en el evento de Microsoft dando una jornada completa de sesiones con los mejores speakers.

¡Potenciá tu infraestructura de datos y llevala al siguiente nivel!

Los datos y la información son los activos más valiosos en la era de la Transformación Digital.

Te invitamos a una jornada pensada para ayudar a DBAs y líderes de IT a potenciar su infraestructura, mantener sus datos seguros, aumentar la velocidad de sus implementaciones y trabajar de forma más ágil y rápida.

Aprendé más sobre la Plataforma de Datos de Microsoft, con los principales referentes técnicos del país.

                                                                    TEMÁTICAS A ABORDAR:

  • Fin de soporte extendido SQL Server 2008 y 2008 R2 
  • Modernización de plataforma de datos.
  • Power BI (Dataflows, Report Server).
  • Corriendo SQL Server en Docker Containers.
  • Analysis Services
  • Powershell
  • Azure Cloud (Azure Datawarehouse, Azure SQL DB, IaaS VMs, Machine Learning, Big Data Clusters)
  • Técnicas de Performance.
  Lo invitamos el día Lunes 27 de mayo de 09:00 a 18:00 hs Microsoft Buenos Aires: Bouchard 710 – 4° piso, Capital Federal RSVP a través de este link.

Los esperamos!

SQLArgentina – Ciclo de Charlas 2018

Visits: 317

Hola a todos!

Después de algunos meses donde recargamos baterías, nos volvimos a reunir en SQLArgentina y preparar los próximos Webinars de 2018.

Luego de seleccionar los contenidos, hemos conformado el siguiente cronograma de charlas:

Agosto:

Septiembre:

  • 14-9 : Alejandro Cabanchik – DAX 101
  • 28-9: Javier Villegas – Azure SQL Managed Instance

Octubre:

  • 12-10: Gonzalo Bissio – SQL Azure DB
  • 26-10: Alejandro Cabanchik – SQL Server Analysis Services  & PBI

Noviembre:

  • 9-11: Maxi Accotto– SQL Server Best Practices 1
  • 23-11 : Mariano Kovo – SQL Server & Containers

 

En breve a quienes se encuentren suscriptos en SQLArgentina o hayan participado en los eventos anteriores, les llegará la invitación a sus casillas de mail.

En tanto a quienes todavía no estén registrados, los invito a hacerlo:

http://www.sqlpass.org 

(Registración y luego en el perfil, buscar el grupo local SQLArgentina)

Saludos a todos y espero verlos!

MarianoK

Novedades en Power BI – Junio 2017

Visits: 132

Durante Mayo, además de la publicación Update tradicional mensual del servicio de Power BI y Power BI Desktop, Microsoft ha anunciado un nuevo nivel de servicio: Power BI Premium.

Power BI Premium

Cuál fue el anuncio de los primeros días de mayo?

Microsoft ha anunciado la llegada del servicio Power BI Premium, que se trata un nuevo nivel de servicio basado en Capacidad (tal como otros servicios SaaS de Microsoft, ej. Azure  SQL Database) que incluirá lo siguiente:

  • Flexibilidad para publicar reportes dentro de toda una organización, sin que esta tenga la necesidad de licenciar individualmente por usuario
  • Mejor escalabilidad y performance a través de la posibilidad de obtener capacidad dedicada por tenant de Power BI
  • Soporte para mantener publicaciones de reportes Power BI on-premises (instalado en servidores locales) con el nuevo servicio de Power BI Report Server.
  • Adicionalmente se anunció también el lanzamiento de Power BI apps, que es la evolución de los content packs de reportes y dashboards pre-definidos que ayudan a los usuarios a descubrir y explorar la información a nivel de toda la compañía

Que es Power BI Premium ? Y cómo funcionará?

Power BI Premium  se trata del servicio de Power BI como lo conocemos (con algunas cosas más..), pero que tiene una garantía de capacidad de procesamiento exclusiva asignada a cada organización, con Hardware dedicado y exclusivo (obviamente totalmente administrado por Microsoft como servicio SaaS).

De esta forma, las organizaciones pueden dedicar capacidad exclusiva de Power BI, basada en las necesidades de procesamiento, cantidad de usuarios u otros factores, pudiendo asimismo aumentar o disminuir la capacidad en forma dinámica.

Diferencias de  Power BI Premium y Power BI Pro

La gran diferencia de Power BI Premium es que elimina las restricciones en los tamaños de los Data Sets (10 GB en Power BI Pro) y la tasa de refrescos (8 por día Power BI Pro), y al ser tenants dedicados provee una gran aislamiento a nivel de hardware.

Recordemos que los modelos Power BI, están basados en Cubos en Memoria de tecnología Vertipaq y esto requiere de CPU y Memoria RAM para poder ejecutarse.

Power BI Premium también permite publicar los reportes PBIX a todos los miembros de una organización; sin que estos requieran licenciamiento individual; mediante la creación de Power BI Apps o bien mediante la instalación de un Power BI Report Server (ya lo describiremos más adelante).

Power BI Pro debe ser licenciados para aquellos usuarios que publican los reportes, los comparten y realizan colaboración en otros reportes de Power BI.

En resumen, lo que se puede realizar con Power BI Pro es:

  • Editar y guardar vistas personalizadas
  • Crear dashboards personales
  • Exportar y analizar datos en Excel o Power BI Desktop
  • Exportar a PowerPoint
  • Compartir dashboards y colaborar con Grupo Office 365

 

Las novedades : Power BI Report Server y Power BI Apps

Power BI Report Server

Power BI Report Server estará disponible como parte de del servicio Power BI Premium y será compatible con reportes SSRS, lo que permitirá el deploy y distribución de reporte interactivos Power BI (pbix) – y los tradicionales paginados SSRS – en servidores locales (on-premises) para todos los usuarios de la organización sin necesidad que estos tengan licenciamiento de Power BI.

Esto le permitirá a las organizaciones poder utilizar la potencia de Power BI (sin tener que distribuir la aplicación Power BI Desktop) y a la vez aquellas que no puedan utilizar la nube para publicar reportes seguir utilizando Power BI en sus ambientes locales.

Algunas capacidades de Power BI como dashboards en real-time , natural language query, y otros servicios no estarán disponibles como parte de Power BI Report Server.

Esto ya lo habíamos visto como un preview público, para utilizarlo en Azure como una máquina virtual ya pre-configurada y que ahora ya tiene fecha de lanzamiento oficial.

Power BI Apps

A partir de este anuncio, se encuentra disponible Power BI apps, que es un servicio para mejorar como los usuarios descubren y explorar la información de la organización.

Power BI apps permite de una manera simple, realizar el deploy de dashboards y reportes  a personas o grupos especificos o bien a toda la organización.

Los usuarios de negocio, puede fácilmente instalar estas Apps y navegar el contenido que está centralizado en estas aplicaciones, las cuales pueden ser actualizadas en forma automática.

Esto estará disponible dentro la opción de Workspaces, donde se podrán crear Workspaces de Aplicaciones y luego agregar los dashboards y reportes para cada aplicación.

 

Licenciamiento Power BI Premium

Power BI Premium se licencia por capacidad, mientras que Power BI Pro se licencia por usuario.

Pero…siempre están los peros…para poder utilizar Power BI Premium, se necesita al menos licenciar adicionalmente un usuario con Power BI Pro.

Esto es un requisito para publicar, compartir y colaborar en reportes y dashdboards.

Hasta la fecha, Power BI Premium se puede comprar en base de Virtual Cores y con facturación mensual:

Configuración de Nodo                            Virtual Cores         Precio Mensual

Power BI Premium P1                                                  8            $4,995

Power BI Premium P2                                                16            $9,995

Power BI Premium P3                                                32            $19,995

Y para activarlo, se podrá ver como un Add-On al servicio Power BI Pro en el portal de Office 365.

Licenciamiento Power BI Report Server

Para obtener el Power BI Report Server, se deberá contratar Power BI Premium o bien contar licenciamiento previo de SQL Server Enterprise Edition con Software Assurance que tiene como beneficio la posibilidad de instalar este componente.

Licenciamiento Power BI Pro y Power BI Free

Con este anuncio, se simplifica la diferencia entre Power BI Pro y el servicio Free, con algunas salvedades.

A partir del 1 de junio, el servicio Free tendrá las mismas capacidades que el servicio Power BI Pro, excepto las funciones de Compartir y Colaboración, que serán exclusivas para los usuarios de Power BI Pro.

Los usuarios de Power BI Free se beneficiarán con el acceso a todos los datasources, la ampliación de los límites de almacenamiento y más cantidad de refresh de contenido, en forma efectiva a partir del 1ro de junio

El software de Power BI Desktop quedará disponible en forma gratuita y seguirá con su ciclo de actualizaciones mensuales.

Disponibilidad

El servicio Power BI Premium se encontrará disponible, de acuerdo a lo que anunció Microsoft al final del segundo trimestre del año en todas las geografías donde el servicio de Power BI esté actualmente soportado.

Conclusión

Sin dudas Power BI , es uno de los servicios que más cambios a esta fecha ha tenido, y motivado en parte por la gran comunidad a su alrededor y por otro lado el foco que tiene Microsoft en estas áreas de Analytics.

Por otro lado, al abrir más y nuevas formas de implementar el servicio, se abren nuevas preguntas de licenciamiento para cada caso y escenario de uso que habrá que analizar puntualmente.

Links de Utilidad y Referencia:

https://aka.ms/pbipremiumwhitepaper

https://powerbi.microsoft.com/en-us/power-bi-premium/

https://powerbi.microsoft.com/en-us/blog/distribute-to-large-audiences-with-power-bi-apps/

https://powerbi.microsoft.com/en-us/documentation/powerbi-whitepapers/