El primer punto a abordar en cualquier proyecto big data es revisar nuestras fuentes de datos, ya sean propios o de proveedores externos es importante conocer la naturaleza, granularidad y volumen del dato. En este punto del proceso el ingeniero de datos es el que debe hacer las preguntas adecuadas que consoliden la hip\u00f3tesis que sustenta el proyecto para identificar los datos que necesitamos y c\u00f3mo los necesitamos.<\/p>\n\n\n\n
Los datos son la unidad m\u00ednima de informaci\u00f3n y mediante su an\u00e1lisis podemos extraer informaci\u00f3n muy relevante para la toma de decisiones. Debemos tener en cuenta dos aspectos para poder modelar los datos de forma estructurada:<\/p>\n\n\n\n
\u00b7 An\u00e1lisis cualitativo o cuantitativo generado por la interacci\u00f3n humana, ya sea en el registro o en el momento de validaci\u00f3n del dato. Este aspecto implica una fuente de valores incorrectos o inconexos derivados de su propia naturaleza y que dificultan el tratamiento posterior.<\/p>\n\n\n\n
\u00b7 Inexistencia de criterios universales para alinear la granularidad del dato, ya que la informaci\u00f3n puede representarse de muchas maneras y no tener un criterio \u00fanico o universal dispersa la informaci\u00f3n.<\/p>\n\n\n\n
En este punto, nuevamente recurrimos a la figura del ingeniero de datos, que se encarga de poner orden en el caos de los datos, para unificarlos, categorizarlos y prepararlos para los algoritmos de Inteligencia Artificial puedan tratarlos.<\/p>\n\n\n\n
La captura de grandes vol\u00famenes de datos, tanto internos, como extornos y su procesamiento para unificarlos y depurarlos es el eje de cualquier proyecto big data. Este proceso ocupa gran parte del tiempo destinado al proyecto y es fundamental para garantizar el \u00e9xito. Destacamos las siguientes funciones de Ingeniero de Datos:<\/p>\n\n\n\n
\u00b7 Garantizar la calidad de las conclusiones extra\u00eddas ante la mutabilidad del dato en el origen.<\/p>\n\n\n\n
\u00b7 Aprovisionamiento constante de datos al Data Lake a trav\u00e9s de la elaboraci\u00f3n de procesos productivos.<\/p>\n\n\n\n
\u00b7 Dise\u00f1o y desarrollo del software de tratamiento de datos, as\u00ed como evolutivos y\/o correctivos.<\/p>\n\n\n\n
\u00b7 Dise\u00f1o e implementaci\u00f3n de API\u00b4s que permitan explotar los insights obtenidos tras el procesamiento de datos.<\/p>\n","protected":false},"excerpt":{"rendered":"
Disponibilidad, fragmentaci\u00f3n y heterogeneidad del dato El primer punto a abordar en cualquier proyecto big data es revisar nuestras fuentes […]<\/p>\n","protected":false},"author":12,"featured_media":3945,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","theme-transparent-header-meta":"","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"default","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"footnotes":""},"categories":[18],"tags":[],"class_list":["post-3944","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-innovacion"],"acf":[],"_links":{"self":[{"href":"https:\/\/miuniversity.edu\/es\/wp-json\/wp\/v2\/posts\/3944"}],"collection":[{"href":"https:\/\/miuniversity.edu\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/miuniversity.edu\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/miuniversity.edu\/es\/wp-json\/wp\/v2\/users\/12"}],"replies":[{"embeddable":true,"href":"https:\/\/miuniversity.edu\/es\/wp-json\/wp\/v2\/comments?post=3944"}],"version-history":[{"count":1,"href":"https:\/\/miuniversity.edu\/es\/wp-json\/wp\/v2\/posts\/3944\/revisions"}],"predecessor-version":[{"id":3947,"href":"https:\/\/miuniversity.edu\/es\/wp-json\/wp\/v2\/posts\/3944\/revisions\/3947"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/miuniversity.edu\/es\/wp-json\/wp\/v2\/media\/3945"}],"wp:attachment":[{"href":"https:\/\/miuniversity.edu\/es\/wp-json\/wp\/v2\/media?parent=3944"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/miuniversity.edu\/es\/wp-json\/wp\/v2\/categories?post=3944"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/miuniversity.edu\/es\/wp-json\/wp\/v2\/tags?post=3944"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}