Airbyte es un programa gratuito de sincronización de datos autoalojado para bases de datos y almacenes. Le ofrece conductos de datos simultáneos que se crean con los conectores preconstruidos. Con la ayuda de los conectores, puedes conectar bases de datos y APIs a un almacén de datos como BigQuery, PostgreSQL, Snowflake, etc. Sólo tienes que configurar los conectores y luego dejar que haga el trabajo pesado. Puedes sincronizar los datos a petición o en un intervalo de tiempo especificado automáticamente. Incluso te permite especificar qué tablas de datos de la fuente, y sincronizarlas con el objetivo. Puedes crear muchos flujos de trabajo en él y seguirá sincronizando los datos.
Si tienes algunas fuentes de datos que quieres sincronizar con otras bases de datos a gran escala, entonces Airbyte es para ti. Aquí puedes crear rápidamente y de forma gratuita eficientes conductos de datos y dejar que trabajen por su cuenta. Sin embargo, este es un software muy pesado y necesitas ejecutarlo en un ordenador con especificaciones más altas. O, si quieres instalarlo en un servidor, asegúrate de que sea rápido y que pueda manejar los múltiples y pesados conductos de datos. El proceso de instalación es fácil, ya que utiliza Docker y puedes ponerlo en marcha en pocos minutos.
Software gratuito de sincronización de datos para bases de datos y almacenes: Airbyte
Si eres un programador o un experto en DevOps, entonces te encantará esta herramienta. Soporta conectores de datos para Salesforce, Hubspot, Google Sheets, CSV, GitHub, PostgresSQL, MySQL y muchos otros. Le recomendaré que lo instale en un servidor Linux que ya tenga Docker junto con Docker-Compose. A continuación, enciende la terminal y luego clona el repositorio GitHub y luego graba en él.
git clone https://github.com/airbytehq/airbyte.git cd airbyte
Ahora, sólo ejecuta el siguiente comando y entonces comenzará a construir el contenedor. Tomará algún tiempo cuando vea el logo de Airbyte en la terminal, entonces podrá acceder a él en el navegador de su PC. La interfaz web de Airbyte puede ser accedida en localhost:8000. Vea la siguiente captura de pantalla. Ahora, sólo tienes que introducir tu dirección de e-mail allí y luego comenzar.
docker-compose up
Inicialmente, empiezas creando tu primer conducto de datos. Para ello, primero se configura la fuente de datos. Elige el conector de la lista en función de dónde quieres obtener los datos. Hay suficientes conectores de datos de origen que puedes elegir de la lista y luego configurarlos en consecuencia. En mi caso, estoy usando la base de datos MySQL, así que si seleccionas algún DBMS entonces especifica las credenciales allí.
Después de haber especificado, sólo hay que especificar el destino. Un destino es típicamente un punto final de un almacén de datos en el que seguirá sincronizando los datos. Es compatible con todas las herramientas de almacén de datos principales que puede seleccionar de la lista. Y de nuevo tienes que especificar las credenciales allí. Para los destinos, sólo admite 4-5 servicios y espero que haya más en las próximas actualizaciones.
Ahora, después de especificar el destino, verificará la conexión y la verificación exitosa, listará las tablas de la fuente. Puede seleccionar todas o sólo las que quiera sincronizar. Y junto con esta información, especificará la frecuencia de sincronización. Puedes optar por sincronizar los datos tan pronto como 5 minutos.
Ahora, tu conector está creado y puedes ver las estadísticas en el tablero. Del mismo modo, puedes crear otros conectores y los listará todos en la interfaz principal. Si quieres sincronizar un conector a pedido, puedes usar el botón de sincronización ahora allí. Esto es tan simple como eso.
De esta manera, puede utilizar Airbyte para crear conductos de datos eficientes para sincronizar las bases de datos y las API. Puedes crear flujos de trabajo ilimitados aquí, y se ejecutarán en el intervalo de tiempo especificado. Puede cambiar la configuración de cualquier flujo de trabajo en cualquier momento y el cambio se hará efectivo en consecuencia. Este es un proyecto de código abierto también y extensible. Si crees que falta un conector, entonces puedes crear uno si tienes conocimientos de programación.
Conclusión:
Si estás buscando una herramienta de sincronización de datos gratuita e ilimitada, entonces Airbyte es la mejor opción. Puedes ejecutarlo localmente o alojarlo en un servidor. También es de código abierto, así que puedes participar en su desarrollo. Me gustaron los conectores de datos pre-construidos que ofrece y la forma en que funciona. Puedes manejar datos pesados con él fácilmente y poner la sincronización de datos en piloto automático. Incluso puede trabajar con APIs y puedes incluso volcar datos a un archivo como CSV. El proceso para empezar ya se ha mencionado anteriormente, así que pruébalo y dime lo que piensas