Category

Google-cloud-platform

Archivos

Entrada-Transformación-Salida-Resultados


Te presentamos un ejemplo de aplicación App Engine para mover tus datos de un lugar en la nube a otro, transformándolos al mismo tiempo. La aplicación Data Pipeline incluye ejemplos para permitirte empezar rápido y producir poderosos proyectos desde el comienzo. También tiene una sencilla API para ampliar su funcionalidad.
Data Pipeline es una aplicación Python que utiliza Google App Engine Pipeline API  para controlar tuberías de procesos de datos complejos. Las tuberías están construidas a base de etapas que pueden ser conectadas entre ellas para procesar grandes cantidades de datos, y con el trabajo haciéndose en paralelo. La aplicación viene con algunos ejemplos de etapas que usan muchos de los servicios de Cloud Platform. Puedes escribir fácilmente nuevas etapas para desarrollar procesamiento de datos personalizados.

La aplicación Data Pipeline viene con una funcionalidad incorporada que te permite leer datos de:
  • URLs via HTTP
  • Google Cloud Datastore
  • Google Cloud Storage
transformarlos en:
y volcarlos a:
  • BigQuery
  • Google Cloud Storage
Por ejemplo, uno de los flujos de datos incorporados lleva un archivo de un recipiente de Cloud Storage, lo transforma usando un trabajo MapReduce en Hadoop operando en Compute Engine, y carga el archivo de salida a BigQuery. Para lanzar el proceso, sólo tienes que pasar el archivo a Cloud Storage.

Esperamos que no solo vayas a usar las transformaciones incorporadas, sino que crearás etapas personalizadas para transformar datos de la forma que necesites. Puedes personalizar las tuberías fácilmente extendiendo el Python API, que está disponible aquí en Github.

También puedes personalizar la entrada  y salida, por ejemplo, puedes personalizar la salida para escribir en Google Cloud SQL.

Creas y editas tuberías en un archivo de configuración JSON en la aplicación UI. La aplicación comprueba que la configuración es sintácticamente correcta y que los prerrequisitos se cumplem. Después de que guardes el archivo de configuración, da clic al botón de Run para comenzar la ejecución del proyecto. Verás el progreso de la tubería que se está ejecutando en una nueva ventana.
*
Edición del archivo de configuración
El código fuente está en Github. Te invitamos a descargarlo y a empezar a armar tus propios proyectos hoy.

Post originalmente publicado por Alex K, Ingeniero de soluciones cloud

Read More

Una forma mejorada de explorar y aprender en GitHub


Hace casi un año Google Cloud Platform lanzó su propia organización en GitHub con repositorios que iban desde tutoriales, pasando por muestras, hasta herramientas de ayuda. Allí podían encontrarse todos los recursos relacionados con la plataforma y de este modo se podía comenzar rápidamente a desarrollar. Google Cloud Platform empezó con 36 repositorios y con planes de añadir más en el futuro y a tiempo de responder a la demanda que surgía por parte de ustedes, los desarrolladores. 


Después de muchas presentaciones de productos, lanzamientos de actualizaciones y un rediseño de logo, ¡ahora existen en el perfil de GitHub 123 repositorios que ilustran cómo usar todas las partes de Google Cloud Platform!

A pesar haber tenido algunas propuestas inteligentes para el nombrado, encontrar exactamente el código que se buscaba entre todos los repositorios se estaba convirtiendo en una tarea complicada. Navegar entre más de 100 opciones no era productivo. El nombre del repositorio daba una idea de los “stacks” utilizados, pero no de los problemas que resolvía. 

Hoy Google Cloud Platform está haciendo más fácil navegar entre los repositorios y buscar usando muestras de código con la página googlecloudplatform.github.io Ya estén buscando todos los recursos de Compute Engine, localizando muestras que estén disponibles en un stack determinado o localizando ejemplos apropiados para un área de interés en concreto, ahora lo pueden encontrar en la nueva página de GitHub. Además, están rotando repositorios en la sección destacados, así que asegúrense de pasar por allí de vez en cuando. 

Google Cloud Platform está muy comprometido con el open source. Si tienen comentarios o hay alguna herramienta que quieran sugerirles, no duden en hacer llegar sus inquietudes al equipo de Google Cloud Platform a través de la sección de comentarios del post original.

Read More

Google Compute Engine está ahora a disposición general con soporte de SO ampliado, mantenimiento transparente y precios más bajos

Google Cloud Platform ofrece a los desarrolladores la flexibilidad de diseñar aplicaciones con servicios administrados y no administrados, que funcionen en la infraestructura de Google. Hemos estado trabajando para mejorar la experiencia que los desarrolladores tiene a la hora de usar nuestros servicios y para alcanzar los estándares que nuestros propios ingenieros esperan aquí en Google.

Actualmente Google Compute Engine está a disposición general (GA) y ofrece equipos virtuales cuyo desempeño es escalable y confiable y con características de seguridad del más alto nivel en la industria, como codificación de datos almacenados. Compute Engine cuenta además con un servicio de apoyo las 24 horas al día los 7 días de la semana y un acuerdo de nivel de servicio (SLA) de 99.95% mensual.




Soporte de sistemas operativos ampliado
En la presentación preliminar, Compute Engine soportaba dos de las distribuciones de Linux más populares, Debian y Centos, personalizadas con un núcleo creado por Google. Esto les daba a los desarrolladores un entorno familiar en el que crear, pero no soportaba algunos softwares que requerían núcleos específicos o módulos que se pudieran cargar (algunos archivos de sistema, por ejemplo). Ahora opera con cualquier distribución Linux lista para usarse, incluyendo Docker, FOG, xfs and aufs. Además, también anunciamos el apoyo para SUSE y Red Hat Enterprise Linux (con presentación preliminar limitada) y FreeBSD.

Mantenimiento transparente con migración en vivo y reinicio automático
En Google nos hemos dado cuenta de que el mantenimiento regular de las infraestructuras de hardware y software es crítico para operar con un alto nivel de fiabilidad, seguridad y desempeño. Por ello, estamos presentando el mantenimiento transparente que combina innovación del software y del centro de datos con la tecnología de migración en vivo, para permitir que se realice un mantenimiento proactivo mientras que el equipo virtual sigue funcionando. Ahora son posibles todos los beneficios de las actualizaciones regulares y del mantenimiento proactivo sin tener que detener lo que estemos haciendo ni reiniciar. Es más, en caso de fallo, tu memoria virtual se reiniciará automáticamente y estará de nuevo online en cuestión de minutos. Ya hemos introducido esta función en varias zonas de EEUU, y continuaremos en otras áreas geográficas en los próximos meses.

Nueva implementación de 16 núcleos
Los desarrolladores han pedido implementaciones con un mayor poder computacional y memoria para aplicaciones que van desde simulaciones de silicio hasta bases de datos NoSQL de alta escala. Para cubrir estas necesidades, estamos lanzando tres nuevos tipos de implementaciones en presentación preliminar limitada con hasta 16 núcleos y hasta 104 gigabytes de RAM. Están disponibles en las versiones familiar estándar, memoria alta y CPU alta.

Discos persistentes más rápidos y baratos
Crear aplicaciones altamente escalables y fiables empieza por el uso de un almacenamiento adecuado. Nuestro servicio de disco persistente te ofrece un desempeño consistente y sólido junto a una mayor durabilidad que los discos locales. Hoy estamos bajando los precios de los Discos Persistentes un 60% por Gigabyte y bajando los cargos E/S para que puedas conseguir un precio bajo y predecible para tu dispositivo de almacenamiento en bloque. La E/S disponible escala en función del tamaño, teniendo el disco persistente más grande un tamaño de hasta el 700% más alto que el máximo de la capacidad E/S.  Si quieres saber más de las mejoras realizadas en los discos persistentes aquí tienes información (en inglés).

Precios un 10% más bajos para las implementaciones estándar
Estamos bajando también los precios en todas las regiones de nuestras implementaciones estándares de Compute Engine más populares.

Clientes y partners que usan Compute Engine
En los últimos meses, clientes como Snapchat, Cooladata, Mendelics, Evit y Wix han construido sistemas complejos con Compute Engine y partners como SaltStack, Wowza, Rightscale, Qubole, Red Hat, SUSE, y Scalr se unieron a nuestro programa  Cloud Platform  para partners, con nuevas integraciones con Compute Engine.

“Consideramos que Compute Engine escala rápidamente, permitiéndonos cumplir fácilmente con el flujo de nuevas solicitudes secuenciales… Compute Engine nos ha ayudado a escalar con nuestras exigencias y ha sido un componente clave para que nuestros físicos diagnostiquen y curen enfermedades genéticas en Brasil y en el resto del mundo” - David Schlesinger, CEO de Mendelics

“Google Cloud Platform proporciona el desempeño más consistente que jamás hayamos visto. Cada memoria virtual y cada disco actúan tal y como esperamos y eso nos permite construir aplicaciones rápidas y de baja latencia.” - Sebastian Stadil, CEO de Scalr

Estamos ansiosos por ver cuál es el siguiente paso de la plataforma Google Cloud mientras seguimos ayudando a los desarrolladores y a los negocios de todo el mundo a beneficiarse de la experiencia técnica y operacional de Google.

Publicado por Francisco Solsona, Developer Relations Regional Lead.

Read More