El rey de las busquedas
¿Como funciona Google?
¿Como funciona Google?
Las herramientas clasicas para gestionar grandes cantidades de informacion son una potente computadora y una base de datos bien organizada.
El problema es que si se tratra de trabajar con petabytes el mantenimiento de un sistema como esta absorbe demasiado tiempo y ademas ningun equipo soporta tanta carga. La solucion de Google es la tecnologia llamada MapReduce que reparte datos. De esta manera cada dia el gigante de la web ejecuta 100000 veces su programa y procesa mas de 20 petabytes. MapReduce maneja cualquier tipo de datos desde fotos hasta numeros de telefono
1.Coleccion de datos
MapReduce no depende de una base de datos estructurada en la que la información se da cuando se recoge, sino que almacena el texto completo de cada libro escaneado por Google
2.Mapeo
La funcion Map ordena a los equipos del sistema controlar las veces que aparece cada palabra en los libros. A cada uno se le asigna titulos. Po ejemplo, una computadora se encarga de Ana Karenina
3.Salvado
Cada uno de los cientos de equipos que forman la red de trabajo guardan paralelamente sus resultados en su disco duro local.Las computadoras aprovechan las listas de todos sus compañeros mapeadores y de esta manera consiguen economizar el tiempo de transferencia.
4.Reduccion
Con la función Reduce, las computadoras correlacionan las listas de palabras. Asi se sabe cuantas veces se ha usad cada una y en que libros.
5.Solucion
El resultado es un conuento de datos que se almacena aparte y se puede consultar rapido. En el ejemplo, podemos preguntar "¿cuantas veces se menciona Moscu en Ana Karenina?" y no hara falta analizar uno a uno miles de datos inconexos para obtener las respuestas.
El problema es que si se tratra de trabajar con petabytes el mantenimiento de un sistema como esta absorbe demasiado tiempo y ademas ningun equipo soporta tanta carga. La solucion de Google es la tecnologia llamada MapReduce que reparte datos. De esta manera cada dia el gigante de la web ejecuta 100000 veces su programa y procesa mas de 20 petabytes. MapReduce maneja cualquier tipo de datos desde fotos hasta numeros de telefono
1.Coleccion de datos
MapReduce no depende de una base de datos estructurada en la que la información se da cuando se recoge, sino que almacena el texto completo de cada libro escaneado por Google
2.Mapeo
La funcion Map ordena a los equipos del sistema controlar las veces que aparece cada palabra en los libros. A cada uno se le asigna titulos. Po ejemplo, una computadora se encarga de Ana Karenina
3.Salvado
Cada uno de los cientos de equipos que forman la red de trabajo guardan paralelamente sus resultados en su disco duro local.Las computadoras aprovechan las listas de todos sus compañeros mapeadores y de esta manera consiguen economizar el tiempo de transferencia.
4.Reduccion
Con la función Reduce, las computadoras correlacionan las listas de palabras. Asi se sabe cuantas veces se ha usad cada una y en que libros.
5.Solucion
El resultado es un conuento de datos que se almacena aparte y se puede consultar rapido. En el ejemplo, podemos preguntar "¿cuantas veces se menciona Moscu en Ana Karenina?" y no hara falta analizar uno a uno miles de datos inconexos para obtener las respuestas.