Hola a todos Hoy les Presento un par de curiosidades que estuve juntando por aca por alla y buueno ahora van
Empezamos Con taringa Hace Unos años
Taringa! versión 2004:
Taringa! versión 2005:
Taringa! versión 2006:
Taringa! versión 2007:
Taringa! versión 2008:
Taringa! versión 2009:
Taringa! versión 2010:
Uno de los primeros post de la historia
Tremendo crap no es asi....Pero no se puede eliminar porque es historico.
Alberto Nakayama, Matias y Hernán Botbol en Newsweek
Usuarios Millones
Usuario 1.000.000 : AlmirantePapanatas (que casualmente es great user)
Usuario 2.000.000 : Charly113
Usuario 3.000.000 : tacamo
Usuario 4.000.000 : riverygary
Usuario 5.000.000 : Zurita74
Como funciona Taringa!
(Alberto Nakayama, Matias y Hernán Botbol en Newsweek)
¿Cuantas personas manejan el/los servers de Taringa?
Actualmente los servidores son administrados solamente por mí.
A propósito, estamos buscando Administrador. Si conocés alguno por favor hacele llegar nuestra búsqueda (http://taringa.net/busquedas/).
¿Que políticas de escalabilidad tienen hoy? ¿Que sucede cuando hay picos de transferencia?
En este momento llegamos a un nivel de escalabilidad que nos permite sumar equipos y agregarlos al sub-grupo que lo necesite, ya sea, web, ram, db, o search en solo una hora, y el nuevo servidor inmediatamente alivia la carga del resto de los servidores del mismo sub-grupo.
Actualmente estamos agregando un promedio de 2 equipos por mes. Generalmente el día que vamos al datacenter a conectar los servidores nuevos se envían los mails necesarios para adquirir otros 2.
Hoy en día podemos soportar el 99% de los picos, siendo ese 1% picos muy poco frecuentes que pueden llegar a requerir por pocos minutos el doble de hardware con el que contamos. En ese 1% utilizamos el queue y si es necesario, mostramos errores.
¿Cuales fueron los hechos que mas dañaron el uptime desde que manejan taringa?
En nuestro desarrollo, el uptime se vio dañado en muchas ocasiones debido a diferentes razones: Insuficiencia de hardware, cuellos de botella, errores humanos, inmadurez de escalabilidad, features poco optimizadas, “Single points of failure” y falta de redundancia y/o falla en los procesos, problemas de red, etc.
Uno puede leer varios libros sobre escalabilidad y high availability, pero cada caso es un mundo aparte, y esos libros son en general apuntados a compañías con high availability of dollars.
¿Como manejan los “problemas de seguridad” del sitio? ¿Tienen políticas de auditoría?
Tenemos auditorías regularmente, intentamos ser lo más cautos posibles, nos informamos, ponemos trampas, mostramos falsos errores, metemos sleeps, y bueno, todos esos truquitos.
Taringa! está en boca de todos, y no es para menos, es uno de los sitios que más tráfico tiene en Argentina (con una gran expansión también en America Latina) y mantiene una empinada línea de crecimiento, superando en el tiempo a gigantes como Mercadolibre, Clarín y Fotolog.
Mucho se habla del contenido, de sus comienzos, de su fundador y de sus actuales dueños, pero poco se ha escrito sobre la infraestructura técnica de este gigante que a la fecha podría considerarse un ejemplo de proyecto web cuyo crecimiento se basa en una comunidad muy participativa y su expansión en el clásico boca en boca.
Alberto Nakayama es socio principal en el proyecto junto a Hernán y Matías Botbol y además es el encargado de la parte técnica del sitio. A través de la buena onda y predisposición de Matías pude contactarme con él y hacerle unas preguntas sobre el funcionamiento y el mantenimiento de un proyecto tan grande y en expansión como lo es Taringa!
¿Alberto, cómo es a grandes rasgos la estructura técnica de taringa?
5 webservers de contenido dinámico
2 webservers de contenido estático
3 ram servers
2 servidores que funcionan como search engine.
11 servidores de bases de datos usando MySQL
Todos los servidores corren Gentoo Linux. Los webservers corren una versión ínfimamente modificada de lighttpd.
Para tener redundancia se implementó un simple sistema de comunicación interna usando netcat que comunica eventos, estado y carga. En base a esa información se quitan servidores de los pooles para evitar errores.
Para la comunicación entre webservers y DB se desarrolló un proxy que mantiene conexiones permanentes y nos permite ejecutar prepared statements.
¿Encontraste algún tipo de limitación en el software que utilizan (o que utilizaron) debido a la carga de usuarios
La mayor limitación que encontré en el desarrollo de Taringa! fue la gran cantidad de consultas a la base de datos que genera la interacción con los usuarios, siempre teniendo en cuenta que desde siempre fuimos una empresa que necesitó optimizar recursos para poder subsistir y no contábamos con la posibilidad de adquirir grandes equipos de marcas conocidas. Al momento de hoy no encontré todavía una solución definitiva y es necesario mantenerse optimizando.
En el momento en que las partes, comunmente Apache, PHP y MySQL y/o equivalentes de otras marcas, no te entran más en un solo box, es necesario empezar a separar. Cuando se empieza a separar, inevitablemente se agrega un overhead, que es el tiempo de conexión entre las partes. Luego, en el momento de escalar, se siguen agregando más y más overheads porque cada parte al mismo tiempo está dividida/replicada/distribuida en diferentes particiones/equipos/redes/datacenters y hasta países/continentes en ciertos casos.
¿De cuanto ancho de banda disponen para soportar más de 2.500.000 pageviews por día? ¿Que tasas de transferencia están manejando?
Te corrijo una cosa: Diariamente Taringa no tiene >2.900.00 visitas sino pageviews. Pageviews tiene >13.000.000.
En este momento Taringa! al estar bastante optimizado utiliza aproximadamente 120M de ancho de banda en contenido dinámico y 50M de contenido estático (css, logos e iconitos).
Optimizamos los íconos para que los más utilizados se encuentren todos juntos dentro de una misma imagen, por ej . Al ser contenido estático utilizamos otro dominio para que no haya desperdicio de tráfico de cookies. De esta forma se ahorra tiempo de carga, y transferencia.
comentarios:
Dufty dijo:
conoci taringa en el 2006, paso mas de un año para que me registre y luego de pasar por varios users y suspensiones definitivas, llegue a estabilizarme con Dufty (de los errores se aprenden dicen...). Al principio no entendia la web, no entendia porque posteaban, pero luego que entras al mundo taringuero te das cuenta el porque...
Veerk y Tavot dijo:
Creo q el mio es compartido por muchos. fue algo asi: ACA ESTA TOOOOOODO!
Lexotanil dijo:
yo pense... uh mira que buena onda, aca te regalan los discos de bob marley!
campanitamdq dijo:
eso es para gente que está al pedo
Melan007 dijo:
la conocí cuando el registro estaba cerrado y pensaba que buena pagina pero un poco impersonal, dsp me registré y me pareció personal
Logitec dijo:
yo buscando cosas en la web entre taringa en el 2007 y la verdad que esta barbara la pagina consigo todo lo que busco y despues a los 3 meses empese a postear y me hice new ful uset hasta llegar a gold y bue... posteo series peliculas juegos etc... comparto todo lo que mas puedo y obvio gano puntos y meses gratis en rapidshare, es todo un ida y buelta ayudas y te ayudan
Mathh dijo:
Yo dije esto es el TVR de interné.
Drogopost dijo:
1er dia: a bajar cosas jujuju!!
2do dia: a postear cosas interesantes
3er dia: a comentar con gusto
4to dia: a trollear
5to dia: a postear craps
Ahora: mezcla de todo eso
Bueno Eso fue todo espero que les haya gustado
Empezamos Con taringa Hace Unos años
Taringa! versión 2004:
Taringa! versión 2005:
Taringa! versión 2006:
Taringa! versión 2007:
Taringa! versión 2008:
Taringa! versión 2009:
Taringa! versión 2010:
Uno de los primeros post de la historia
Tremendo crap no es asi....Pero no se puede eliminar porque es historico.
Alberto Nakayama, Matias y Hernán Botbol en Newsweek
Usuarios Millones
Usuario 1.000.000 : AlmirantePapanatas (que casualmente es great user)
Usuario 2.000.000 : Charly113
Usuario 3.000.000 : tacamo
Usuario 4.000.000 : riverygary
Usuario 5.000.000 : Zurita74
Como funciona Taringa!
(Alberto Nakayama, Matias y Hernán Botbol en Newsweek)
¿Cuantas personas manejan el/los servers de Taringa?
Actualmente los servidores son administrados solamente por mí.
A propósito, estamos buscando Administrador. Si conocés alguno por favor hacele llegar nuestra búsqueda (http://taringa.net/busquedas/).
¿Que políticas de escalabilidad tienen hoy? ¿Que sucede cuando hay picos de transferencia?
En este momento llegamos a un nivel de escalabilidad que nos permite sumar equipos y agregarlos al sub-grupo que lo necesite, ya sea, web, ram, db, o search en solo una hora, y el nuevo servidor inmediatamente alivia la carga del resto de los servidores del mismo sub-grupo.
Actualmente estamos agregando un promedio de 2 equipos por mes. Generalmente el día que vamos al datacenter a conectar los servidores nuevos se envían los mails necesarios para adquirir otros 2.
Hoy en día podemos soportar el 99% de los picos, siendo ese 1% picos muy poco frecuentes que pueden llegar a requerir por pocos minutos el doble de hardware con el que contamos. En ese 1% utilizamos el queue y si es necesario, mostramos errores.
¿Cuales fueron los hechos que mas dañaron el uptime desde que manejan taringa?
En nuestro desarrollo, el uptime se vio dañado en muchas ocasiones debido a diferentes razones: Insuficiencia de hardware, cuellos de botella, errores humanos, inmadurez de escalabilidad, features poco optimizadas, “Single points of failure” y falta de redundancia y/o falla en los procesos, problemas de red, etc.
Uno puede leer varios libros sobre escalabilidad y high availability, pero cada caso es un mundo aparte, y esos libros son en general apuntados a compañías con high availability of dollars.
¿Como manejan los “problemas de seguridad” del sitio? ¿Tienen políticas de auditoría?
SOBRE TARINGA!
Tenemos auditorías regularmente, intentamos ser lo más cautos posibles, nos informamos, ponemos trampas, mostramos falsos errores, metemos sleeps, y bueno, todos esos truquitos.
Taringa! está en boca de todos, y no es para menos, es uno de los sitios que más tráfico tiene en Argentina (con una gran expansión también en America Latina) y mantiene una empinada línea de crecimiento, superando en el tiempo a gigantes como Mercadolibre, Clarín y Fotolog.
Mucho se habla del contenido, de sus comienzos, de su fundador y de sus actuales dueños, pero poco se ha escrito sobre la infraestructura técnica de este gigante que a la fecha podría considerarse un ejemplo de proyecto web cuyo crecimiento se basa en una comunidad muy participativa y su expansión en el clásico boca en boca.
Alberto Nakayama es socio principal en el proyecto junto a Hernán y Matías Botbol y además es el encargado de la parte técnica del sitio. A través de la buena onda y predisposición de Matías pude contactarme con él y hacerle unas preguntas sobre el funcionamiento y el mantenimiento de un proyecto tan grande y en expansión como lo es Taringa!
¿Alberto, cómo es a grandes rasgos la estructura técnica de taringa?
Taringa! cuenta con
5 webservers de contenido dinámico
2 webservers de contenido estático
3 ram servers
2 servidores que funcionan como search engine.
11 servidores de bases de datos usando MySQL
Todos los servidores corren Gentoo Linux. Los webservers corren una versión ínfimamente modificada de lighttpd.
Para tener redundancia se implementó un simple sistema de comunicación interna usando netcat que comunica eventos, estado y carga. En base a esa información se quitan servidores de los pooles para evitar errores.
Para la comunicación entre webservers y DB se desarrolló un proxy que mantiene conexiones permanentes y nos permite ejecutar prepared statements.
¿Encontraste algún tipo de limitación en el software que utilizan (o que utilizaron) debido a la carga de usuarios
La mayor limitación que encontré en el desarrollo de Taringa! fue la gran cantidad de consultas a la base de datos que genera la interacción con los usuarios, siempre teniendo en cuenta que desde siempre fuimos una empresa que necesitó optimizar recursos para poder subsistir y no contábamos con la posibilidad de adquirir grandes equipos de marcas conocidas. Al momento de hoy no encontré todavía una solución definitiva y es necesario mantenerse optimizando.
En el momento en que las partes, comunmente Apache, PHP y MySQL y/o equivalentes de otras marcas, no te entran más en un solo box, es necesario empezar a separar. Cuando se empieza a separar, inevitablemente se agrega un overhead, que es el tiempo de conexión entre las partes. Luego, en el momento de escalar, se siguen agregando más y más overheads porque cada parte al mismo tiempo está dividida/replicada/distribuida en diferentes particiones/equipos/redes/datacenters y hasta países/continentes en ciertos casos.
¿De cuanto ancho de banda disponen para soportar más de 2.500.000 pageviews por día? ¿Que tasas de transferencia están manejando?
Te corrijo una cosa: Diariamente Taringa no tiene >2.900.00 visitas sino pageviews. Pageviews tiene >13.000.000.
En este momento Taringa! al estar bastante optimizado utiliza aproximadamente 120M de ancho de banda en contenido dinámico y 50M de contenido estático (css, logos e iconitos).
Optimizamos los íconos para que los más utilizados se encuentren todos juntos dentro de una misma imagen, por ej . Al ser contenido estático utilizamos otro dominio para que no haya desperdicio de tráfico de cookies. De esta forma se ahorra tiempo de carga, y transferencia.
comentarios:
Dufty dijo:
conoci taringa en el 2006, paso mas de un año para que me registre y luego de pasar por varios users y suspensiones definitivas, llegue a estabilizarme con Dufty (de los errores se aprenden dicen...). Al principio no entendia la web, no entendia porque posteaban, pero luego que entras al mundo taringuero te das cuenta el porque...
Veerk y Tavot dijo:
Creo q el mio es compartido por muchos. fue algo asi: ACA ESTA TOOOOOODO!
Lexotanil dijo:
yo pense... uh mira que buena onda, aca te regalan los discos de bob marley!
campanitamdq dijo:
eso es para gente que está al pedo
Melan007 dijo:
la conocí cuando el registro estaba cerrado y pensaba que buena pagina pero un poco impersonal, dsp me registré y me pareció personal
Logitec dijo:
yo buscando cosas en la web entre taringa en el 2007 y la verdad que esta barbara la pagina consigo todo lo que busco y despues a los 3 meses empese a postear y me hice new ful uset hasta llegar a gold y bue... posteo series peliculas juegos etc... comparto todo lo que mas puedo y obvio gano puntos y meses gratis en rapidshare, es todo un ida y buelta ayudas y te ayudan
Mathh dijo:
Yo dije esto es el TVR de interné.
Drogopost dijo:
1er dia: a bajar cosas jujuju!!
2do dia: a postear cosas interesantes
3er dia: a comentar con gusto
4to dia: a trollear
5to dia: a postear craps
Ahora: mezcla de todo eso
Bueno Eso fue todo espero que les haya gustado