Extraindo dados públicos “na marra”

Check out this SlideShare Presentation:

Extraindo dados públicos “na marra”

View more presentations from Pedro Valente.

O que aconteceu no Yahoo! Open Hack Day 2010

Por Tiago Dória (íntegra)
O F-1 results aplicativo que cria infográficos e animações a partir dos resultados da Fórmula 1, foi o grande vencedor do Yahoo! Open Hack Day Brasil 2010 que aconteceu neste fim de semana em São Paulo e reuniu 240 desenvolvedores. Eu estive por lá. Vencedor de 3 categorias – escolha do público, melhor interface do usuário e melhor hack geral – o F-1 results permite que você visualize tabelas do campeonato e compare o desempenho dos pilotos da Fórmula 1.
Foi desenvolvido por Daniel Filho, Fabio Dan e Iraê de Carvalho, brasileiros do SocialMinds. Semelhante a outros “hacks” apresentados no evento, por meio de uma interface mais “amigável”, o F-1 results busca tornar mais acessíveis dados que já são públicos.
Realizado desde 2005 em vários países pelo Yahoo!, o Open Hack Day é uma competição que dura dois dias e em que desenvolvedores são convidados a criar “hacks”. Ou seja, desenvolver formas alternativas de resolver ou contornar um problema específico.

Esses “hacks” vão desde criar uma função que faz falta em algum produto do Yahoo! até fazer um processo de “raspagem de dados”. Ou seja, passar dados públicos que já estão disponíveis para um formato mais maleável que permita fazer cruzamento de informações ou proporcionar um melhor entendimento.
Os desenvolvedores têm 24 horas para se organizar em equipes e criar um “hack”. Um relógio é exibido em um telão no meio do local onde ocorre o Hack Day para indicar o começo e o encerramento da competição.
Mas antes, no comecinho do primeiro dia, ocorrem algumas palestras. E, no final do segundo dia, acontecem as apresentações dos “hacks” (apenas dois minutos para cada um) e, em seguida, o público e um júri escolhem os melhores.
Na teoria, o Open Hack Day era para ser um ambiente de competição acirrada, mas, na prática, é um grande espaço para networking e troca de conhecimento. A competição é entremeada com almoço, jantar, café da manhã (tudo bancado pelo Yahoo!), além da possibilidade de jogar vídeo-game, conversar com as pessoas.
Enfim, o evento torna-se um grande encontro de pessoas que se interessam por visualização de dados, hacking (resolver problemas) e tecnologia.

O interessante é que, hoje em dia, cada vez mais esse tipo de evento, de hacking, está deixando de ser algo exclusivo de “empresas de tecnologia”. Publicações como NYTimes e Guardian realizam eventos parecidos, como uma maneira de trazer inovação de fora da empresa no processo de criação de novos produtos e tecnologias próprias.
No Brasil, as palestras do primeiro dia ficaram por conta de Christian Heilmann, evangelista da plataforma de desenvolvedores do Yahoo!, Cody Simms, diretor do Yahoo! OpenStrategy e o brasileiro Pedro Valente, gerente de produto do Yahoo!, que falou sobre dados públicos.

Além do F-1 results, outros “hacks” foram premiados.
O Infraero Parser, por exemplo, ganhou na categoria “relevância pública” por realizar um processo de “raspagem de dados” do site da Infraero, ou seja, extrair dados do site da empresa e passar os mesmos para um formato aberto, tornando-os mais maleáveis, para que outras pessoas possam visualizá-los e mesclá-los com outros dados e informações.
Na categoria “Kept Local”, Place Hacker foi o vencedor. É uma espécie de versão nacional do Placemaker, que pemite trabalhar com georreferenciamento. Como resultado para o usuário final, ele abre, por exemplo, a possibilidade para a criação de um aplicativo que permita a uma pessoa ler as reportagens do notíciário brasileiro de acordo com a sua localização. No caso, matérias do portal G1 foram utilizadas na demonstração.

Por sua vez, o SlideMeme que integra o Slideshare ao Meme (ferramenta de microblogging do Yahoo!), ganhou na categoria “melhor hack ligado ao Meme”.
A “categoria YQL” (ferramenta do Yahoo! que facilita a extração de dados) ficou com o Gas Finder, site e aplicativo para celular que mostra onde estão os postos de gasolina mais próximos com preços mais baixos. A categoria “melhor uso da plataforma do Yahoo!” ficou com o Filmes.CC, mashup de informações do Google, Cinemark e Ingresso.com, que, de acordo com o critério de “estréia” e “em cartaz”, mostra onde estão sendo exibidos os filmes.
Contudo, foram apresentados outros “hacks” que não ganharam prêmios, mas que também achei interessante. Entre eles, o Violência SP, que, a partir de dados públicos, mostra qual o grau de periculosidade de uma área em São Paulo. Basta digitar o endereço de uma rua para saber como andam os crimes no local.
O Casa ou Bar, por sua vez, é ótimo para ser utilizado no trabalho quando chega a hora de ir embora. A partir de dados sobre trânsito no site da CET (São Paulo), ele indica se vale a pena você sair do trabalho e ir para casa. Dependendo da situação do trânsito, é melhor ir para o bar.
O Raintrack também é interessante. A partir de dados de mensagens no Twitter, mostra em um mapa onde está chovendo em São Paulo.

Pelo que percebi, a maioria dos “hacks” trabalha com informações imediatas e do dia-a-dia (trânsito, tempo) e é voltada para a questão do hiperlocal (informação de acordo com a sua localização), além disso, alguns são tentativas de criar relevância em meio ao excesso de dados e informações que temos diariamente (o Espertim, por exemplo, cria um critério de relevância, de ranking, para as mensagens do Twitter, algo que não existe hoje em dia).
Vale lembrar que muitos desses “hacks” ainda estão em fase inicial. Ou seja, alguns podem apresentar erros e outros não estão online.
Pessoalmente, o Yahoo! Open Hack Day foi bem positivo. Pude trocar informações com várias pessoas, olhar para novos lados de pesquisa na área de mídia e aprender um pouco mais sobre como trabalhar com “dados estruturados” e formas de apresentar informações.
No evento, uma vez mais, aproveitei para bater um papo com o Pedro Valente, do Yahoo!, um dos poucos jornalistas brasileiros que tem formação na área de programação e que foi palestrante do último Seminário Tendências Conectadas, lá na Cásper Líbero.
No Vídeo abaixo, conversamos não somente a respeito do Yahoo!, mas do NYTimes e do Guardian realizarem “hacks days” e sobre o quanto o jornalismo e o desenvolvimento de software vêm se misturando. Dependendo da forma e com quais dados você trabalha, criar aplicativos também é fazer jornalismo.
A primeira pergunta foi sobre o porquê de uma empresa fazer um evento deste tipo.


Pedro Valente (Yahoo! Open Hack Day 2010) from Tiago Doria on Vimeo.




Publicado por Tiago Dória, em 22 de março de 2010 (Segunda-feira).

IPTV pode chegar a 90 milhões de assinantes em 2012.

Espaço Painel Telebrasil - 
Convergência Digital

A oferta de conteúdo através da infra-estrutura das operadoras de telefonia fixa é uma tendência irreversível. Tanto é assim que apesar de em grandes países, entre eles o Brasil e a China, ainda existir restrições regulatórias à oferta do serviço, o ritmo de adesão mundial ao produto é progressivo. No 52º Painel Telebrasil, o tema IPTV será pauta de palestra de um dos maiores gigantes do mundo na área - a BT Global Services.
Pesquisa divulgada pela consultoria Pyramid Reserach sobre IPTV apura que no final de 2007, o serviço chegava a 15 milhões de assinantes. Nos próximos cinco anos, a tendência é de um crescimento de até seis vezes na base de clientes. O levantamento da consultoria estudou 10 mercados, entre eles, o Brasil e a China, onde há restrições regulatórias à oferta do serviço por parte das operadoras fixas.
Os analistas da Pyramid afirmam que, hoje, os provedores de IPTV, mesmo nos países onde há a restrição regulatória, enfocam a elaboração de um conteúdo exclusivo em canais dedicados e na oferta de um acervo para Video on Demand. Fato, aliás, comprovado no Brasil, onde Brasil Telecom e Oi, por exemplo, já têm esse produto disponível para seus clientes. A oferta de DVRs, que permitem a gravação de programas para serem assistidos quando for conveniente, também é um diferencial para os operadores.
O tema IPTV estará à mesa de debates dos participantes do 52º Painel Telebrasil. Isso porque o serviço é mais uma mídia que desponta para a transmissão de conteúdo multímidia, objeto central de debates no painel, que acontece de 04 a 08 de junho, na Costa do Sauípe.
Um dos convidados especiais do evento é Francisco Araujo Carvalho, diretor da BT, uma das maiores operadoras globais de telecomunicações. O executivo falará, exatamente, sobre a visão de serviços convergentes para o século 21 na área de IPTV da gigante de telecomunicações.
A BT Global Services, unidade de negócios que presta serviços a empresas em todo o mundo e à qual pertence a BT na América Latina, cresceu 10%, com faturamento de 9 bilhões e 890 milhões de euros. O EBTIDA cresceu 13%, continuando a tendência de crescimento que se iniciou há dois anos.
Os novos negócios, denominados "new wave", entre eles, a convergência, foram responsáveis por uma receita de 10 bilhões e 84 milhões de euros na companhia no exercício 2007/2008, encerrado em 31 de março último. O faturamento global da BT atingiu 25 bilhões e 957 milhões de euros.