Vamos arquivar o SAPO Vídeos

1. Descarregar os vídeos: se tiveres uns terabytes livres, podes correr o programa abaixo para ir descarregando novos vídeos;
2. Descobrir vídeos novos: temos indexados 1.5 milhões de vídeos, mas estima-se que haja 5 milhões.

No fim da página há algumas estatísticas que descrevem o estado do projecto.

Descarregar vídeos

Nota: Só temos instruções para GNU/Linux.

1. Faz download do saca-sapos
2. Descomprime o programa (tar xzf /caminho/para/o/saca-sapos.tar.gz)
3. Instala as dependências: curl e jq
4. Corre o programa a partir de uma pasta com espaço suficiente para descarregar o número de vídeos especificado:

   $ cd /pasta/com/bastante/espaço
   $ /caminho/para/o/saca-sapos download QUANTIDADE_DE_VIDEOS TEU_ENDERECO_DE_EMAIL
   

5. Vamos contactar-te a pedir que nos mandes os vídeos que descarregaste, por isso garante que usas um endereço válido
6. Quando o programa acabar, já está! Corre novamente para descarregar mais uns quantos vídeos.

O programa saca até 4 vídeos em simultâneo, mas pode ser configurado para mais ou menos. Por exemplo:

$ cd /pasta/com/bastante/espaço
$ PROCS=10 /caminho/para/o/saca-sapos download 1000 eu@exemplo.pt

Para ajudar a ter noção de quanto ocupa um certo número de vídeos, temos nas estatísticas o tamanho médio por vídeo.

Descobrir vídeos novos

O repositório de código deste projecto tem os scripts usados para varrer a plataforma e guardar todos os identificadores de vídeos que encontrar. Por exemplo, é possível varrer todas as 1468 páginas da categoria "Animação" (3) correndo o comando:

./get-category.sh 3 1468

No total, temos recolhidos 1.5 milhões de vídeos. Supostamente há cerca de 5 milhões. Diponibilizamos os metadados dos vídeos encontrados (1.5 GiB) em formato JSONL. Cada linha é um objecto JSON que representa um vídeo.

Os endpoints de pesquisa devolvem os metadados completos de cada resultado. Não sabemos de nenhum endpoint que devolva os metadados de um vídeo em específico.

Coisas que já foram feitas:

• Varridos os resultados das pesquisas por letras únicas de a a z (./get-search.sh a 105, etc);
• Varridos os resultados das pesquisas por um só espaço (./get-search.sh " " 13716);
• Varridos todos os utilizadores dos vídeos encontrados nos passos anteriores;
• Varridas todas as categorias;
• Varridos os resultados das pesquisas por um números até 16 (./get-search.sh 1 6007, etc);

Os scripts à volta desta tarefa não estão muito optimizados para distribuir trabalho / fazer trabalho incremental, mas qualquer ajuda a descobrir mais vídeos é bem-vinda. Mandem mensagens no fediverso (@hugopeixoto@ciberlandia.pt) para coordenarmos trabalho.

Estatísticas

Número de vídeos conhecidos: 1558696

Número de vídeos descarregados: 1107725 (71.07%)

Tamanho descarregado: 28.22 TiB

Tamanho médio: 26.71 MiB/vídeo

Tamanho total estimado: 39.71 TiB

Número de pessoas a descarregar vídeos: 7

Tamanho descarregado por cada pessoa:

1. 14.60 TiB (550297 vídeos)
2. 8.74 TiB (352438 vídeos)
3. 2.54 TiB (109061 vídeos)
4. 1.74 TiB (69420 vídeos)
5. 623.18 GiB (26260 vídeos)
6. 150.11 GiB (6115 vídeos)
7. 84.95 GiB (3500 vídeos)