Google Ngram Viewer
O Google Ngram Viewer ou o Google Books Ngram Viewer é um mecanismo de pesquisa on-line que mapeia as frequências de qualquer conjunto de cadeias de pesquisa delimitadas por vírgulas usando uma contagem anual de n-gramas encontrados em fontes impressas entre 1500 e 2008[1][2][3][4][5] nos corpora de texto do Google em inglês, chinês (simplificado), francês, alemão, hebraico, italiano, russo ou espanhol.[2][6] Existem também alguns corpora em inglês especializados, como inglês americano, inglês britânico e ficção inglesa; e a versão 2009 da maioria dos corpora também está disponível.[7]
O programa pode procurar por uma única palavra ou frase, incluindo erros ortográficos ou rabiscos.[6] Os n-gramas são combinados com o texto dentro do corpus selecionado, opcionalmente usando ortografia com distinção entre maiúsculas e minúsculas (que compara o uso exato de letras maiúsculas),[3] e, se encontrado em 40 ou mais livros, são plotados em um gráfico.[8]
O Google Ngram Viewer, desde janeiro de 2016, suporta pesquisas por classe gramatical e curingas.[7]
História[editar | editar código-fonte]
O programa foi desenvolvido por Jon Orwant e Will Brockman e lançado em meados de dezembro de 2010.[2][4] Foi inspirado em um protótipo (chamado "Bookworm") criado por Jean-Baptiste Michel e Erez Aiden do Observatório Cultural de Harvard e Yuan Shen do MIT e Steven Pinker.[9]
O Ngram Viewer foi inicialmente baseado na edição de 2009 do Google Livros Ngram Corpus. Desde janeiro de 2016, o programa pode pesquisar o corpus de um idioma individual na edição de 2009 ou 2012.
Operação e restrições[editar | editar código-fonte]
Vírgulas delimitam termos de pesquisa inseridos pelo usuário, indicando cada palavra ou frase separada a ser encontrada.[8] O Ngram Viewer retorna um gráfico de linhas plotado segundos após o usuário pressionar a tecla Enter ou o botão "Search" na tela.
Como um ajuste para a publicação de mais livros durante alguns anos, os dados são normalizados, em nível relativo, pelo número de livros publicados em cada ano.[8]
O Google preencheu o banco de dados de mais de 5 milhões de livros publicados até 2008. Assim, a partir de janeiro de 2016, nenhum dado corresponderá além do ano de 2008, independentemente de o corpus ter sido gerado em 2009 ou 2012. Devido a limitações no tamanho do banco de dados Ngram, apenas correspondências encontradas em pelo menos 40 livros são indexadas no banco de dados; caso contrário, o banco de dados pode não ter armazenado todas as combinações possíveis.[8]
Normalmente, os termos de pesquisa não podem terminar com pontuação, embora um ponto final separado (um ponto) possa ser pesquisado.[8] Além disso, um ponto de interrogação no final (como em "Por quê?") fará uma segunda pesquisa para o ponto de interrogação separadamente.[8]
A omissão dos períodos nas abreviações permitirá uma forma de correspondência, como usar "R M S" para procurar "R.M.S." versus "RMS".
Corpora[editar | editar código-fonte]
Os corpora usados para a pesquisa são compostos de arquivos de total_counts, 1-gramas, 2-gramas, 3-gramas, 4-gramas e 5-gramas para cada idioma. O formato do arquivo de cada um dos arquivos são dados separados por tabulação. Cada linha tem o seguinte formato:[10]
- arquivo total_counts
- year TAB match_count TAB page_count TAB volume_count NEWLINE
- Arquivo ngram da versão 1 (gerado em julho de 2009)
- ngram TAB year TAB match_count TAB page_count TAB volume_count NEWLINE
- Arquivo ngram da versão 2 (gerado em julho de 2012)
- ngram TAB year TAB match_count TAB volume_count NEWLINE
O Google Ngram Viewer usa match_count para plotar o gráfico.
Como exemplo, uma palavra "Wikipedia" do arquivo da versão 2 do inglês 1-gramas é armazenada da seguinte maneira:[11]
| ngram | year | match_count | volume_count |
|---|---|---|---|
| Wikipedia | 1904 | 1 | 1 |
| Wikipedia | 1912 | 11 | 1 |
| Wikipedia | 1924 | 1 | 1 |
| Wikipedia | 1925 | 11 | 1 |
| Wikipedia | 1929 | 11 | 1 |
| Wikipedia | 1943 | 11 | 1 |
| Wikipedia | 1946 | 11 | 1 |
| Wikipedia | 1947 | 11 | 1 |
| Wikipedia | 1949 | 11 | 1 |
| Wikipedia | 1951 | 11 | 1 |
| Wikipedia | 1953 | 22 | 2 |
| Wikipedia | 1955 | 11 | 1 |
| Wikipedia | 1958 | 1 | 1 |
| Wikipedia | 1961 | 22 | 2 |
| Wikipedia | 1964 | 22 | 2 |
| Wikipedia | 1965 | 11 | 1 |
| Wikipedia | 1966 | 15 | 2 |
| Wikipedia | 1969 | 33 | 3 |
| Wikipedia | 1970 | 129 | 4 |
| Wikipedia | 1971 | 44 | 4 |
| Wikipedia | 1972 | 22 | 2 |
| Wikipedia | 1973 | 1 | 1 |
| Wikipedia | 1974 | 2 | 1 |
| Wikipedia | 1975 | 33 | 3 |
| Wikipedia | 1976 | 11 | 1 |
| Wikipedia | 1977 | 13 | 3 |
| Wikipedia | 1978 | 11 | 1 |
| Wikipedia | 1979 | 112 | 12 |
| Wikipedia | 1980 | 13 | 4 |
| Wikipedia | 1982 | 11 | 1 |
| Wikipedia | 1983 | 3 | 2 |
| Wikipedia | 1984 | 48 | 3 |
| Wikipedia | 1985 | 37 | 3 |
| Wikipedia | 1986 | 6 | 4 |
| Wikipedia | 1987 | 13 | 2 |
| Wikipedia | 1988 | 14 | 3 |
| Wikipedia | 1990 | 12 | 2 |
| Wikipedia | 1991 | 8 | 5 |
| Wikipedia | 1992 | 1 | 1 |
| Wikipedia | 1993 | 1 | 1 |
| Wikipedia | 1994 | 23 | 3 |
| Wikipedia | 1995 | 4 | 1 |
| Wikipedia | 1996 | 23 | 3 |
| Wikipedia | 1997 | 6 | 1 |
| Wikipedia | 1998 | 32 | 10 |
| Wikipedia | 1999 | 39 | 11 |
| Wikipedia | 2000 | 43 | 12 |
| Wikipedia | 2001 | 59 | 14 |
| Wikipedia | 2002 | 105 | 19 |
| Wikipedia | 2003 | 149 | 53 |
| Wikipedia | 2004 | 803 | 285 |
| Wikipedia | 2005 | 2964 | 911 |
| Wikipedia | 2006 | 9818 | 2655 |
| Wikipedia | 2007 | 20017 | 5400 |
| Wikipedia | 2008 | 33722 | 6825 |
O gráfico plotado pelo Google Ngram Viewer usando os dados acima está aqui:[12]
Crítica[editar | editar código-fonte]
O conjunto de dados foi criticado por confiar em OCR impreciso, uma superabundância de literatura científica e por incluir um grande número de textos incorretamente datados e categorizados.[13][14] Por causa desses erros e por não ser controlado pelo viés[15] (como a quantidade crescente de literatura científica, que faz com que outros termos pareçam diminuir em popularidade), é arriscado usar esse corpus para estudar a linguagem ou testar teorias.[16] Como o conjunto de dados não inclui metadados, ele pode não refletir alterações linguísticas ou culturais gerais[17] e pode apenas sugerir esse efeito.
Outra questão é que o corpus é de fato uma biblioteca, contendo um de cada livro. Um único autor prolífico pode, assim, inserir visivelmente novas frases no léxico do Google Livros, quer o autor seja amplamente lido ou não.[15]
Problemas de OCR[editar | editar código-fonte]
O reconhecimento óptico de caracteres ou OCR nem sempre é confiável e alguns caracteres podem não ser digitalizados corretamente. Em particular, erros sistêmicos, como a confusão de "s" e "f" nos textos anteriores ao século XIX (devido ao uso de s longo, com aparência semelhante a "f"), podem causar viés sistêmico. Embora o Google Ngram Viewer afirme que os resultados são confiáveis a partir de 1800, dados de OCR ruins e insuficientes significam que as frequências fornecidas para idiomas como o chinês só podem ser precisas a partir de 1970, com partes anteriores do corpus mostrando nenhum resultado em termos comuns e dados de alguns anos contendo mais de 50% de ruído.[18][19]
Veja também[editar | editar código-fonte]
Referências
- ↑ "Quantitative analysis of culture using millions of digitized books" JB Michel et al, Science 2011, DOI: 10.1126/science.1199644
- ↑ a b c "Google Ngram Database Tracks Popularity Of 500 Billion Words" Huffington Post, 17 December 2010, webpage: HP8150.
- ↑ a b "Google Ngram Viewer - Google Books", Books.Google.com, May 2012, webpage: G-Ngrams.
- ↑ a b "Google's Ngram Viewer: A time machine for wordplay", Cnet.com, 17 December 2010, webpage: CN93.
- ↑ "A Picture is Worth 500 Billion Words – By Rusty S. Thompson", HarrisburgMagazine.com, 20 September 2011, webpage: HBMag20.
- ↑ a b "Google Books Ngram Viewer - University at Buffalo Libraries", Lib.Buffalo.edu, 22 August 2011, webpage: Buf497.
- ↑ a b Google Books Ngram Viewer info page: https://books.google.com/ngrams/info
- ↑ a b c d e f "Google Ngram Viewer - Google Books" (Information), Books.Google.com, December 16, 2010, webpage: G-Ngrams-info: notes bigrams and use of quotes for words with apostrophes.
- ↑ The RSA. «Steven Pinker - The Stuff of Thought: Language as a window into human nature» – via YouTube
- ↑ «Google Books Ngram Viewer»
- ↑ googlebooks-eng-all-1gram-20120701-w.gz at http://storage.googleapis.com/books/ngrams/books/datasetsv2.html
- ↑ https://books.google.com/ngrams/graph?content=Wikipedia&year_start=1900&year_end=2020&corpus=15&smoothing=0&share=&direct_url=t1%3B%2CWikipedia%3B%2Cc0
- ↑ Google Ngrams: OCR and Metadata. ResourceShelf, 19 December 2010
- ↑ «Humanities research with the Google Books corpus»
- ↑ a b «Characterizing the Google Books Corpus: Strong Limits to Inferences of Socio-Cultural and Linguistic Evolution». PLOS ONE. 10: e0137041. PMID 26445406. arXiv:1501.00960
. doi:10.1371/journal.pone.0137041
- ↑ «The Pitfalls of Using Google Ngram to Study Language». WIRED (em inglês)
- ↑ Koplenig (1 de abril de 2017). «The impact of lacking metadata for the measurement of cultural and linguistic change using the Google Ngram data sets—Reconstructing the composition of the German corpus in times of WWII». Digital Scholarship in the Humanities. 32: 169–188. ISSN 2055-7671. doi:10.1093/llc/fqv037
- ↑ Google n-grams and pre-modern Chinese. digitalsinology.org.
- ↑ When n-grams go bad. digitalsinology.org.
Bibliografia[editar | editar código-fonte]
- «Syntactic Annotations for the Google Books Ngram Corpus» (PDF). Proceedings of the 50th Annual Meeting. Demo Papers. 2: 169–174. 2390499.
Apresentando a edição de 2012 do Google Books Ngram Corpus
.svg){kind=small}
