Знаете ли вы какой-нибудь большой набор данных для экспериментов с Hadoop, который является бесплатным или недорогим? Любые связанные указатели/ссылки приветствуются.
Предпочтение:
Не менее одного ГБ данных.
Данные производственного журнала веб-сервера.
Некоторые из них, которые я нашел до сих пор:
Также мы можем запустить собственный сканер для сбора данных с сайтов, например. Википедия? Любые указания о том, как это сделать, также приветствуются.
Несколько моментов по вашему вопросу о сканировании и википедии.
Вы связались с дампами данных Википедии и можете использовать Cloud9 от UMD для работы с этими данными в Hadoop.
У них есть страница на эту тему: Работа с Википедией
Еще один источник данных для добавления в список:
Я бы сказал, что использование сканера для генерации данных должно быть опубликовано в отдельном вопросе о Hadoop/MapReduce.
Один очевидный источник: дампы данных трилогии Stack Overflow. Они находятся в свободном доступе по лицензии Creative Commons.
Это коллекция из 189 наборов данных для машинного обучения (одно из лучших приложений для Hadoop g): http://archive.ics.uci.edu/ml/datasets..html
Это не файл журнала, но, возможно, вы могли бы использовать файл планеты из OpenStreetMap: http://wiki.openstreetmap.org/wiki/Planet.osm
Лицензия CC, около 160 ГБ (без упаковки)
Также есть файлы меньшего размера для каждого континента: http://wiki.openstreetmap.org/wiki/World
