Все вопросы: [hbase]

19 вопросов

похожие теги: hbase-shell
6
голосов
1ответов
3285 просмотров

Hadoop mapreduce streaming от HBase

Я создаю задание mapreduce Hadoop (0.20.1), которое использует HBase (0.20.1) как источник и приемник данных.Я хотел бы написать задание на Python, которое потребовало бы от меня использования hadoop-0.20.1-streaming.jar для потоковой передачи данных в мои сценарии Python и из них.Это нормально ...

2
голосов
2ответов
870 просмотров

Кэширование приложений карты в Hadoop MapReduce?

Если посмотреть на комбинацию MapReduce и HBase с точки зрения потока данных, моя проблема кажется подходящей. У меня есть большой набор документов, которые я хочу сопоставить, объединить и уменьшить. Моя предыдущая реализация SQL заключалась в том, чтобы разделить задачу на пакетные операции, к...

2
голосов
1ответов
394 просмотров

Это подходящее (или возможное) использование HBase?

Я хочу использовать HBase в качестве магазина, где я могу вставить несколько миллионов записей в формате {document => {term => weight}}, например. «Вставьте термин X в документ Y с весом Z», а затем введите команду типа «Выбрать 1000 лучших терминов для этого документа» или «Выбрать 1000 л...

4
голосов
2ответов
824 просмотров

Имеет ли смысл HBase, если он не работает в распределенной среде?

Я создаю индекс данных, который повлечет за собой сохранение большого количества триплетов в форме (document, term, weight). Я буду хранить до нескольких миллионов таких строк. В настоящее время я делаю это в MySQL в виде простой таблицы. Я храню идентификаторы документа и термина как строковые ...

38
голосов
6ответов
15635 просмотров

хранение массивных упорядоченных данных временных рядов в производных bigtable

Я пытаюсь понять, что именно представляют собой эти новые фантастические хранилища данных, такие как bigtable, hbase и cassandra. Я работаю с огромными объемами данных о фондовых рынках, с миллиардами строк данных о ценах / котировках, которые могут составлять до 100 гигабайт каждый день (хот...

5
голосов
1ответов
1472 просмотров

Which is the most suitable Key-Value Store for a RDBMS background person?

Is there a distinct winner among all the key-value stores? Cassandra, MongoDB, CouchDB? and do they all follow some central guidelines? or they all have their own say in defining their APIs. I'm asking this question, especially from a perspective of a RDBMS skilled person who is new to key-value...

8
голосов
4ответов
6442 просмотров

Advanced queries in HBase

Given the following HBase schema scenario (from the official FAQ)... How would you design an Hbase table for many-to-many association between two entities, for example Student and Course? I would define two tables: Student: student id student data (name, address, ...) course...

25
голосов
5ответов
7907 просмотров

Can OLAP be done in BigTable?

In the past I used to build WebAnalytics using OLAP cubes running on MySQL. Now an OLAP cube the way I used it is simply a large table (ok, it was stored a bit smarter than that) where each row is basically a measurement or and aggregated set of measurements. Each measurement has a bunch of dimen...

0
голосов
1ответов
1015 просмотров

Feed aggregator using hbase. How to design the schema?

I am working on a project involving monitoring a large number of rss/atom feeds. I want to use hbase for data storage and I have some problems designing the schema. For the first iteration I want to be able to generate an aggregated feed (last 100 posts from all feeds in reverse chronological ord...

7
голосов
2ответов
6168 просмотров

Writing an ActiveRecord adapter

I'd like to write my own ActiveRecord adapter for the HBase database since none currently exist. However, I've been searching for a while online and can't find any good resources on how to write an ActiveRecord adapter. How would you go about doing this, or are there any links you can recommend?

3
голосов
3ответов
757 просмотров

secondary index on column store dbs

Is there any column store database that supports secondary index ? I know HBase does, but it's not there yet. Haggai.

3
голосов
2ответов
1532 просмотров

Распределенный сканер HBase

В «Пример использования API» на странице «Начало работы» в документации HBase есть пример использования сканера: Scanner scanner = table.getScanner (новый String [] {"myColumnFamily: columnQualifier1"}); RowResult rowResult = scanner.next(); while (rowResult != null) { //... rowR...

9
голосов
1ответов
2436 просмотров

HBase стабильна и готова к работе?

Считаете ли вы, что люди, развернувшие HBase на своих кластерах, достаточно стабильны для производственного использования? С какими типами проблем или проблем вы сталкивались? Я действительно вижу несколько компаний, которые используют HBase в производстве ( http: // wiki .apache.org / hadoop...

4
голосов
2ответов
4047 просмотров

Напишите php-массив в HBase, используя бережливость

У меня есть php-клиент Thrift, и я хочу писать в таблице HBase, и я делаю следующее: $mutations = array( new Mutation( array( 'column' => 'entry:num', 'value' => array('a','b','c') ) ), ); $client->mutateRow( $t, $row, $mutations ); Проблема в том, что п...

12
голосов
2ответов
6182 просмотров

Hadoop Hbase: Распространение семейств столбцов по таблицам или нет

В документации Hbase четко указано, что вы должны группировать похожие столбцы в семейства столбцов, поскольку физическое хранение осуществляется по семействам столбцов. Но что значит поместить два семейства столбцов в одну и ту же таблицу вместо того, чтобы иметь отдельные таблицы для каждой...

11
голосов
2ответов
8865 просмотров

как разработать схему Hbase?

предположим, что у меня есть эта таблица RDBM ( Entity-attribute-value_model ): col1: entityID col2: attributeName col3: value и я хочу использовать HBase из-за проблем с масштабированием. Я знаю, что единственный способ получить доступ к таблице Hbase - использовать первичный ключ (к...

4
голосов
5ответов
1552 просмотров

Ruby On Rails / Merb как интерфейс для приложения с миллиардами записей

Я ищу серверное решение для приложения, написанного на Ruby on Rails или Merb, для обработки данных с несколькими миллиардами записей. У меня есть ощущение, что я должен использовать распределенную модель, и на данный момент я посмотрел на HBase с Hadoop Couchdb Проблемы с решение...

19
голосов
6ответов
19414 просмотров

Справка по запросу Hbase / Hadoop

Я работаю над проектом с другом, который будет использовать Hbase для хранения своих данных. Есть ли хорошие примеры запросов? Кажется, я пишу тонну кода Java для перебора списков RowResult, когда в мире SQL я мог бы написать простой запрос. Я что-то пропустил? Или в Hbase чего-то не хватает?

57
голосов
7ответов
43705 просмотров

Как Hive по сравнению с HBase?

Мне интересно узнать, как недавно выпущенный ( http: // mirror.facebook.com/facebook/hive/hadoop-0.17/ ) Hive сравнивается с HBase с точки зрения производительности. Интерфейс, похожий на SQL, используемый Hive, намного предпочтительнее реализованного нами API HBase.