「hive」の記事 - Crieit

FlutterのHiveで type 'UnspecifiedInvalidResult' is not a subtype of type 'LibraryElementResult' in type cast エラー

2022-05-24T09:09:10+09:00

FlutterのHiveでbuild_runnerしたところ下記のようなエラーが出た。

type 'UnspecifiedInvalidResult' is not a subtype of type 'LibraryElementResult' in type cast
[SEVERE] hive_generator:hive_generator on lib/models/message.dart:

調べてみたところいくつかの箇所で一旦pubspec.lockを削除したらいける、とのことで試してみたらなおった。依存関係が更新されてしまうのでちょっと怖いが。

https://github.com/google/json_serializable.dart/issues/924

追記）やっぱ仕様変更したライブラリがあって困ったがそれはまた別の話…

hive.server2.enable.doAs がよく分からなかったので Apache Bigtop で調べてみた

2021-06-04T05:01:46+09:00

hive.server2.enable.doAs の設定によって何がどう変わるかよく分からなかったので Apache Bigtop を使って調べてみました。

hive.server2.enable.doAs だと長くて煩雑なので以下では適宜 doAs と略しています。

まとめ

先にまとめ。調べた結果を基に書いていますが、厳密な裏付けはありません（ソースを読んで調べたりはしていません）。

proxy user というしくみがある
- Apache Hadoop 2.8.5 – Proxy user - Superusers Acting On Behalf Of Other Users
- hiveserver2 のプロセスを実行しているユーザではなく、
  他のユーザになりすましてジョブの submit や HDFS へのアクセスを行うしくみ
- （Hive ではなく）Hadoop の機能
- core-site.xml の hadoop.proxyuser.〜 で設定する
- hive.server2.enable.doAs が false の場合、なりすましを行わず、
  hiveserver2 のプロセスを実行しているユーザで操作が実行される
なりすましを行うには、下記の両方が必要
- OSのユーザとして存在している
- core-site.xml の proxyuser の設定に対象ユーザが含まれている（※1）
beeline の場合は、なりすましたいユーザ名を -n オプションで指定する
なりすましを行うと、HDFS上で作られるデータベースやテーブルのディレクトリ、データファイルの所有者がそのユーザになる

hive.server2.enable.doAs で設定しているのは要するに何なのかということで言えば、「Hadoop の proxy user 機能を利用するかどうか」と思ってよさそうな挙動でした。なので、利用する場合は proxy user についても知る必要があります。

※1 Apache Hadoop 2.8.5 – Proxy user - Superusers Acting On Behalf Of Other Users によれば、ホストによる指定、グループによる指定、ユーザによる指定を組み合わせて指定できるようです。

バージョンなど

Bigtop は下記の時点の master を使っています。

34e0bd7182c713b16dce9a4bdc803c8ed7fb9eb3
Thu Jun 11 09:01:26 2020 +0000

Hadoop 2.8.5
Hive 2.3.3

一応公式の説明

Setting Up HiveServer2 - Apache Hive - Apache Software Foundation

Impersonation By default HiveServer2 performs the query processing as the user who submitted the query. But if the following parameter is set to false, the query will run as the user that the hiveserver2 process runs as. hive.server2.enable.doAs – Impersonate the connected user, default true.

impersonate は「なりすます」という意味。エラーメッセージでも出てきます。

調査1: doAsの設定による違い

準備

設定を変えてプロビジョニングしなおすのを繰り返すやり方だと時間がかかってしまうので、Bigtop のリポジトリをクローンしたディレクトリを2つ用意して true/false それぞれの設定にします。

デフォルトでは true なので、false の方のディレクトリのみ hive-site.xml を修正。

--- a/bigtop-deploy/puppet/modules/hadoop_hive/templates/hive-site.xml
+++ b/bigtop-deploy/puppet/modules/hadoop_hive/templates/hive-site.xml
@@ -81,7 +81,7 @@

 
    hive.server2.enable.doAs
-   true
+   false

config_centos-7.yaml を修正して Hive コンポーネントを追加。

--- a/provisioner/docker/config_centos-7.yaml
+++ b/provisioner/docker/config_centos-7.yaml
@@ -19,6 +19,6 @@ docker:

 repo: "http://repos.bigtop.apache.org/releases/1.4.0/centos/7/$basearch"
 distro: centos
-components: [hdfs, yarn, mapreduce]
+components: [hdfs, yarn, mapreduce, hive]
 enable_local_repo: false
 smoke_test_components: [hdfs, yarn, mapreduce]

設定の変更はこれだけ。

単一ノードで create します。

time ./docker-hadoop.sh -C config_centos-7.yaml --create 1

これで Hadoop と Hive が使えるようになります。Bigtop すばらしい……ありがたや……。

コンテナに入る。

./docker-hadoop.sh --exec 1 bash

以下、コンテナ内の作業。

testuser というユーザがすでに存在しているので、そっちにスイッチします。
（こういう用途で使うために用意されているものなのか分かっていませんが、とりあえず一般ユーザのつもりで使います）

su - testuser

接続

beeline で hiverserver2 に接続

beeline -u "jdbc:hive2://localhost:10000"

doAs=false の場合: 接続に成功する。
doAs=true の場合: 接続に失敗して次のようなメッセージが出ます（適宜改行を加えています）。

Error: Could not open client transport with JDBC Uri: 
jdbc:hive2://localhost:10000: Failed to open new session: 
java.lang.RuntimeException: 
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): 
User: hive is not allowed to impersonate anonymous (state=08S01,code=0)

この場合は -n オプションでユーザ名を指定すると接続できるようになります。

beeline -u "jdbc:hive2://localhost:10000" -n testuser

ちなみに、Bigtop の既定の設定では hiveserver2 は hive ユーザで実行されますが、hiveserver2 を root ユーザで実行すると次のようなメッセージになります。

User: root is not allowed to impersonate anonymous (state=08S01,code=0)
      ^^^^
      ここが変わる

「hiveserver2 の実行ユーザが他のユーザになりすます」ということが試みられているようです。

OSに存在しないユーザ名を指定した場合

beeline -u "jdbc:hive2://localhost:10000" -n nobody

doAs=false の場合: 接続に成功する。
doAs=true の場合: 接続に失敗する。

doAs=false の場合、 -n オプションによる指定はいずれにせよ無視されるということでしょうか。

create databse

doAs=false の場合

一応 -n testuser を付けてみます。

$ beeline -u "jdbc:hive2://localhost:10000" -n testuser

create database test_db1;
  => 成功する

$ hdfs dfs -ls /user/hive/warehouse
Found 1 items
drwxrwxrwx   - hive hadoop          0 2020-06-27 05:41 /user/hive/warehouse/test_db1.db

やはり -n の指定は無視され、所有者＝hive でディレクトリが作られました。

create external table + insert

doAs=true の場合

table_ext というテーブルを作り、/user/testuser の下にデータを置くことにします。

$ hdfs dfs -ls /user
...
drwx------   - testuser hadoop          0 2020-06-27 09:54 /user/testuser
...

beeline -u "jdbc:hive2://localhost:10000" -n testuser

use test_db1;
create external table table_ext (name string)
  location '/user/testuser/table_ext/';
insert into table table_ext values ('foo'), ('bar');

$ hdfs dfs -ls /user/testuser/
Found 2 items
drwx------   - testuser hadoop          0 2020-06-27 10:22 /user/testuser/.staging
drwx------   - testuser hadoop          0 2020-06-27 10:22 /user/testuser/table_ext


$ hdfs dfs -ls /user/testuser/table_ext
Found 1 items
-rwx------   3 testuser hadoop          8 2020-06-27 10:22 /user/testuser/table_ext/000000_0

$ hdfs dfs -text /user/testuser/table_ext/000000_0
foo
bar

doAs=false の場合

こちらは hdfs:///user/testuser/ ディレクトリが存在しなかったので、hdfs:///tmp/ の下にデータを置くことにします。

beeline -u "jdbc:hive2://localhost:10000" -n testuser

use test_db1;
create external table table_ext (name string)
  location '/tmp/table_ext/';
insert into table table_ext values ('foo'), ('bar');

$ hdfs dfs -ls /tmp/
Found 3 items
drwxrwxrwx   - mapred mapred          0 2020-06-27 04:55 /tmp/hadoop-yarn
drwx-wx-wx   - hive   hadoop          0 2020-06-27 04:56 /tmp/hive
drwxrwxrwt   - hive   hadoop          0 2020-06-27 10:29 /tmp/table_ext

$ hdfs dfs -ls /tmp/table_ext
Found 1 items
-rwxrwxrwt   3 hive hadoop          8 2020-06-27 10:29 /tmp/table_ext/000000_0

$ hdfs dfs -text /tmp/table_ext/000000_0
foo
bar

調査2: OSのユーザとproxy userの関係

doAs=false の場合の挙動はなんとなく分かってきましたが、doAs=true の場合のOSのユーザとの関係がよく分からないので、こんどはそこを調べてみます。

Hadoop の proxy user というしくみが関わっているようだったので、次の3パターンでどうなるか試します。

user_os: OS のユーザのみ存在
user_proxyuser: proxy user の設定のみ
user_both: OS のユーザが存在し、かつ proxy user の設定もあり
- おそらく testuser と同等

データの配置場所が変わるだけだと思われたので外部テーブルについては省略。

設定ファイルを修正。下記は master からの差分です。Puppet に詳しくないので、 testuser を grep したりして当たりを付けて適当に修正しました。

--- a/bigtop-deploy/puppet/manifests/cluster.pp
+++ b/bigtop-deploy/puppet/manifests/cluster.pp
@@ -159,7 +159,7 @@ $roles_map = {

 class hadoop_cluster_node (
   $hadoop_security_authentication = hiera("hadoop::hadoop_security_authentication", "simple"),
-  $bigtop_real_users = [ 'jenkins', 'testuser', 'hudson' ],
+  $bigtop_real_users = [ 'jenkins', 'testuser', 'hudson', 'user_os', 'user_both' ],
   $cluster_components = ["all"]
   ) {

--- a/bigtop-deploy/puppet/modules/hadoop/manifests/init.pp
+++ b/bigtop-deploy/puppet/modules/hadoop/manifests/init.pp
@@ -20,7 +20,7 @@ class hadoop ($hadoop_security_authentication = "simple",
   $hadoop_storage_dirs = split($::hadoop_storage_dirs, ";"),
   $proxyusers = {
     oozie => { groups => 'hudson,testuser,root,hadoop,jenkins,oozie,hive,httpfs,users', hosts => "*" },
-     hive => { groups => 'hudson,testuser,root,hadoop,jenkins,oozie,hive,httpfs,users', hosts => "*" },
+     hive => { groups => 'hudson,testuser,user_both,user_proxyuser,root,hadoop,jenkins,oozie,hive,httpfs,users', hosts => "*" },
    httpfs => { groups => 'hudson,testuser,root,hadoop,jenkins,oozie,hive,httpfs,users', hosts => "*" } },
   $generate_secrets = false,
   $kms_host = undef,

--- a/provisioner/docker/config_centos-7.yaml
+++ b/provisioner/docker/config_centos-7.yaml
@@ -19,6 +19,6 @@ docker:

 repo: "http://repos.bigtop.apache.org/releases/1.4.0/centos/7/$basearch"
 distro: centos
-components: [hdfs, yarn, mapreduce]
+components: [hdfs, yarn, mapreduce, hive]
 enable_local_repo: false
 smoke_test_components: [hdfs, yarn, mapreduce]

あと、調査1のときと同様に hdfs:///user のパーミッションを変更しておきます。

# hdfs dfs -ls / | grep /user
drwxr-xr-x   - hdfs  hadoop          0 2020-06-28 03:13 /user
# sudo -u hdfs hdfs dfs -chmod 777 /user

OSユーザあり、proxy user 設定あり

# su - user_both
$ beeline -u "jdbc:hive2://localhost:10000" -n user_both

create database user_both_db;
use user_both_db;
create table table1 (name string);
insert into table1 values ('foo'), ('bar');

insert まで成功しました。

$ hdfs dfs -ls /user/hive/warehouse/
Found 1 items
drwxrwxrwx   - user_both hadoop          0 2020-06-28 03:19 /user/hive/warehouse/user_both_db.db

$ hdfs dfs -ls /user/hive/warehouse/user_both_db.db/
Found 1 items
drwxrwxrwx   - user_both hadoop          0 2020-06-28 03:22 /user/hive/warehouse/user_both_db.db/table1

$ hdfs dfs -ls /user/hive/warehouse/user_both_db.db/table1
Found 1 items
-rwxrwxrwx   3 user_both hadoop          8 2020-06-28 03:22 /user/hive/warehouse/user_both_db.db/table1/000000_0

それぞれ user_both で作られています。testuser と同等の操作ができるようです。

OSユーザあり、proxy user 設定なし / グループのみ変更

user_os の場合接続の時点で失敗しましたが、user_os を proxy user で設定されているグループに所属させるとどうでしょうか。ためしに users というグループでやってみます。

# id user_os
uid=1000(user_os) gid=1000(user_os) groups=1000(user_os)

# gpasswd -a user_os users
Adding user user_os to group users

# id user_os
uid=1000(user_os) gid=1000(user_os) groups=1000(user_os),100(users)

# su - user_os

$ beeline -u "jdbc:hive2://localhost:10000" -n user_os
  => OK

接続できました。insert までやってみます。

create database user_os_db;
use user_os_db;
create table table1 (name string);
insert into table1 values ('foo'), ('bar');

$ hdfs dfs -ls /user/hive/warehouse/
Found 2 items
drwxrwxrwx   - user_both hadoop          0 2020-06-28 03:19 /user/hive/warehouse/user_both_db.db
drwxrwxrwx   - user_os   hadoop          0 2020-06-28 03:37 /user/hive/warehouse/user_os_db.db

$ hdfs dfs -ls /user/hive/warehouse/user_os_db.db/
Found 1 items
drwxrwxrwx   - user_os hadoop          0 2020-06-28 03:37 /user/hive/warehouse/user_os_db.db/table1

$ hdfs dfs -ls /user/hive/warehouse/user_os_db.db/table1
Found 1 items
-rwxrwxrwx   3 user_os hadoop          8 2020-06-28 03:37 /user/hive/warehouse/user_os_db.db/table1/000000_0

所有者＝user_os で作られました。なるほど。

FlutterでHiveというデータベースを使ってみての要所まとめ

2020-10-26T08:16:35+09:00

FlutterでHiveというデータベースを使用してみたが、色々ハマったのでちゃんと動くところまでのメモ。SQLiteのようにテーブル的に保存していくような形。

https://docs.hivedb.dev/#/

Hiveはどうか

元々sqfliteというSQLiteのパッケージを使っていたが、やはりマイグレーションを書くのもモデルをMapに変換したりするのもひたすら面倒くさすぎるのでもっと簡単なものを探していた。下記でたくさんまとめられている。

Dart/FlutterのローカルDBの比較 - のんびり精進

その中でHiveというパッケージがスター数も多かったため（という理由だけで）使ってみることにした。

変換はなくなったし、リレーションもできたりするので今のところ満足。しかしハマりどころも多かったので使い方を含めメモしておく。

上の２つは必須。hive_generatorはどちらでも良いが、クラスで作ったデータをテーブルやコレクション的に保存して使いたい場合、TypeAdapterというのを作る必要がある。それを生成してくれるために使う。ただし、自分で書くこともできるため絶対に必須というわけではない。build_runnerはhive_generatorでTypeAdapterを生成するコマンドを実行するために使う。hive_generatorだけインストールして生成コマンドを実行すると下記のようなメッセージが出る。

Could not find package "build_runner". Did you forget to add a dependency?

インストールできない場合

僕の場合、hiveとhive_flutterはインストールできたが、hive_generatorとbuild_runnerがダメだった。既存の色んなパッケージとバージョンが合わなかったため。（追記：2021/1 もしかしたらintlかも。build_runnerを下げたらいけたかも？）

他のパッケージも古くなっていそうだったため最新のものにバージョンアップしていけばよかったのかもしれないが、色々いじりすぎて動かなくなったりエラーがでるようになったりすると怖かったため、hive_generatorとbuild_runnerはインストールをしないことにした。TypeAdapterはさほど量も多くないし自分で書こうと思っていたため。

ちなみに後述もするが、同様の問題が出ている方は別のまっさらなプロジェクトを作ってそちらにhive関連をインストールして作ったモデルファイルをコピーすれば生成できる。

型クラスの作り方

下記のような感じ。CustomPanel has many CustomPanelCodeという構成の例。

import 'package:anyone_composer/models/custom_panel_code.dart';
import 'package:hive/hive.dart';

@HiveType(typeId: 0)
class CustomPanel extends HiveObject {
    @HiveField(0)
    String name;

    @HiveField(1)
    HiveList codes;

    CustomPanel(this.name) {
      final customPanelCodes = Hive.box('custom_panel_codes');
      codes = HiveList(customPanelCodes);
    }
}

起動時の初期化

hive_flutter側は自動でインポートされないので追記。

import 'package:hive/hive.dart';
import 'package:hive_flutter/hive_flutter.dart';

void main() async {
  await Hive.initFlutter();

  Hive.registerAdapter(CustomPanelCodeAdapter());
  Hive.registerAdapter(CustomPanelAdapter());
  await Hive.openBox('custom_panel_codes');
  await Hive.openBox('custom_panels');
  runApp(MyApp());
}

最初だけ、openBoxでロードする。そのあとはアプリケーション内ではawaitなしのboxメソッドで参照を取得することができる。

アノテーション

HiveTypeとHiveFieldは必要。HiveTypeは全体でユニーク、HiveFieldはクラス内でユニーク。

Auto Incrementされた値

HiveObjectの継承は、auto_incrementの値を利用する時に必要。こうすることで登録された後は key というプロパティで primary key を参照することが可能になる。

リレーション

リレーションは HiveList(ボックスの参照) という形で利用できる。

リレーションの利用

リレーションは初期化されていれば普通にaddとかで登録できる。ただRDBなどと違うのが、あくまでも実データのリレーションであり、存在しない値を使うことができない。そのため、親データを登録する前にまず実データを登録してからリレーションデータを登録する必要がある。

    await customPanelCodes.addAll(newCustomPanelCodes);
    customPanel.codes.addAll(newCustomPanelCodes);
    await customPanels.add(customPanel);

一番上の行の事前登録処理がないと下記のようなエラーが出る。

Unhandled Exception: HiveError: HiveObjects needs to be in the box "custom_panel_codes".

リレーション周りが動かない時

最初に起動して操作する限りは正常に動いてはいるっぽいのだが、再起動時のデータの読み込みに失敗しているときがあった。どうもリレーション時を利用している時に、データの読み込みに失敗しているらしい。TypeAdapterの reader.read() した値をオブジェクトに代入する時に型エラーが出る。

_TypeError (type 'HiveListImpl' is not a subtype of type 'HiveList')

これが難題で、色々キャストしてみてもうまくいかなかった。

ということで、別のまっさらなプロジェクトにhive_generatorを含めたHive関連のパッケージをインストールし、モデルのクラスファイルをコピーしてジェネレートしてみたところ、下記の記述を見つけることができた。

    return CustomPanel(
      fields[0] as String,
    )..codes = (fields[1] as HiveList)?.castHiveList();

そう、castHiveListというメソッドを使う……！　こんなのほぼ解説されているページもなく、実際のコード例もないのでハマりどころ。支障がなければhive_generatorをちゃんとつかうのが良さそう。最終的に下記のようなアダプタにした。

import 'package:anyone_composer/models/custom_panel.dart';
import 'package:hive/hive.dart';

class CustomPanelAdapter extends TypeAdapter {
  @override
  final typeId = 0;

  @override
  CustomPanel read(BinaryReader reader) {
    return CustomPanel(reader.read())
      ..codes = (reader.read() as HiveList)?.castHiveList();
  }

  @override
  void write(BinaryWriter writer, CustomPanel obj) {
    writer.write(obj.name);
    writer.write(obj.codes);
  }
}

hive_generatorの使い方

まずモデル定義したファイルのimportの下あたりに下記のような行を追加する。

part 'custom_panel.g.dart';

ファイルが無いため最初はエラーになるが、生成を実行するとここにファイルが作られる。実行コマンドは下記。

flutter packages pub run build_runner build

ちなみにリレーションを使っている場合はまずリレーションのないモデルのアダプターを一通り生成しておいてからリレーションのあるモデルを生成する必要がある。リレーション込でいきなりやってしまうとエラーになる。

あと、試しにアダプタを別フォルダに生成してもらうと思ったがダメだった（今のところは）。

細かくは下記の本家ドキュメント。

Generate adapter

まとめ

以上、使い始めたばかりの情報なので今後も何か出るかも。

「hive」の記事 - Crieit

FlutterのHiveで type 'UnspecifiedInvalidResult' is not a subtype of type 'LibraryElementResult' in type cast エラー

hive.server2.enable.doAs がよく分からなかったので Apache Bigtop で調べてみた

まとめ

バージョンなど

一応公式の説明

調査1: doAsの設定による違い

準備

接続

create databse

doAs=true の場合

doAs=false の場合

create table + insert

doAs=true の場合

doAs=false の場合

create external table + insert

doAs=true の場合

doAs=false の場合

調査2: OSのユーザとproxy userの関係

OSユーザあり、proxy user 設定なし

OSユーザなし、proxy user 設定あり

OSユーザあり、proxy user 設定あり

OSユーザあり、proxy user 設定なし / グループのみ変更

FlutterでHiveというデータベースを使ってみての要所まとめ

Hiveはどうか

インストール

インストールできない場合

型クラスの作り方

起動時の初期化

アノテーション

Auto Incrementされた値

リレーション

リレーションの利用

リレーション周りが動かない時

hive_generatorの使い方

まとめ