クエリのログからキャッシュを理解する

  • 11 November 2021
  • 0 replies
  • 41 views

■Lookerのキャッシュについて

 

Lookerでは、新たなクエリを実行しようとするとまず、Looker内に有効なキャッシュがあるかどうかを確認します。有効なキャッシュがある場合は、DBにクエリせずにキャッシュの結果を使用してdashboardやexplore、スケジューラーの結果が表示されます。

有効なキャッシュがない場合に初めて、DBにクエリが発行され、その結果は設定した時間だけキャッシュされます。

クエリの結果はデフォルトで1時間Lookerにキャッシュされますが、キャッシュの有効時間を変更するには、LookMLでpersist_forパラメーターやdatagroupパラメーターを使用します。

Lookerのキャッシュについて詳しくはこちらのドキュメントをご確認ください。

キャッシュの機能をうまく使用すると、DBへ投げるクエリの数を減らしたり、実行に時間がかかるクエリの表示にキャッシュを使用することでダッシュボードを開いたときに早く結果を表示したりすることができます。

 

 

■クエリとキャッシュのログを確認しながら仕組みを理解する

 

exploreやdashboardの実行時に、キャッシュされた結果を表示したのか、DBに投げたクエリの結果を表示したかのログは、System ActivityのHistory Exploreで確認できます。System Activityは、Admin権限またはsee_system_activityのpermissionを付与されたユーザーが閲覧可能です。

 

  1. 準備

それでは実際にクエリのログを確認してみましょう♪

Explore > System Activity > History のExploreを開いて、画像にあるフィールドを選択していただくとうまく情報を取得できます。

今回の例では、ログは下が古いもの、上が新しいものになるようにソートしています。

3nScv0dDAo0vL447Tf3UaNQ6a9Zt6TzEOnxTF6M9KSsvVlah6rjmArF1_EWcPnVEVecPLt2rzKZBLaVPMYExuNmM98mzgPj4sGUK8Ex8IsvTTZM6xRGzJ9JiVAvOOTxzTOOz0wWOtw

 

  1. 有効なキャッシュがない状態でクエリを走らせる

dashboardやexploreを実行すると、まず書き込まれたクエリの有効なキャッシュがないか確認します。(Attempted Cache = Yes)

しかし、有効なキャッシュがなかったため、DBにクエリを投げ、クエリの結果を表示しました。(Result Resource = query)

Herm2y8nwELOlMUeGi0lazLk0eAA_ZYF0KWtV5iHnfRZ6ZR7pi0lnvOcQHSx8wcJyupzjXkrGhLZCJ1zMiLG5rJj8pHI1p07P93J6ZqlhO4BwSpBkon_D3xduhBB7GJEoEHJMhQG9g

 

  1. 有効なキャッシュがある状態でクエリを走らせる

ブラウザを再読み込みしたり、dashboardの更新ボタンを押して更新しました。

1.で実行したクエリと全く同じクエリを再実行したことになるので、ログで表示されるQuery IDは同じになります。

この場合は、先ほど1.で実行したクエリと全く同じクエリを再度実行しようとしたので、1.で実行した際にキャッシュされたデータから結果を表示しています。

まず、有効なキャッシュがあるか確認し(Attempted Cache = Yes)、有効なキャッシュがあったので、キャッシュを使って結果を表示したのが確認できます。(Result Source = Cache)

tFmwtGcYypsm3l0-7JwtzrZlvy2Eio7-npsoc5bRAJvS6baMqeR5EYLLZGzMGqaxlNSZ2YRZUO1b1hfa2ZoTUWXsbSfKs9D645C8Y26lTTlNzcheS87Sji_WeAfBQXSGwOWmK5RgDg

 

ここで、キャッシュキーとしてRender keyとCache keyの2種類があるのがわかります。

二つの違いはあまり気にしなくて良いのですが詳しくはこちらに記載があります。

基本的にLookerが「キャッシュの結果を参照して XXしました」と言うとき、LookerはRender keyをみています。

schedulerでcsv, excelファイルなどのrenderを必要としないデータを実行した時はrender keyが生成されないので、その後に実行したクエリはDBにクエリすることになります。

 

  1. キャッシュをクリアして実行

キャッシュの有効期限が切れればキャッシュは無効になりますが、有効期限内に強制的にクリアしたい場合は、Clear Cache and Refreshを実行します。

dashboard, explore, lookの右上のメニュー中から実行できます。

 

Clear Cache and Refreshを実行すると、有効なキャッシュがあるか確認せずに(Attempted Cache = No)、DBにクエリしています。(Result Source = query)

LsXWPIgU_JfbIWwIkR8hWkUMqr6UDAdiXrqqiFP7Sosblr-EDQUpQIjMZWMmspXkmonoyd_oJXbuRSJMyhUf3FwNX9XCYPBWpmezw4oCU3cm9imXlM5-hBoQidEKyHKg5Zf30k406w

 

  1. スケジューラーもキャッシュを作成/使用する

スケジューラーでlookやdashboardを実行した際も、キャッシュの観点ではlookやdashboardを直接みているのと同じように動作します。

今回スケジューラーを実行した際は有効なキャッシュがあったので、キャッシュから結果を取得しているのが確認できます。pG_e_KA-XMtsw4azYv0IgThUPW_n_GGg4KqH0-b1FaTAC3PU3Jopr4k7-bFxlItd9qY6gH15HoTlxwGxqa20-PoBSt8eFMMf22iOV0HByXCTcag2rbrRfucwUl7stV0P8t_hDeJjoA


 

  1. SQL Runnerはキャッシュを参照しない

SQL Runnerでクエリを実行した際は、キャッシュを見ずに毎回DBに直接クエリを投げます。

SQL Runnerのクエリ履歴は、System ActivitのHistory Exploreでは1~4でみていたQuery IDがふられないので、新しくSQL Runner Query IDのフィールドを追加します。

 

1回目にSQL runnerを実行した後、2回目に実行した際も、キャッシュを確認せずに(Attempted Cache = No)直接クエリしている(Result Source = query)のが確認できます。

ID6f54ACR39t4MDo9X0QivrUYr3JHladMnEvtrQ-ZBhVI39KRks-CwbnBaxIhNpeBZRWQe1GEQUVe514sGA-nrUquIwDIpBg7l3YY43zh7a-B6YZYP4gQTTTGPTfIlg4X7GWRpUdag



 

いかがでしたでしょうか。Lookerがどのようにキャッシュを利用しているかについて理解が深まりましたら幸いです!


0 replies

Be the first to reply!

Reply