BlazingDB安装部署与使用

一、什么是BlazingSQL

BlazingSQL是一个基于RAPIDS生态系统构建的GPU加速SQL引擎。RAPIDS基于Apache Arrow柱状内存格式，cuDF是一个GPU DataFrame库，用于加载，连接，聚合，过滤和操作数据。

二、BlazingSQL必要环境

系统：Ubuntu 16.04 LTS GPU 支持：Pascal or Better、Compute Capability >=6.1 CUDA 支持：9.2 或者大于9.2的 Docker 支持：Docker CE v18+ Apt for Ubuntu16.04 doesn’t include v18+ by default Make sure you go through the Docker repository set up steps before installing Docker CE NVIDIA Docker 支持：nvidia-docker v2+

三、安装命令

拉取镜像：

sudo docker pull blazingdb/blazingsql

启动服务：

sudo docker run --runtime=nvidia --rm -p 8888:80 -p 8787:8787 -p 8786:8786 blazingdb/blazingsql:latest

使用Jupyter进行打开：

http://localhost:8888 或者 http://{IPADDR}:8888 (ex: http://12.34.567.89:8888)

代码实例：

from blazingsql import BlazingContext

import cudf

import dask_cudf

import dask

from dask.distributed import Client

client = Client('127.0.0.1:8786')

bc = BlazingContext(dask_client=client)

bc.s3('dir_name', bucket_name='bucket_name', access_key_id='access_key', secret_key='secret_key')

table_list = ['s3://dir_name/parquet_dir/1_0_0.parquet', 's3://dir_name/parquet_dir/1_1_0.parquet', 's3://dir_name/parquet_dir/1_2_0.parquet']

bc.create_table('table_name', table_list)

result = bc.sql('SELECT COUNT(*) FROM table_name').get()

print(result.head())

查数据：

from blazingsql import BlazingContext

import cudf

bc = BlazingContext()

bc.create_table('table_name', '...file_path/table.csv')

result = bc.sql('select * from table_name').get()

gdf_result = result.columns