建站
咨询
售后
建站咨询
SparkSQL测试JoinType中所有join的类型，便于理解
准备 测试数据
trade
订单号 卖家 买家 买家城市
创新互联专注于企业营销型网站、网站重做改版、定兴网站定制设计、自适应品牌网站建设、HTML5建站、成都商城网站开发、集团公司官网建设、外贸网站建设、高端网站制作、响应式网页设计等建站业务，价格优惠性价比高，为定兴等各大城市提供网站开发制作服务。
1 A 小王 北京
2 B 小李 天津
3 A 小刘 北京order
所属订单号 买家 商品名称 价格 发货时间
1 小王 电视 12 2015-08-01 09:08:31
1 小王 冰箱 24 2015-08-01 09:08:14
2 小李 空调 12 2015-09-02 09:01:31注:皆以\t分割
创建DF
def main(args: Array[String]): Unit = {
val spark=SparkSession.builder()
.appName("JoinDemo")
.master("local[2]")
.getOrCreate()
import spark.implicits._
val order=spark.sparkContext.textFile("order.data").map(_.split("\t")).map(x=>Order(x(0),x(1),x(2),x(3),x(4))).toDF()
val trade=spark.sparkContext.textFile("trade.data").map(_.split("\t")).map(x=>Trade(x(0),x(1),x(2),x(3))).toDF()
order.show()
// +----+-----+------+-----+----------+
// |o_id|buyer|p_name|price| date|
// +----+-----+------+-----+----------+
// | 1| 小王| 电视| 12|2015-08-01|
// | 1| 小王| 冰箱| 24|2015-08-01|
// | 2| 小李| 空调| 12|2015-09-02|
// +----+-----+------+-----+----------+
trade.show()
// +----+------+-----+----------+
// |o_id|seller|buyer|buyer_city|
// +----+------+-----+----------+
// | 1| A| 小王| 北京|
// | 2| B| 小李| 天津|
// | 3| A| 小刘| 北京|
// +----+------+-----+----------+
}
case class Student(id:String,name:String,phoneNum:String,email:String)
case class Order(o_id:String,buyer:String,p_name:String,price:String,date:String)
case class Trade(o_id:String,seller:String,buyer:String,buyer_city:String)JoinType类型
默认是 `inner`. 必须是以下类型的一种:`inner`, `cross`, `outer`, `full`, `full_outer`, `left`, `left_outer`,`right`, `right_outer`, `left_semi`, `left_anti`.1、不指定和 inner
不指定
trade.join(order,trade("o_id")===order("o_id")).show+----+------+-----+----------+----+-----+------+-----+----------+
|o_id|seller|buyer|buyer_city|o_id|buyer|p_name|price| date|
+----+------+-----+----------+----+-----+------+-----+----------+
| 1| A| 小王| 北京| 1| 小王| 电视| 12|2015-08-01|
| 1| A| 小王| 北京| 1| 小王| 冰箱| 24|2015-08-01|
| 2| B| 小李| 天津| 2| 小李| 空调| 12|2015-09-02|
+----+------+-----+----------+----+-----+------+-----+----------+指定inner
scala> trade.join(order,trade("o_id")===order("o_id"),"inner").show
+----+------+-----+----------+----+-----+------+-----+----------+
|o_id|seller|buyer|buyer_city|o_id|buyer|p_name|price| date|
+----+------+-----+----------+----+-----+------+-----+----------+
| 1| A| 小王| 北京| 1| 小王| 电视| 12|2015-08-01|
| 1| A| 小王| 北京| 1| 小王| 冰箱| 24|2015-08-01|
| 2| B| 小李| 天津| 2| 小李| 空调| 12|2015-09-02|
+----+------+-----+----------+----+-----+------+-----+----------+不指定和inner都是一样，都是求两Datarame的交集。
2、left 和 left outer
scala> trade.join(order,trade("o_id")===order("o_id"),"left").show
+----+------+-----+----------+----+-----+------+-----+----------+
|o_id|seller|buyer|buyer_city|o_id|buyer|p_name|price| date|
+----+------+-----+----------+----+-----+------+-----+----------+
| 3| A| 小刘| 北京|null| null| null| null| null|
| 1| A| 小王| 北京| 1| 小王| 电视| 12|2015-08-01|
| 1| A| 小王| 北京| 1| 小王| 冰箱| 24|2015-08-01|
| 2| B| 小李| 天津| 2| 小李| 空调| 12|2015-09-02|
+----+------+-----+----------+----+-----+------+-----+----------+
scala> trade.join(order,trade("o_id")===order("o_id"),"left_outer").show
+----+------+-----+----------+----+-----+------+-----+----------+
|o_id|seller|buyer|buyer_city|o_id|buyer|p_name|price| date|
+----+------+-----+----------+----+-----+------+-----+----------+
| 3| A| 小刘| 北京|null| null| null| null| null|
| 1| A| 小王| 北京| 1| 小王| 电视| 12|2015-08-01|
| 1| A| 小王| 北京| 1| 小王| 冰箱| 24|2015-08-01|
| 2| B| 小李| 天津| 2| 小李| 空调| 12|2015-09-02|
+----+------+-----+----------+----+-----+------+-----+----------+left join和left outer join完全等价
right 和 right outer
scala> trade.join(order,trade("o_id")===order("o_id"),"right_outer").show
+----+------+-----+----------+----+-----+------+-----+----------+
|o_id|seller|buyer|buyer_city|o_id|buyer|p_name|price| date|
+----+------+-----+----------+----+-----+------+-----+----------+
| 1| A| 小王| 北京| 1| 小王| 电视| 12|2015-08-01|
| 1| A| 小王| 北京| 1| 小王| 冰箱| 24|2015-08-01|
| 2| B| 小李| 天津| 2| 小李| 空调| 12|2015-09-02|
+----+------+-----+----------+----+-----+------+-----+----------+
scala> trade.join(order,trade("o_id")===order("o_id"),"right").show
+----+------+-----+----------+----+-----+------+-----+----------+
|o_id|seller|buyer|buyer_city|o_id|buyer|p_name|price| date|
+----+------+-----+----------+----+-----+------+-----+----------+
| 1| A| 小王| 北京| 1| 小王| 电视| 12|2015-08-01|
| 1| A| 小王| 北京| 1| 小王| 冰箱| 24|2015-08-01|
| 2| B| 小李| 天津| 2| 小李| 空调| 12|2015-09-02|
+----+------+-----+----------+----+-----+------+-----+----------+right 和 right outer等价
full_outer
scala> trade.join(order,trade("o_id")===order("o_id"),"full_outer").show
+----+------+-----+----------+----+-----+------+-----+----------+
|o_id|seller|buyer|buyer_city|o_id|buyer|p_name|price| date|
+----+------+-----+----------+----+-----+------+-----+----------+
| 3| A| 小刘| 北京|null| null| null| null| null|
| 1| A| 小王| 北京| 1| 小王| 电视| 12|2015-08-01|
| 1| A| 小王| 北京| 1| 小王| 冰箱| 24|2015-08-01|
| 2| B| 小李| 天津| 2| 小李| 空调| 12|2015-09-02|
+----+------+-----+----------+----+-----+------+-----+----------+得出两Datarame交集
left_semi
scala> trade.join(order,trade("o_id")===order("o_id"),"left_semi").show
+----+------+-----+----------+
|o_id|seller|buyer|buyer_city|
+----+------+-----+----------+
| 1| A| 小王| 北京|
| 2| B| 小李| 天津|
+----+------+-----+----------+
过滤出两DF共有的部分
left_anti
cala> trade.join(order,trade("o_id")===order("o_id"),"left_anti").show
+----+------+-----+----------+
|o_id|seller|buyer|buyer_city|
+----+------+-----+----------+
| 3| A| 小刘| 北京|
+----+------+-----+----------+过滤出DF2中DF1没有的部分
当前文章：SparkSQL测试JoinType中所有join的类型，便于理解
当前网址：http://scyingshan.cn/article/ghijgh.html
