RELATEED CONSULTING
相关咨询
选择下列产品马上在线沟通
服务时间:8:30-17:00
你可能遇到了下面的问题
关闭右侧工具栏

新闻中心

这里有您想知道的互联网营销解决方案
spark表关联

发现用spark写表join比flink 简单很多,至少schema 可以省了,下面是一个例子

我们提供的服务有:做网站、网站制作、微信公众号开发、网站优化、网站认证、凯里ssl等。为成百上千家企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务,是有科学管理、有技术的凯里网站制作公司

public static void main(String[] args) {        

         SparkSession s= SparkSession.builder().appName("rec").getOrCreate();

         Dataset user=s.read().format("jdbc")
          .option("driver", "com.MySQL.jdbc.Driver")
          .option("url", "jdbc:mysql://*")
          .option("dbtable", "user")
          .option("user", "1")
          .option("password", "1")
          .load();

         Dataset house=s.read().format("jdbc")
                  .option("driver", "com.mysql.jdbc.Driver")
                  .option("url", "jdbc:mysql://")
                  .option("dbtable", "house")
                  .option("user", "1")
                  .option("password", "1")
                  .load();

         user.cache();

         house.cache();

         user.createOrReplaceTempView("user");

         house.createOrReplaceTempView("house");

         Dataset temp= s.sql("select user.user_name, house.house_name from user inner join house where user.uid=house.uid ");

         temp.write().csv("/home/ziroom/house-user");

    }

文章标题:spark表关联
文章网址:http://scyingshan.cn/article/gpddcg.html