spark吧
关注: 5,374 贴子: 13,774

大数据技术培训、Spark核心技术

  • 0
    我读取kudu的数据然后转成rdd进行操作在讲数据清洗完之后通过隐式转换成df写入到csv中 然后从外部打开csv发现没有列名 这个问题怎么解决哥哥们 还有想问一下 能不能指定csv的文件名呀 不然的话就是一长串的那个名字 感觉有些奇怪
  • 1
    flink与spark的区别,顺便能做点小实验进行对比。有偿
  • 0
    阿里云618年中钜惠活动: 1核2G1M40G盘,59元/1年, 1核2G1M40G盘,179元/3年, 2核8G1M40G盘,279元/1年, 活动地址: https://www.aliyun.com/activity/618/2021?taskCode=share-mck618&a 腾讯云618年中钜惠活动: 1核2G1M50G盘,95元/1年, 1核2G1M50G盘,288元/3年, 2核4G3M150G盘,568元/1年, 活动地址: https://curl.qcloud.com/T4vz73Hk
    dgc2016 6-18
  • 1
    大佬看过来,期末考试没时间做,有偿
  • 1
    有代Scala的吗
  • 0
    问卷设计与分析实战教程(SPSS+AMOS)视频教程
  • 10
    我用java sparksql将pgsql中的表拿出来之后 是一个DataFrame 然后我转换成了JavaRDD<ROW> 或者是List<ROW> 可以查出来表中数据 但是是按行的 现在我想把他弄成那种可以用map操作的 数组的形式,就是一个Key对应多个value那种 请问有什么方法么
    小土enjoy 11-12
  • 7
    java.lang.ClassCastException: cannot assign instance of java.lang.invoke.SerializedLambda to field org.apache.spark.api.java.JavaPairRDD$$anonfun$pairFunToScalaFun$1.x$334 of type org.apache.spark.api.java.function.PairFunction in instance of org.apache.spark.api.java.JavaPairRDD$$anonfun$pairFunToScalaFun$1 连接本地模式运行是正常的,连接远程spark集群运行就报错,按照网上说的设置了jars也报错,都百度烂了,求大佬帮忙啊
  • 0
    RT,需求是将多台计算机用于视频/图片/excel等各种类型的任务用分布式计算框架进行处理。流程是将大量任务和能够处理单个任务的代码交给通用分布式计算框架,然后通用分布式计算框架把大量任务分到多台电脑中进行处理,最后把结果汇总在一起。任务的类型不固定,可能是图片,视频,表格等等。 怎么实现这种对多种数据类型都通用的分布式计算框架啊?求给个思路
  • 0
    Spark配置win10环境,在vscode上运行,出现了这问题,怎么解决啊
  • 0
    兄弟们,我提交一个spark任务到yarn上,spark明明已经执行失败了,但是为什么yarn这个状态还是成功。那我要怎么监控yarn上spark应用的最终执行结果。麻烦指点一二。
  • 0
    SparkSession spark = SparkSession.builder() .master("yarn") .appName("WordCountApp") .getOrCreate(); 之后跑程序的时候会变成: Bound SparkUI to 0.0.0.0, and started at http://DESKTOP-4MOG82Q:4040
    a741827714 3-16
  • 14
    【求助】为什么我在官网上下载不到spark,版本选不到,包装类型也选不到,换了浏览器也没用
  • 0
    刚学这个,结果安装就一直报错,有没有大佬给我指点迷津啊,江湖救急,胜造七级浮屠。 failed to launch: nice -n 0 /opt/spark-2.4.3-bin-hadoop2.7/bin/spark-class org.apache.spark.deploy.master.Master --host B18041917 --port 7077 --webui-port 8080 at io.netty.channel.AbstractChannelHandlerContext.bind(AbstractChannelHandlerContext.java:486) at io.netty.channel.DefaultChannelPipeline.bind(DefaultChannelPipeline.java:989) at io.netty.channel.AbstractChannel.bind(AbstractChannel.java:254) at io.netty.bootstrap.AbstractBootstrap$2.run(AbstractBootstrap.java:364) at
  • 0
    链接:网页链接 提取码:3dxq
  • 3
    spark是 2.3.0的 。kafka是:Kafka_2.10-0.9.0.2.4.0.0-169。能手动维护offsets消费到数据。就转money
  • 6
    众所期待,隆重推出!大数据领域中杀手级的应用计算框架:Spark视频教程。 尚硅谷2021迎新版大数据Spark从入门到精通教程基于Scala 2.12版本,对最新Spark 3.0版本的核心模块进行了详尽的源码级讲解,授课图文并茂,资料详实丰富,带你领略不一样的技术风景线。课程内容涉及方方面面,函数式编程,你熟悉吗?认知心理学,你知道吗?工程化代码框架,你了解吗?在这套Spark视频教程中,你想要的这些全都有!
  • 4
    Exception in thread "main" java.nio.channels.UnresolvedAddressException 这个错误谁能救救我
    一Root一 1-19
  • 1
    大数据领域中杀手级的应用计算框架:Spark视频教程。 本套视频教程基于Scala 2.12版本,对最新Spark 3.0版本的核心模块进行了详尽的源码级讲解,授课图文并茂,资料详实丰富,带你领略不一样的技术风景线。 课程内容涉及方方面面,函数式编程,你熟悉吗?认知心理学,你知道吗?工程化代码框架,你了解吗?在这套Spark视频教程中,你想要的这些全都有!
    等风来 1-15
  • 1
    Spark 版本2.4.3 训练好的模型保存在本地后再加载使用保存。怎么回事?大佬帮帮忙啊!
  • 0
    找一个会spark机器学习的同学做简单的需求,工资高的的勿扰996的勿扰
    z999cw 12-24
  • 1
    剖析数仓建模难点、分析数仓热点问题、解读数仓搭建中的各种坑... (直播间福利:最新数仓3.0视频教程免费送送送!)
  • 4
    一、主讲内容: 课程一:机器学习和深度学习基础 1、概念、基本技术方法 2、大规模深度学习基本框架 3、Python开发过程以及实践 课程二: Tensorflow入门到熟练: 1、Tensorflow的基本设计思路,相关专业名词和操作 2、深度学习开源框架及环境平台搭建 3、动手设计可以训练的CNN,根据初始化参数可以运算得出中间结果 4、加速数据读取,训练数据逻辑,模型参数及正则化 课程三:深度学习DeepLearning的理论 1、基本模型设计、训练方法和应用问题决 2、基
  • 0
    雷神、环环、康师傅、磊哥、阳哥...名师云集! 因为坚守品质,所以从不盲目扩张;因为执念教学,所以坚持全程面授! 首期学费立减5000元,仅此一期:http://www.atguigu.com/wuhan

  • 发贴红色标题
  • 显示红名
  • 签到六倍经验

赠送补签卡1张,获得[经验书购买权]

扫二维码下载贴吧客户端

下载贴吧APP
看高清直播、视频!