Scala – 第2页电视电影小迷妹 TVco.cn

第6天：使用Spark流和Scala进行实时推文分析

＃100DaysOfCode 项目（1小时）：创建一个Twitter应用程序并使用其API来使用带有Scala的Spark Streaming流实时Twitter提要。该项目的所有代码都可以在我的网站上找到的github 步骤1：下载并设置Spark和Scala IDE 确保已经安装了JDK，请使用以下命令进行验证，如果没有，请继续下载并设置JAVA_HOME环境变量。 $ java-版本 Java版本“ 1.8.0_91” $ echo JAVA_HOME /图书馆/Java/JavaVirtualMachines/jdk1.8.0_91.jdk/Contents/Home 从以下位置下载Spark：http：//spark.apache.org/downloads.html…

探索Spark结构化流

您好Spark爱好者，流媒体应用程序变得越来越复杂。当前的分布式流引擎变得越来越困难。为什么流媒体很难？流计算不是孤立运行的。数据按时间顺序到达是批处理处理的问题。从头开始编写流处理操作并不容易。 DStreams的问题：处理事件时间：处理最新数据。与批处理和交互式互操作流。关于端到端保证的推理。 Apache Spark 2.0添加了新的高级API的第一个版本，即Structured Streaming ，用于构建连续的应用程序。主要目标是使构建端到端流应用程序变得更加容易，该应用程序以一致且容错的方式与存储，服务系统和批处理作业集成。结构化流的最后一个好处是该API非常易于使用：它只是Spark的DataFrame和Dataset…

使用Akka流

介绍在Hootsuite，Play框架已成为我们基于Scala的微服务的重要组成部分。但是，随着我们改进实践，我们开始在比Play框架更低的抽象水平上进行实验。实际上，从2.5版开始，Play的流式API一直基于Akka Streams。由于我们新的微服务框架内置了Akka依赖项，因此我们决定直接使用Akka Streams满足我们所有的流媒体需求。什么是流媒体？ “大数据”是一个时髦的词汇，在最近的记忆中已经泛滥成灾。随着社交媒体和IoT等景观的增长，人们越来越重视实时响应大量数据。为了实时分析数据，我们需要一种流传输此数据的方法。因此，Reactive Streams接口诞生了。 Akka流是Reactive Streams接口的实现。作为其核心，Reactive Streams接口旨在成为“为无阻塞背压的异步流处理提供标准的倡议。” Akka流式API的四个主要抽象是：…

Flink：-未返回JobSubmissionResult，请确保您调用了ExecutionEnvironment.execute（）

上周，我正在一个基于Apache Flink的项目中工作，在该项目中，我向流中添加了更多子任务。当通过flink CLI提交作业时，我没有No JobSubmissionResult返回错误。我们知道，当我们忘记调用ExecutionEnvironment.execute（）时，也不会发生JobSubmissionResult。但是以我为例，当我尝试使用命令使用Flink CLI进行部署时，我仍然调用env.execute（“ Stream Job”）仍然失败，尽管当我尝试将任务jar部署到Web界面时，任务已成功部署。 ./flink运行/opt/flink-jobs/stock-ohlc-job.jar 我在下面的堆栈跟踪中注意到，这使作业未找到异常。错误akka.remote.EndpointWriter-暂时关联错误（关联保持活动状态） akka.remote.OversizedPayloadException：丢弃发送给Actor的过大有效载荷[akka.tcp：//flink@172.XX.XX.XX：6123 / user / jobmanager＃467971694]：最大允许大小为10485760字节，编码类org的实际大小.apache.flink.runtime.messages.JobManagerMessages…

带ZIO的功能性Hang子手

Scalaz-ZIO在Scala社区引起了很多炒作。我通过复制约翰·德·高斯（John De Goes）的演讲中的猜谜游戏“ Hangman”的实现进行了检验。它基本上是相同的代码，但具有一些小的游戏增强功能，重要的是它已更新为新的ZIO。玩和编写代码很有趣。这是游戏的主要功能，您可以通过调用来运行该功能 hangmanGame与John的演讲几乎没有什么不同，只是它已更新为ZIO而不是IO。它还使用来自zio的Random选择随机单词。听起来有些奇怪，但我同时使用scala.util.Random和zio.random.Random和zio版本对游戏进行了很多测试，效果似乎更好。大多数游戏逻辑都在gameLoop函数中：与John的版本相比，有一些细微变化，当然包括新的类型签名，以及ZIO.succeed（而不是IO.now）的使用。我添加的一点改进是告诉玩家输了时正确的答案。总体而言，学习ZIO是一个很好的练习，并且从IO到ZIO的迁移非常轻松，而且编译器错误将我引向正确的类型签名。该代码在我的github上可用： https://github.com/spf3000/functional-hangman