Scala 电视电影小迷妹 TVco.cn

结构化流：其背后的哲学

在我们以前的博客中：结构化流：这是什么？和结构化流：如何工作？我们了解了有关结构化流媒体的2个要点– 它是一种快速，可扩展，容错，端到端，一次精确的流处理API，可帮助用户构建流应用程序。它将实时数据流视为正在不断添加/更新的表，这使我们能够像在静态表上一样将流计算表示为标准的类似批处理的查询，而Spark将其作为无限制输入表上的增量查询运行。在此博客文章中，我们将讨论结构化流的原理或编程模型。因此，让我们从上一篇博客文章中看到的示例开始。 [要点https://gist.github.com/gupta-himanshu/a6c31e0e6c28d8705debaef38b2c215c /] 上例中的查询将生成一个“ 结果表 ”（在后台）。每次推送新数据（插入套接字的字），新行都会追加/更新到“ 结果表 ”中。现在，无论何时更新结果表，更改后的结果行都会发送到外部接收器（在上面的示例中为控制台）。…

本周在#Scala（2018年11月19日）

该博客旨在使您了解来自Scala和Reactive编程领域的最新消息。自上次以来已经过去了一周，所以让我们赶上最新的Scala和Reactive事件… 探索目击者替代内隐现实世界中的不变状态 2019年Scala编程的5个主题使用Scalameta和Scalafix构建代码分析器 Kubernetes堆栈的有状态服务设计注意事项 uPickle 0.7中的自动二进制序列化 Scala —使用GraalVM更快，更苗条查看scala-deeplearn-examples，Scala中的神经网络示例 Fury，Scala的实验性依赖项管理器和构建工具，现在在Github上。约束数据类型以实现代码重用和可读性 Scala.io 2018撰写本地Scala集合—第14部分—渲染树 2018年第三季度斯卡拉中心第十次会议记录…

使用Scala和DStream集成Kafka + Spark

在这里，我将解释如何配置Spark Streaming以从Kafka接收数据。有两种解决方法：一种是使用Receivers和Kafka的高级API的旧方法，另一种是不使用Receiver的新方法（Spark 1.3中引入）。它们具有不同的编程模型，性能特征和语义保证。从当前版本的Spark开始，这两种方法都被认为是稳定的API。 Spark 1.3中引入了这种新的无接收器“直接”方法，以确保更强的端到端保证。该方法不是使用接收器来接收数据，而是定期向Kafka查询每个主题+分区中的最新偏移量，并相应地定义要在每个批次中处理的偏移量范围。启动用于处理数据的作业时，Kafka的简单使用者API用于读取Kafka定义的偏移范围（类似于从文件系统读取文件）。与基于接收器的方法相比，此方法具有以下优点。简化的并行性：无需创建多个输入Kafka流并将它们合并。使用directStream ，Spark Streaming将创建与要使用的Kafka分区一样多的RDD分区，所有这些分区都将从Kafka并行读取数据。因此，Kafka和RDD分区之间存在一对一的映射，这更易于理解和调整。效率…

多人游戏如何同步其状态？第2部分

概括在系列的第1部分中，我们讨论了以下内容：多人游戏面临的挑战如何通过客户端预测解决无响应的UI 但是，我确实忽略了基本的服务器实现细节，我们将在本文中重点介绍这些细节。免责声明：我不是专业的游戏开发人员，所分享的大部分知识都是基于我的阅读经验和我的小型业余爱好项目的经验。本文的主要目的是为多人游戏中的网络提供一个易于理解的介绍。服务器的作用是什么？让我们从定义服务器应该做什么开始，通常服务器应该充当 a）玩家的连接点在多人游戏中，玩家需要访问一个公共端点才能互相访问，这是服务器程序的角色之一，即使在P2P通信模型中，也存在一个连接点，玩家可以在此之前交换其网络信息。可以建立P2P连接。 b）处理单元在许多情况下，服务器运行游戏模拟代码，处理来自玩家的所有输入并更新游戏状态。请注意，情况并非总是如此，某些现代游戏将大量处理任务转移给客户端。在本文中，我们将假定玩家负责处理游戏，即。使游戏打勾。 c）游戏状态的单一真相来源在许多多人游戏中，服务器程序还具有游戏状态权限，主要是为了防止作弊，并且更容易推断何时只有一个点来获取正确的游戏状态。…

Akka Steam图-并行流，示例2

背景请阅读下面的链接获取第一个示例和背景 Akka Steam图表-第一个示例背景 medium.com Akka流图在Akka网站上：考虑到线性流就像道路，我们可以将图形操作描绘为路口：多个流在单个点处连接。在此处阅读Akka流图：使用图* Akka文档 akka-docs doc.akka.io Akka网站的第二个Graph代码示例我们的来源是五个数字“ 1,2,3,4,5” 然后我们播放了一条包含2条路径的广播…

Spark结构化流和Kafka集成的基本示例

Kafka 0.10的Spark Streaming集成在设计上类似于0.8 Direct Stream方法。它提供简单的并行性，Kafka分区和Spark分区之间的1：1对应关系以及对偏移量和元数据的访问。但是，由于较新的集成使用了新的Kafka使用者API而不是简单的API，因此用法上存在显着差异。集成的此版本标记为实验性的，因此API可能会发生更改。在此博客中，我将实现Spark结构化流和Kafka集成的基本示例。在这里，我正在使用 Apache Spark 2.2.0 Apache Kafka 0.11.0.1 斯卡拉2.11.8…

Kafka和Spark Streams：从此幸福快乐！！

大家好，今天我们将对使用Spark Streaming在Kafka主题之间转换和传输数据有一点了解。流处理的需求每天都在增加。原因是经常处理大量数据是不够的。我们需要实时处理数据，尤其是当我们需要处理不断增长的数据量，还需要处理和维护数据时。最近，在我们的一个项目中，我们面临着这样的要求。我自己是Apache Spark的新手，对执行操作只有一点想法。因此，我认为最好的选择是Apache Spark文档。它确实帮助我理解了Spark的基本概念，有关流以及如何使用流传输数据。首先，Spark Streaming是核心Spark API的扩展，可实现实时数据流的可扩展，高吞吐量，容错流处理。它提供了称为离散流或DStream的高级抽象，它表示连续的数据流。可以根据来自Kafka，Flume和Kinesis等来源的输入数据流来创建DStream，也可以对其他DStream应用高级操作。在内部，DStream表示为RDD（弹性分布式数据集）序列。尽管在Spark…

结构化流：如何工作？

在我们之前的博客文章-结构化流：这是什么？我们知道结构化流是一种快速，可扩展，容错，端到端，一次准确的流处理API，可帮助用户构建流应用程序。现在该学习了-它是如何工作的？因此，在此博客文章中，我们将通过一个示例来研究结构化流的工作。因此，让我们看一个例子： [要点https://gist.github.com/gupta-himanshu/a6c31e0e6c28d8705debaef38b2c215c /] 上面是一个结构化流的示例，该结构化流以Socket为源，控制台为宿。它包含3个主要部分：源 -第一部分是源，由lines变量表示。它不过是从流媒体源创建的DataFrame。操作 -由于获得了相同的DataFrame API，因此计算字数计数具有与批处理数据相同的代码。 Sink —最后一部分是Sink，由查询变量表示。就是发送结果的流接收器。…

使用Scala Kafka Client和Akka开始使用Kafka

介绍在这篇文章中，我将对Kafka进行介绍，介绍它的用途以及可能的用途，然后我将解释如何使用它来分离智能电表数据提交系统的两侧。目的是使介绍Kafka本身大体上有用，而所显示的特定方法将转换为Kafka的部分但不是全部用途。 Kafka简介适用于不具备相关知识或经验的读者（这是我开始撰写本指南之前的两个星期）。我的目标是使其能够作为一个独立的简介来使用，因此，当您完成本文时，您将获得足够的概览，以了解所需的术语用什么，请查看更多示例，以及哪些示例可能需要了解更多信息，哪些是干净的抽象，您不需要了解更多。我们将介绍：什么是分布式日志什么时候可以使用 Kafka的关键概念：话题 —订阅按键密钥和消息（反序列化）隔断复写偏移量 —抵销管理 -提交策略及其权衡…

斯卡拉自学卡夫卡流—排名第一

几天前，我遇到了一种情况，我想对流数据进行有状态操作。因此，我开始寻找可能的解决方案。我遇到了许多使用不同技术的解决方案，例如Spark结构化流，Apache Flink，Kafka Streams等。所有解决方案都解决了我的问题，但我选择Kafka Streams是因为它满足了我的大多数要求。之后，我开始阅读其文档并尝试运行其示例。但是，一旦我开始学习它，我遇到了一个主要障碍，那就是“ Kafka Streams不提供Scala API！ ”。令我震惊的是。我之所以期望Kafka Streams具有Scala API，是因为我正在使用Scala构建我的应用程序，如果Kafka Streams提供了它的API，那么对我来说将其包含在我的应用程序中将很容易。…