spark-java

-1热度

1回答

我开始学习Spark，想在我的Windows桌面上设置本地集群，一旦准备好就在AWS上部署应用程序。想要获得使用哪些工具的一些提示。我将用Eclipse开发Java。我应该使用Databricks还是Cloudera或者只是做简单的香草Spark？寻找任何有用的提示作为初学者，这将帮助我更快地学习。谢谢。

3热度

1回答

sparkjava：在控制台中打印出异常？

我使用sparkjava构建了一个宁静的api。我从终端运行服务器，并希望在那里打印Exceptions进行调试。但即使API 500s也不打印。有没有办法通过spark打印出所有异常句柄？

1热度

1回答

从火花传递到速度

我是Spark的新手，我正在使用它与速度模板引擎。 get("/", (request, response) -> { return new ModelAndView(new HashMap(), "/index.html"); }, new VelocityTemplateEngine()); 正常工作，正如网站上的例子，正确显示我的HTML。我需要将一段文字放到我的模板上。我

-1热度

1回答

如何从两个csv中读取值并在b/w的spark列中执行操作java api？

我在hadoop中有两个Csv，比如说csv1，csv2。两个cvs都包含两列（timestamp和somevalue），例如对于csv1列是t1，v1和对于csv2列是t2，v2。我想为每个t1 = t2（对于相同的时间戳）计算v1 * v2并使用spark java Api将结果作为文本文件存储在hdfs中。我是新来的星星，有人帮我。 Thanx提前。

1热度

1回答

写入Spark Dataframe时可更改空字段

以下代码从parquet文件读取Spark DataFrame并写入另一个parquet文件。将DataFrame写入新的Parquet文件后，ArrayType DataType中的可空字段发生更改。代码： SparkConf sparkConf = new SparkConf(); String master = "local[2]"; sparkConf.setMast

0热度

1回答

Sparkjava框架github存储库

是否有任何公共github存储库中的示例如何在实际项目中使用spark java？

0热度

1回答

带火花的速度模板引擎

我目前使用spark-java来动态生成网站。我的文件夹结构如下： FATAL: ResourceManager : unable to find resource 'test.vm' in any resource loader. 当试图但是加载页面，我得到这个错误。我的代码如下所示： get("/helloworld", (req, res) -> { Map<String,

1热度

2回答

有没有办法让sparkjava/embedded jetty服务器的主线程执行器？

我正在使用SparkJava制作一个网站。目前它有一个账户管理系统。我有一个控制器，LoginController异步向数据库发出请求，并返回ListenableFuture<Account>。的客户经理电话在我LoginController一个Route内做出，但我只想将用户重定向到该网站（同步）一旦Account已经抢下（异步）。我知道我可以做returnedFuture.addListe

3热度

1回答

登录user null Auth0/Spark Java

我正在尝试将Auth0集成到使用spark-java框架的web应用程序中。问题是，虽然身份验证完美，包括回调（我看到在Auth0的网站上创建的新用户，我的网站被重定向），但我无法访问登录的用户信息。我已经尝试了SessionUtils.getAuth0User(request.raw())之类的几种方法，但都没有工作。例如在所提供的教程在这里：https://github.com/auth0

0热度

1回答

在Spark Java Framework中处理404，并在运行时添加了端点

我想弄清楚如何处理Spark Java中的404错误。有人建议使用“*”端点通过在堆栈中添加一个GET端点作为最后一个路由。但是，当应用程序启动后在运行时添加端点时，这将无法工作。我能想到的唯一解决方法是使用Apache服务器来捕获404响应并将其重定向回Spark，但如果我有选择，我宁愿没有坐在应用程序之外的逻辑。有什么建议吗？