batch-processing

0热度

2回答

我正在寻找关于在大数据规模下实施归档工作流的一些建议/解决方案。数据来源是kafka中的消息。它是实时写入的。目标是S3存储桶。我需要根据消息中的字段对数据进行分区。对于每个分区，我需要将数据批量处理为100Mb块，然后将其上传。数据速率为〜5GB /分钟。所以100Mb批次应该在几秒钟内完成。我的问题在于缩放和配料。由于我需要为消息中的“字段”批处理和压缩数据，因此我需要通过分区将这部分

7热度

1回答

如何对张量流中的一批图像执行tf.image.per_image_standardization

我想知道如何对一批图像执行图像白化。根据https://www.tensorflow.org/api_docs/python/tf/image/per_image_standardization中的文档，据说tf.image.per_image_standardization输入形状为[height, width, channels]的3D张量，即图像。这是一个缺少的功能还是有不同的方法？任

2热度

4回答

无尽循环与控制出口

我需要一个无限循环的批处理程序。在这个循环中，他正在做一些事情，然后等待X秒。现在的问题是，我怎样才能阻止程序之外的循环？一个选项是读取一个文件，如果s.o中断，在内部写道“停止”，但如果我总是打开和关闭文件，它的表现如何？难道不可能在同一运行时间内启动第二个线程，例如：将布尔运行设置为false或其他东西？这是我的代码“stop-file”。 Integer endurance = args

0热度

1回答

批处理业务流程

我想问一下批处理。我需要处理100 000个由以下步骤组成的业务流程：生成PDF（异步），发送邮件并将文档上载到归档系统。我正在考虑在spring引导（异步服务任务）中使用activiti，因为我可以控制失败的作业，并且可以轻松地重试它们等。我不知道使用activiti或camunda还是其他工具是不错的主意。

-1热度

1回答

Gimp批量图层自动化

我目前使用GIMP将两张照片分层为一个工作项目的照片文件。我有超过7000张107x80的JPG图片，我需要将其放置在160 x 100 PNG背景上，该背景上有一个徽标并保存为JPG文件名。需要将107x80 JPG放在背景上徽标的左侧。我一直在做这一件事，但现在是非常令人厌烦的。我使用BIMP来调整所有JPG图像的尺寸，并且真的想要找到一种方法来使用BIMP来自动执行此过程或找到可以执行此过程

0热度

1回答

Java EE批处理：当一个失败时停止执行步骤

我正在使用批处理，我假设如果一个步骤失败，那么下一个步骤将不会执行，但似乎并非如此。那么我怎么能得到这种行为？这是我的批处理文件的一部分： <?xml version="1.0" encoding="UTF-8"?> <job id="review-job" xmlns="http://xmlns.jcp.org/xml/ns/javaee" xmlns:xsi="http://www.w3

0热度

1回答

熊猫：批量替换来自不同行的值符合相同条件

我已经从sql server中提取了一些熊猫格式的数据。像这样的结构： df = pd.DataFrame({'Day':(1,2,3,4,1,2,3,4),'State':('A','A','A','A','B','B','B','B'),'Direction':('N','S','N','S','N','S','N','S'),'values':(12,34,22,37,14,16,23,43

0热度

1回答

如果没有用户登录，自动/计划任务失败

我有一个计划任务，它启动一个.exe程序，我自己编程。如果我登录到我们的服务器并自己启动.exe，一切正常。该程序连接到我们的数据库，从互联网上下载文件，将一些数据写入硬盘上的xml文件，并对我们的数据库进行一些更新。但是，如果该exe文件是在晚上启动的，并且具有完全权限的Windows计划任务，则该程序会崩溃。我没有机会看到错误。我实现了一些日志记录，但日志文件总是空的。它在程序开始时似乎崩溃

2热度

1回答

如何在Python中形成洗牌批次？

我有一个100k条目的列表，并希望将它们拆分为10k混洗的批次。这个怎么做？我在sklearn找到一个函数shuffle，它的参数为n_samples。但我没有看到任何保证，这批将涵盖所有设置。我想从整个集合中随机抽取一批，但不会重复，直到采集所有样本。这可能吗？

5热度

1回答

什么是keras.models.Model.fit中的“epoch”？

什么是keras.models.Model.fit中的“epoch”？它是一个渐变更新？如果它是多个梯度更新，那么定义一个时代是什么？假设我将自己的批次送到fit。我将“时代”视为完成处理整个训练集（这是否正确）？那么如何通过这种方式来控制keras？我可以设置batch_size等于x和y大小和epochs等于1？