问题 拨打许多网络服务的最佳方式?


我有30家子公司,每家公司都实施了他们的网络服务(使用不同的技术)。

我需要实现一个Web服务来聚合它们,例如,所有子公司Web服务都有一个带有名称的Web方法 GetUserPoint(int nationalCode) 我需要实现我的Web服务,它将调用所有这些并收集所有响应(例如点数的总和)。

这是我的基类:

public abstract class BaseClass
{ // all same attributes and methods
  public long GetPoint(int nationalCode);
}

对于每个子公司Web服务,我实现了一个继承此基类并定义自己的类 GetPoint 方法。

public class Company1
{
  //implement own GetPoint method (call a web service).
}

public class CompanyN
{
  //implement own GetPoint method (call a web service).
}

所以,这是我的网络方法:

        [WebMethod]
        public long MyCollector(string nationalCode)
        {

           BaseClass[] Clients = new BaseClass[]  { new Company1(),//... ,new Company1()}

           long Result = 0;
           foreach (var item in Clients)
           {
                long ResultTemp = item.GetPoint(nationalCode);
                Result += ResultTemp;
           }
       return Result;
       }

好的,它可以工作,但速度很慢,因为每个子公司的Web服务都托管在不同的服务器上(在互联网上)。

我可以使用这样的并行编程:(这称为并行编程!?)

    foreach (var item in Clients)
    {
                    Tasks.Add(Task.Run(() =>
                        {
                        Result.AddRange(item.GetPoint(MasterLogId, mobileNumber));                  
                    }
      }

我认为并行编程(和线程)对这个解决方案并不好,因为我的解决方案是IO绑定(不是CPU密集型)!

调用每个外部Web服务都很慢,对不对?许多线程正在等待获得响应!

我认为异步编程是最好的方法,但我是异步编程和并行编程的新手。

什么是最好的方法? (parallel.foreach - async TAP - async APM - async EAP -threading)

请给我写一个例子。


6741
2018-01-06 13:06


起源

你掌握了所有的基础知识。这是一个非常好的开始。 Parallel.ForEach 和 Threads遭受同样的问题 Task.Run  - 它们对CPU有好处,而不是IO绑定工作。 TAP绝对是最简单的组合(你基本上保持你当前的循环,但IO的东西变得“无线”和非常可扩展)。 APM和EAP可轻松转换为TAP(通过 Task.Factory.FromAsync 对于APM和 TaskCompletionSource<T> 对于EAP而言,如果您现有的API提供的话,您可以使用TAP并插入APM和EAP调用。 - Kirill Shlenskiy


答案:


看到有人完成了他们的功课,这令人耳目一新。

首先,从.NET 4开始(今天仍然如此)TAP是.NET中异步工作流的首选技术。任务很容易组合,如果它们提供的话,您可以轻松地并行化Web服务调用 Task<T> - 返回API。现在你已经“假装”了它 Task.Run,就目前而言,这可能足以满足您的目的。当然,您的线程池线程将花费大量时间阻塞,但如果服务器负载不是很高,即使不是理想的事情,您也可以很好地解决它。

您只需要在代码中修复潜在的竞争条件(更多内容将在最后进行)。

如果你想遵循最佳实践,你可以选择真正的TAP。如果您的API提供 Task - 开箱即用的方法,这很容易。如果没有,它不会游戏结束,因为APM和EAP可以很容易地转换为TAP。 MSDN参考: https://msdn.microsoft.com/en-us/library/hh873178(v=vs.110).aspx

我还会在这里添加一些转换示例。

APM (取自另一个SO问题):

MessageQueue 不提供 ReceiveAsync 方法,但我们可以让它来玩球 Task.Factory.FromAsync

public static Task<Message> ReceiveAsync(this MessageQueue messageQueue)
{
    return Task.Factory.FromAsync(messageQueue.BeginReceive(), messageQueue.EndPeek);
}

...

Message message = await messageQueue.ReceiveAsync().ConfigureAwait(false);

如果您的Web服务代理有 BeginXXX/EndXXX 方法,这是要走的路。

EAP

假设您有一个旧的Web服务代理派生自 SoapHttpClientProtocol,只使用基于事件的异步方法。您可以将它们转换为TAP,如下所示:

public Task<long> GetPointAsyncTask(this PointWebService webService, int nationalCode)
{
    TaskCompletionSource<long> tcs = new TaskCompletionSource<long>();

    webService.GetPointAsyncCompleted += (s, e) =>
    {
        if (e.Cancelled)
        {
            tcs.SetCanceled();
        }
        else if (e.Error != null)
        {
            tcs.SetException(e.Error);
        }
        else
        {
            tcs.SetResult(e.Result);
        }
    };

    webService.GetPointAsync(nationalCode);

    return tcs.Task;
}

...

using (PointWebService service = new PointWebService())
{
    long point = await service.GetPointAsyncTask(123).ConfigureAwait(false);
}

在汇总结果时避免竞争

关于聚合并行结果,您的TAP循环代码是 几乎是的,但你需要避免改变你内心的共享状态 Task 因为它们可能会并行执行。共享国家 Result 在你的情况下 - 这是某种集合。如果这个集合不是线程安全的(即如果它是一个简单的 List<long>),那么你有一个竞争条件,你可能会得到例外和/或删除结果 Add (我在假设 AddRange 在你的代码中是一个错字,但如果没有 - 上述仍然适用)。

一个简单的异步友好重写可以修复你的种族,如下所示:

List<Task<long>> tasks = new List<Task<long>>();

foreach (BaseClass item in Clients) {
    tasks.Add(item.GetPointAsync(MasterLogId, mobileNumber));                  
}

long[] results = await Task.WhenAll(tasks).ConfigureAwait(false);

如果你决定懒惰并坚持下去 Task.Run 现在的解决方案,更正后的版本将如下所示:

List<Task<long>> tasks = new List<Task<long>>();

foreach (BaseClass item in Clients)
{
    Task<long> dodgyThreadPoolTask = Task.Run(
        () => item.GetPoint(MasterLogId, mobileNumber)
    );

    tasks.Add(dodgyThreadPoolTask);                  
}

long[] results = await Task.WhenAll(tasks).ConfigureAwait(false);

8
2018-01-06 14:10





您可以创建GetPoint的异步版本:

public abstract class BaseClass
{ // all same attributes and methods
    public abstract long GetPoint(int nationalCode);

    public async Task<long> GetPointAsync(int nationalCode)
    {
         return await GetPoint(nationalCode);
    }
}

然后,收集每个客户呼叫的任务。之后,使用执行所有任务 Task.WhenAll。这将并行执行所有这些操作。另外,正如Kirill所指出的,您可以等待每项任务的结果:

var tasks = Clients.Select(x => x.GetPointAsync(nationalCode));
long[] results = await Task.WhenAll(tasks);

如果您不想使聚合方法异步,您可以通过调用.Result而不是等待来收集结果,如下所示:

long[] results = Task.WhenAll(tasks).Result;

2
2018-01-06 13:21



我的意思是 var results = await Task.WhenAll(tasks);  - 对不起,应该更清楚了。 - Kirill Shlenskiy