使用多线程处理List数据

最近遇到了一个业务场景,需要对List中的数据逐个发起http请求(List中的数据各自独立,对执行顺序无要求),考虑到可以使用多线程加快处理速度。

封装了如下方法:

cs 复制代码
        /// <summary>
        /// 多线程处理数据-无返回值
        /// </summary>
        /// <param name="list"></param>
        /// <param name="action">数据处理方法</param>
        /// <param name="threadCount">开启线程数量</param>
        /// <param name="waitFlag">是否等待全部结束</param>
        static void RunTask<T>(List<T> list, Action<T> action, int threadCount = 5, bool waitFlag = true)
        {
            var queue = new ConcurrentQueue<T>(list);
            threadCount = Math.Min(threadCount, list.Count);
            Task[] tasks = new Task[threadCount];
            for (int i = 0; i < threadCount; i++)
            {
                tasks[i] = Task.Run(() =>
                {
                    while (queue.TryDequeue(out T t))
                    {
                        action(t);
                    }
                });
            }
            if (waitFlag)
            {
                Task.WaitAll(tasks);
            }
        }

        /// <summary>
        /// 多线程处理数据-有返回值
        /// </summary>
        /// <param name="list">待处理数据</param>
        /// <param name="func">数据处理方法</param>
        /// <param name="count">开启线程数量</param>
        static List<TReturn> RunTask<T, TReturn>(List<T> list, Func<T, TReturn> func, int threadCount = 5)
        {
            var result = new ConcurrentBag<TReturn>();
            var queue = new ConcurrentQueue<T>(list);
            threadCount = Math.Min(threadCount, list.Count);
            var tasks = new Task[threadCount];
            for (int i = 0; i < threadCount; i++)
            {
                tasks[i] = Task.Run(() =>
                {
                    while (queue.TryDequeue(out T t))
                    {
                        result.Add(func(t));
                    }
                });
            }
            Task.WaitAll(tasks);
            return result.ToList();
        }

使用示例:

cs 复制代码
        public void DoSingle(User user, string param1, string param2)
        {
            //HttpHelper.Get("http://xxxx/userid="+user.id);
            //doSomething();
            Console.WriteLine(user.Id + "-" + user.Name + "-" + param1 + "-" + param2);
        }
        public string DoSingle2(User user, string param1, string param2)
        {
            //HttpHelper.Get("http://xxxx/userid="+user.id);
            //doSomething();
            Console.WriteLine(user.Id + "-" + user.Name + "-" + param1 + "-" + param2);
            return user.Id + "-666";
        }


        public class User
        {
            /// <summary>
            /// id
            /// </summary>
            public int Id { get; set; }
            /// <summary>
            /// 姓名
            /// </summary>
            public string Name { get; set; }
        }

        public void Test()
        {
            var list = new List<User> {
                new User { Id = 1, Name = "张三" },
                new User { Id = 2, Name = "李四" },
                new User { Id = 3, Name = "王五" }
            };
            RunTask(list, t => DoSingle(t, "参数1", "参数2"));
            var retList = RunTask(list, t => DoSingle2(t, "参数1", "参数2"));
        }
相关推荐
爱吃奥利奥_wen9 小时前
面向对象三板斧:封装、继承、多态,到底在“装“什么、“承“什么、“变“什么?
开发语言·经验分享·c#
wflynn20 小时前
GitHub 今日推荐|SCSKiller:游戏着色器预编译消除卡顿
开源·c#·github·nvidia·amd·directx12
疯狂的维修2 天前
关于用C#写电机起保停控制
开发语言·c#
用户788477316342 天前
门店核销闭环:小程序扫码 + .NET 幂等接口 + WPF 看板,一天能跑通
微信小程序·c#
samble2 天前
从零搭建灌装监控系统(十三):报警系统设计,生命周期与通知
c#·wpf·mvvm·modbus·工业控制
winfredzhang2 天前
9.7GB AI 模型总下崩?我用 Python 写了个支持分段续传的多线程下载器(源码解析)
人工智能·大语言模型·多线程·下载·多任务
by209992 天前
list 的使用:把节点、位置和操作联系起来的综合叙述(上)
数据结构·c++·笔记·list
miofly2 天前
GitHub 今日推荐|SCSKiller:游戏着色器预编译消除卡顿
开源·c#·github
周杰伦fans2 天前
8GB显存下模型量化实战指南
人工智能·后端·c#
余槐i2 天前
数据没回滚也不报错:@Transactional 自调用失效的 3 种复现与修复
spring boot·mysql·多线程·spring 事务