C# Parallel LINQ(PLINQ) 병렬 처리 LINQ 설명 및 시간 측정

LINQ란 Language Integrated Query 라고해서 특정 데이터들에서 Query를 하여 데이터를 빠르고 편리하게 추출하는 방식이라 할 수 있다. 해당기능은 C# 3.0부터 추가가 되기 시작한 문법이다. 기본적으로 람다표현식을 사용하여 간결하고 가독성 좋게 작성 가능하다. Query를 하는데에는 SQL을 사용한다. SQL 이란 Structured Query Language의 약자이다. 

LINQ는 이러한 SQL의 문법을 가지고 다양한 쿼리를 통해 데이터를 가공하고 집계하는 등에 사용된다. 전통적인 방싱그로 for문과 if문을 가지고 특정 데이터들을 가공하고 집계내는 것도 가능하다. 하지만 LINQ를 이용하면 빠르고 정확하게 데이터를 찾는 것이 가능하다. 그리고 더욱 중요한 가독성이 좋다. 문장을 서술 하듯 질의를 하기 때문에 for와 if문을 사용하는 방식보다 가독성이 좋아 실수를 줄이고 유지보수가 쉽다.

LINQ에 자세한 내용은 아래 링크를 참고하자.

http://hijuworld.tistory.com/56

---

LINQ는 기본적으로 쿼리를 실행하는데 1개의 스레드를 사용한다. 즉 cpu 하나만을 사용해서 처리한다.

하지만 병렬 LINQ(PLINQ)는 여러개의 스레드를 사용해서 쿼리를 실행한다. cpu에 갯수가 많을수록 많은 스레드를 만들어 처리한다.

물론 멀티 스레드가 싱글 스레드를 사용하는 것보다 속도가 더 빠르지 않다. 그래서 무조건 병렬 Linq를 사용하는 것보단 실제 테스트를 해보고 상황에 맞게 판단해서 사용하도록 하자.

아래예제는 1부터 5억까지의 수를 각각 2.1로 나누어 하나의 배열로 만드는 LINQ를 작성하고 해당 LINQ에 처리 시간을 측정하도록 했다. 싱글 스레드를 사용하는 방식이다.

시간측정에 Stopwatch 클래스를 사용했다. 시간측정에관한 자세한 내용은 아래 링크를 참고하자.

C# Stopwatch 클래스를 사용하여 프로그램 실행 시간 측정 하기 : http://hijuworld.tistory.com/18 

using System;
using System.Collections.Generic;
using System.Diagnostics;
using System.Linq;
namespace LINQ_TEST
{
    class Program
    {
        static void Main(string[] args)
        {
            Stopwatch stopwatch = new Stopwatch();//시간측정 객체
            IEnumerable<int> bigNumber = Enumerable.Range(1, 500_000_000);
            Console.Write("아무키나 입력하시오.");
            Console.ReadLine(); //키입력받기
            stopwatch.Start(); //시간측정 시작            
            var result = bigNumber.Select(number => number/2.1).ToArray();
            stopwatch.Stop(); //시간측정 끝
            System.Console.WriteLine("time : " +
                           stopwatch.ElapsedMilliseconds + "ms");
        }
    }
}
 

출력결과

아무키나 입력하시오.

time : 3693ms

아래 리소스 사용량을 보자. 스래드를 8개까지 사용할 수 있지만 4번째 하나만을 사용한 것을 볼 수 있다. 

---

병렬LINQ를 만들기 위해서는 AsParallel 을 사용하면 된다. 아래 예제를보자. 이전에 예제와 거의 같지만 bigNumber 다음에 AsParallel 함수를 사용하여 병렬처리되도록 한것을 볼 수 있다. 나머지 코드는 모두 동일하다.

using System;
using System.Collections.Generic;
using System.Diagnostics;
using System.Linq;
namespace Ch09_PLINQ
{
    class Program
    {
        static void Main(string[] args)
        {
            Stopwatch stopwatch = new Stopwatch();//시간측정 객체
            IEnumerable<int> bigNumber = Enumerable.Range(1, 500_000_000);
            Console.Write("아무키나 입력하시오.");
            Console.ReadLine(); //키입력받기
            stopwatch.Start(); //시간측정 시작            
            var result = bigNumber.AsParallel()
                            .Select(number => number/2.1).ToArray();
            stopwatch.Stop(); //시간측정 끝
            System.Console.WriteLine("time : " +
                           stopwatch.ElapsedMilliseconds + "ms");
        }
    }
}
 

출력결과

아무키나 입력하시오.

time : 17602ms

아래 cpu 리소스 사용량을 보자. 8개의 스래드가 정상적으로 동작하는 것을 볼 수 있다.

하지만 이상하게 출력결과를 보면 병렬 링큐를 사용했을때 오히려 시간이 더 걸리는 것을 볼 수 있다. 데이터의 갯수를 다르게해도 결과는 같다. 정확한 이유는 알 수 없지만 무조건 병렬 처리를 한다고해서 속도가 향상되는것은 아닌 것을 알 수 있다.

정확한 원인을 알게되면 다음에 포스팅하도록 하겠다.

자료 참고 : 크로스 플랫폼 개발을 위한 c#과 닷넷 코어 2.0(에이콘 출판) 서적