C# Parallel LINQ(PLINQ) 병렬 처리 LINQ 설명 및 시간 측정

닷넷,C#,.NET 2018. 6. 22. 23:28

LINQ란 Language Integrated Query 라고해서 특정 데이터들에서 Query를 하여 데이터를 빠르고 편리하게 추출하는 방식이라 할 수 있다. 해당기능은 C# 3.0부터 추가가 되기 시작한 문법이다. 기본적으로 람다표현식을 사용하여 간결하고 가독성 좋게 작성 가능하다. Query를 하는데에는 SQL을 사용한다. SQL 이란 Structured Query Language의 약자이다. 


LINQ는 이러한 SQL의 문법을 가지고 다양한 쿼리를 통해 데이터를 가공하고 집계하는 등에 사용된다. 전통적인 방싱그로 for문과 if문을 가지고 특정 데이터들을 가공하고 집계내는 것도 가능하다. 하지만 LINQ를 이용하면 빠르고 정확하게 데이터를 찾는 것이 가능하다. 그리고 더욱 중요한 가독성이 좋다. 문장을 서술 하듯 질의를 하기 때문에 for와 if문을 사용하는 방식보다 가독성이 좋아 실수를 줄이고 유지보수가 쉽다.


LINQ에 자세한 내용은 아래 링크를 참고하자.

http://hijuworld.tistory.com/56


LINQ는 기본적으로 쿼리를 실행하는데 1개의 스레드를 사용한다. 즉 cpu 하나만을 사용해서 처리한다.

하지만 병렬 LINQ(PLINQ)는 여러개의 스레드를 사용해서 쿼리를 실행한다. cpu에 갯수가 많을수록 많은 스레드를 만들어 처리한다.


물론 멀티 스레드가 싱글 스레드를 사용하는 것보다 속도가 더 빠르지 않다. 그래서 무조건 병렬 Linq를 사용하는 것보단 실제 테스트를 해보고 상황에 맞게 판단해서 사용하도록 하자.


아래예제는 1부터 5억까지의 수를 각각 2.1로 나누어 하나의 배열로 만드는 LINQ를 작성하고 해당 LINQ에 처리 시간을 측정하도록 했다. 싱글 스레드를 사용하는 방식이다.


시간측정에 Stopwatch 클래스를 사용했다. 시간측정에관한 자세한 내용은 아래 링크를 참고하자.

C# Stopwatch 클래스를 사용하여 프로그램 실행 시간 측정 하기 : http://hijuworld.tistory.com/18 


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
using System;
using System.Collections.Generic;
using System.Diagnostics;
using System.Linq;
namespace LINQ_TEST
{
    class Program
    {
        static void Main(string[] args)
        {
            Stopwatch stopwatch = new Stopwatch();//시간측정 객체
            IEnumerable<int> bigNumber = Enumerable.Range(1, 500_000_000);
            Console.Write("아무키나 입력하시오.");
            Console.ReadLine(); //키입력받기
            stopwatch.Start(); //시간측정 시작            
            var result = bigNumber.Select(number => number/2.1).ToArray();
            stopwatch.Stop(); //시간측정 끝
            System.Console.WriteLine("time : " +
                           stopwatch.ElapsedMilliseconds + "ms");
        }
    }
}
 
cs

출력결과
아무키나 입력하시오.
time : 3693ms

아래 리소스 사용량을 보자. 스래드를 8개까지 사용할 수 있지만 4번째 하나만을 사용한 것을 볼 수 있다. 







병렬LINQ를 만들기 위해서는 AsParallel 을 사용하면 된다. 아래 예제를보자. 이전에 예제와 거의 같지만 bigNumber 다음에 AsParallel 함수를 사용하여 병렬처리되도록 한것을 볼 수 있다. 나머지 코드는 모두 동일하다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
using System;
using System.Collections.Generic;
using System.Diagnostics;
using System.Linq;
namespace Ch09_PLINQ
{
    class Program
    {
        static void Main(string[] args)
        {
            Stopwatch stopwatch = new Stopwatch();//시간측정 객체
            IEnumerable<int> bigNumber = Enumerable.Range(1, 500_000_000);
            Console.Write("아무키나 입력하시오.");
            Console.ReadLine(); //키입력받기
            stopwatch.Start(); //시간측정 시작            
            var result = bigNumber.AsParallel()
                            .Select(number => number/2.1).ToArray();
            stopwatch.Stop(); //시간측정 끝
            System.Console.WriteLine("time : " +
                           stopwatch.ElapsedMilliseconds + "ms");
        }
    }
}
 
cs

출력결과
아무키나 입력하시오.
time : 17602ms

아래 cpu 리소스 사용량을 보자. 8개의 스래드가 정상적으로 동작하는 것을 볼 수 있다.


하지만 이상하게 출력결과를 보면 병렬 링큐를 사용했을때 오히려 시간이 더 걸리는 것을 볼 수 있다. 데이터의 갯수를 다르게해도 결과는 같다. 정확한 이유는 알 수 없지만 무조건 병렬 처리를 한다고해서 속도가 향상되는것은 아닌 것을 알 수 있다.

정확한 원인을 알게되면 다음에 포스팅하도록 하겠다.


자료 참고 : 크로스 플랫폼 개발을 위한 c#과 닷넷 코어 2.0(에이콘 출판) 서적 


저작자표시 비영리

'닷넷,C#,.NET' 카테고리의 다른 글

C# 파일 이름, 확장자, 크기(용량), 수정 일자, 속성 등 알아내기  (1) 2018.07.05
C# 파일 및 디렉터리 생성, 삭제, 복사, 존재여부 검사 등  (0) 2018.07.03
C# LINQ 집계함수(Sum,MAX,MIN,Average,count,Aggregate 등)  (0) 2018.06.14
C# LINQ 사용 방법 및 예제 from, select, where, order by  (0) 2018.06.13
C# LOH(Large Object Heap)의 가지비 컬렉션 방식  (0) 2018.05.15
Posted by 꿈만은공돌
,

C# LINQ 사용 방법 및 예제 from, select, where, order by

닷넷,C#,.NET 2018. 6. 13. 12:07


LINQ란 Language Integrated Query 라고해서 특정 데이터들에서 Query를 하여 데이터를 빠르고 편리하게 추출하는 방식이라 할 수 있다. 해당기능은 C# 3.0부터 추가가 되기 시작한 문법이다. 기본적으로 람다표현식을 사용하여 간결하고 가독성 좋게 작성 가능하다. Query를 하는데에는 SQL을 사용한다. SQL 이란 Structured Query Language의 약자이다. 


SQL에서 가장 많이 사용하는 문법은 다음 4가지 이다.


from : 어떤 데이터에서 찾을 것인가


where : 어떤 조건으로 찾을 것인가


order by : 어떤 항목을 기준으로 정렬할 것인가


select : 어떤 항목을 추출할 것인가


LINQ는 이러한 SQL의 문법을 가지고 다양한 쿼리를 통해 데이터를 가공하고 집계하는 등에 사용된다. 전통적인 방싱그로 for문과 if문을 가지고 특정 데이터들을 가공하고 집계내는 것도 가능하다. 하지만 LINQ를 이용하면 빠르고 정확하게 데이터를 찾는 것이 가능하다. 그리고 더욱 중요한 가독성이 좋다. 문장을 서술 하듯 질의를 하기 때문에 for와 if문을 사용하는 방식보다 가독성이 좋아 실수를 줄이고 유지보수가 쉽다.

또한 병렬로 처리도 가능하기 때문에 일반적으로 코드를 작성해서 데이터를 추출하는 가공방식보다 속도가 빠를 수 있다.


LINQ는 기본적으로 아래에서 소개한 예제만 보면 어느정도 이해가 갈 것이다. 더욱 복잡한 예제들도 많이 존재 하고 사용방법도 복잡한 것들도 많지만 우선 아래 예제들을 보고 LINQ가 무엇인지 이해하자.


아래 예제는 1부터 9까지의 수중에 3의 배수를 찾는 예제이다. from 문으로 nums에 저장된 1부터 9까지의 숫자중 하나씩 추출하며 where 로 3의 배수인지를 검사한다. 검사결과가 참인 데이터인 num을 select 문으로 추출한다. 그 결과를 변수 numQuery에 저장한다. foreach문으로 결과를 출력한다. LINQ를 사용한 데이터 가공에 가장 기본적인 형태의 예제이다.


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
using System;
using System.Linq;
namespace test
{
    class Program
    {
        static void Main(string[] args)
        {
            int[] nums = new int[9] { 1, 2, 3, 4, 5, 6, 7, 8, 9 };
            var numQuery = from num in nums
                           where (num%3) == 0
                           select num;
            foreach(int num in numQuery) //결과 출력            
                Console.Write(num +" ");            
        }
    }
}
cs

출력결과 : 3 6 9



아래 예제는 길이가 3글자인 문자열을 찾는 것이다. where에서 string.length ==3 으로 문자길이가 3인 것을 찾는다. 


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
using System;
using System.Linq;
namespace test
{
    class Program
    {
        static void Main(string[] args)
        {
            String[] names = new String[]{ "abc", "kim","peter", "Tistory", "Z"};
            var nameQuery = from name in names
                                  where name.Length == 3
                                   select name;
            foreach(string name in nameQuery) // 결과 출력
                Console.WriteLine(name);
        }
    }
}
 
cs

출력 결과

abc 

kim



아래 예제는 60점이상 학생만 이름순으로 출력하는 것이다. student 클래스를 선언하여 이름과 점수를 저장하도록 한다. List객체를 만들어서 학생들의 정보를 저장한다. 그래서 해당 객체에 점수가 60점이상인 학생들을 where 문으로 검사하여 추출하고 orderby를 사용하여 이름순으로 정렬 시킨다. 그리고 select 에서 학생의 이름만을 추출한다.


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
using System;
using System.Collections.Generic;
using System.Linq;
namespace test
{
    public class Student
    {
        public string name { get; set; }
        public int score { get; set; }
    } 
 
    class Program
    {
        static void Main(string[] args)
        {
            List<Student> students = new List<Student>
            {
                new Student { name = "zzz", score = 88},
                new Student { name = "kim", score = 50},
                new Student { name = "han", score = 76 },
                new Student { name = "park", score = 45 },
                new Student { name = "peter", score = 84 },
                new Student { name = "lee", score = 98 }
            };
            var smart = from student in students
                        where student.score >= 60 // 60점이상만
                        orderby student.name ascending//이름순으로 정렬
                        select student.name; //이름만 추출
 
            foreach(string studentName in smart)     //결과 출력        
                Console.WriteLine(studentName);
        }
    }
}
cs

출력 결과

han

lee

peter

zzz


orderby는 orderby 정렬기준 ascending 이런식으로 사용을 한다.

기본으로 오름차순(ascending)이며 내림차순으로 하고 싶다면 descending 을 써주면 된다. 디폴트는 오름차순인 ascending이기 때문에 반드시 명시할 필요는 없다.


이외에도 LINQ를 이용하면 합(Sum), 최대값(Max), 최소값(Min), 평균값(Average), 데이터 갯수(Count)들을 쉽게 계산할 수 있다. 아래 링크를 참고하도록 하자.

C# LINQ 집계함수(Sum,MAX,MIN,Average,count,Aggregate 등) : http://hijuworld.tistory.com/57

저작자표시 비영리

'닷넷,C#,.NET' 카테고리의 다른 글

C# Parallel LINQ(PLINQ) 병렬 처리 LINQ 설명 및 시간 측정  (1) 2018.06.22
C# LINQ 집계함수(Sum,MAX,MIN,Average,count,Aggregate 등)  (0) 2018.06.14
C# LOH(Large Object Heap)의 가지비 컬렉션 방식  (0) 2018.05.15
C#/.NET 확장 메서드 기능, String에 메서드 추가 하기  (0) 2018.05.14
C# 상속금지 키워드 sealed 키워드  (0) 2018.05.13
Posted by 꿈만은공돌
,

티스토리툴바