통신학회

강화학습을 이용한 드론 네트워크 시스템 개선에 대한 연구
박창민, 김황남  
고려대학교 전기전자공학과 
{minpark0120, hnkim}@korea.ac.kr

A Study on Improvement of Drone Network System using Reinforcement Learning
Changmin Park, Hwangnam Kim
School of Electrical Engineering, Korea University

요 약  
본 논문은 인공지능 기술을 활용하여 드론의 네트워크 시스템을 개선할 수 있는 방법을 제안한다. 드론 시장이 점차 커짐에 따라, 더 강한 네트워크가 요구되었고, 이에 따라 많은 알고리즘들이 연구되었다. 본 논문에서는 해당 알고리즘 중에 하나인, GEO-Diffusion 알고리즘에 인공지능 기술을 접목시켜 드론 네트워크를 더욱 효율적으로 구축될 수 있는 알고리즘을 제안한다 

 
Ⅰ. 서 론
드론(Unmanned Aerial Vehicle, UAV)은 본래 군사목적으로 개발되어 이용되었으나 점차 다양한 현실 분야에서 활용되고 있다. 여러 개의 드론을 사용하려면 드론 간의 강력하고 보이지 않는 연결이 필수적이다. 기존 라우팅 알고리즘들은 드론의 이동성을 고려하지 않았기 때문에 라우팅 테이블을 만드는데 시간이 오래 걸리고, 많은 메모리와 연산양을 요구한다는 단점이 있었다. 이 논문에서는 위 문제점을 개선하기 위해, 드론 라우팅 알고리즘 중에 하나인 “GEO-DIFFUSION”알고리즘에 인공지능 기술을 접목시켜 더 효율적으로 통신할 수 있도록 하는 방법을 제안한다.
Ⅱ. 본 론 
본 논문에서는 드론 라우팅 알고리즘 중 하나인, GEO-DIFFUSION 알고리즘에 강화학습을 적용하여 학습하여 메모리와 연산양을 줄이는 것을 목표로 하였다.
기존 GEO-DIFFSUION(GEO)은 통신을 하기 위해 forwarding region을 정하여 해당 지역을 벗어나면 수신된 데이터를 버리도록 설계되었다. GEO는 사전에 이웃 노드의 위치를 알고 그 개수만큼 360°를 나누어 컴파일 전 값을 지정해줘야 한다. 그리고 출발지와 목적지의 길이, 출발지와 노드의 길이, 그리고 노드와 목적지의 길이를 제2 코사인 법칙을 적용하여 해당 각도가 설정된 값과 비교하여 작다면 포워딩을 시키고 크다면 시키지 않는 방식이다. 
본 논문에서는 해당 알고리즘에 강화학습을 적용하여 매번 broadcasting하지 않고 충분히 학습이 된다면 메모리를 효율적으로 사용하기 위해 forwarding region에서도 목적지에 가까운 거리에 있는 노드 쪽으로 신호를 쏠 수 있게 하는 것이다.
Decide Forwarding Algorithm
Initialize replay memory. 
A_1 =  (360°)/(The number of nodes)
For Episode = 1: 
A_2 = Get angle from “2nd cosine rule”
if A_2≤ A_1: 
Forward packet
else: 
Discard packet
  Reward  +=   (A_1- A_2)/A_1 
  Store transition in memory
Forward based on reward
Ⅲ. 결 론 
본 논문에서는 강화학습을 이용한 드론 네트워크 시스템에서의 라우팅 알고리즘 개선방안을 제안하였다. 여러 강화학습 알고리즘에 적용이 될 수 있는 분야이기 때문에 차후 라우팅 기술은 더욱 발전될 것이다. 
 참 고 문 헌  
[1] K. Kim, H. Kim, J. Jung, and H. Kim, “Afar: A robust and delay-constrained communication framework for smart grid applications,” Computer Networks, vol. 91, pp. 1–25, 2015.
[2] Jiyeon Lee, Kangho Kim, Hyunsoon Kim and Hwangnam Kim, "Devising Geographic Diffusion for Drone Networks," ICUFN, 2016.