Study English 23.07.28

첫번째 줄 : 한글

두번째 줄 : translation myself

세번째 줄 : google bard

네번째 줄 : chatGPT

 

 

하둡은 MapReduce, YARN, HDFS 이 세 가지 파트로 나뉘어져 있다.

Hadoop contains 3 parts of MapReduce, YARN, HDFS.

- Hadoop is divided into three parts: MapReduce, YARN, and HDFS. 

- Hadoop is divided into three parts: MapReduce, YARN, and HDFS. 

 

각각은 빅데이터를 여러 머신에서 분산 처리하는 중요한 역할을 맡고 있다.

Each parts have important roles for distributed processing on many machines.

- Each plays an important role in distributing the processing of big data on multiple machines. 

- Each plays a crucial role in distributed processing of big data across multiple machines.

 

MapReduce 보다는 Hive, Spark 가 더 많이 사용되는 것 같다.

Hive and Spark are used more than MapReduce.

- It seems that Hive and Spark are more widely used than MapReduce. 

- It seems that Hive and Spark are more commonly used than MapReduce. 

 

IDC 환경에서는 HDFS 가 사용 될 것이고, Cloud 환경에서는 S3가 사용 될 것이다.

HDFS is used on IDC environment and S3 is used on Cloud environment.

- HDFS will be used in IDC environments, and S3 will be used in cloud environments. 

- In an IDC environment, HDFS is used, while in a Cloud environment, S3 is utilized.

 

나는 Mesos 등의 다른 Cluster Manager 보다 YARN 을 사용해왔고 많이 알고 있다.

I have used and known YARN more than other Cluster Managers like Mesos.

- I have been using YARN rather than other cluster managers such as Mesos, and I am familiar with it. 

- I have been using YARN rather than other Cluster Managers like Mesos and I am well acquainted with it. 

 

YARN 은 분산 처리 진행에 문제가 없도록, 각 서버의 자원을 관리하고 작업을 스케줄링한다.

YARN manages each server's resources and schedules jobs not to occur issues during distributed processing.

- YARN manages the resources of each server and schedules tasks so that there are no problems in the progress of distributed processing. 

- YARN manages resources on each server and schedules tasks to ensure smooth distributed processing.

 

분산 처리란, 하나의 작업을 여러 머신(서버)에 나눠서 실행하는 것이다.

Distributed processing is to run one job on many machines(servers).

- Distributed processing is the process of dividing one task into multiple machines (servers) and executing it. 

- Distributed processing involves dividing a single task into multiple machines (servers) for execution. 

 

예를 들어, (빅데이터는 아니지만) 올해 대한민국 성씨 순위를 매긴다고 하자.

For instance, (It's not bigdata but) Let's say we rank family names in Korea in order of the amount.

- For example, let's say we want to rank the surname ranking in Korea this year. 

- For example, let's say we rank the surnames in South Korea this year (not big data, just an example). 

 

김씨 데이터는 A서버에서 추합하고, 이씨 데이터는 B서버에서 추합하고... 황씨 데이터는 Z서버에서 추합한다.

Family name Kim is accumulated on A server, Family name Lee is accumulated on B server... Family name Hwang is accumulated on Z server.

- Kim data is summed up on server A, Lee data is summed up on server B, and Hwang data is summed up on server Z. 

- Kim's data is aggregated on server A, Lee's data on server B, and so on until Hwang's data on server Z. 

 

그리고 각 서버에서 추합된 데이터를 하나로 모으는 등 잘 정리해서 결과로 내놓는다.

The accumulated results from many servers are arranged as gathering at one place and put as a result.

- And the data summed up on each server is gathered together, etc., and the results are presented. 

- Then, the data aggregated from each server is consolidated and presented as the final result.

 

consolidated : 통합된

 

이렇게 분산 병렬 처리로 작업이 실행되면, 하나의 서버에서 처리했을 때보다 훨씬 빠르다.

If job runs as distributed paraller processing, It's faster than running on just one server.

- In this way, when the task is executed by distributed parallel processing, it is much faster than when it is processed on a single server.

- With distributed parallel processing, the task executes much faster than when performed on a single server. 

 

분산 처리의 단점은 서버 비용 및 유지보수가 어렵다는 것이다.

The weakess of Distributed processing is server running fee and hard maintaining.

- The disadvantage of distributed processing is that the server cost and maintenance are difficult. 

- However, the drawback of distributed processing is the cost and complexity of managing servers. 

 

서버 수가 많아지면 각 머신을 관리하는 비용도 올라가게 된다.

Server's maintaining price is increased as the number of servers.

- As the number of servers increases, the cost of managing each machine also increases. 

- As the number of servers increases, so does the cost of managing each machine, 

 

머신이 고장나거나 작업이 실패했을 때 대처 방법도 복잡하다.

If machines are broken down or jobs fail, It's harder to treat the issues.

- The method of coping with when the machine breaks down or the task fails is also complex. 

- and dealing with machine failures or job failures becomes more complex.

 

YARN 은 이런 문제점들을 보완하기 위해 사용된다.

YARN is used to handle these problems.

- YARN is used to complement these problems.

- YARN is used to address these issues and provide solutions for effective distributed processing.

 

address : (문제 상황에 대해) 고심하다, 다루다