분류 전체보기 728x90 반응형 Back-end 개발자라면 답변가능한 Questions 2019. 2. 11. OS, Linux, Network# 프로세스와 쓰레드 차이프로세스 - 실행되고 있는 프로그램의 개체. CPU 시간이나 메모리 등 시스템 장원이 할당되는 독립적인 개체. 다른 프로세스와 상관 없이 독립적으로 자원을 할당 받음. 프로세스 간의 통신을 위해선 파이프, 파일, 소켓 등을 사용하여 통신하여야 함 쓰레드 - 프로세스 안에 존재하여, 프로세스의 자원을 공유하는 개체 흔히 경량 프로세스라고 부름 각 쓰레드는 별도의 레지스터와 스택을 갖고, 힙 영역은 공유. # System call이란? # Shared memory? # 해쉬알고리즘의 종류 및 특징?MD5 SHA-1 # Swap memory는 무엇이고 언제발생하는가? # Java에서 Memory mapped file은 언제 사용하는가? # OSI 7 l.. 자바 가비지 컬렉션 설명 및 종류 2019. 2. 1. Getting StartedJVM 기반 언어와 C, C++과 가장 큰 다른점은 free()와 같은 메모리접근을 통한 명시적 메모리 해제 여부이다. 자바는 OS메모리 영역에 직접 접근하지 않고 JVM이라는 Process이자 가상머신을 통해 접근한다. 자바 application은 System.gc()와 같은 명시적 명령어를 통해 garbage collection을 수행할 수 있으나, 권장되지 않는다. 대신 JVM의 옵션에 따라 Serial GC, Parallel GC, CMS(Concurrent Mark Sweep) GC, G1 GC(after java 7)이 사용되고, 각 GC들은 특정 알고리즘과 주어진 옵션에 따라 메모리 관리를 하게 된다.What is garbage?Java application에서는 .. 홍콩 해커톤 Smartone 참가 후기 2019. 1. 22. Smartone Hackathon 2018홍콩에서 스마트한 삶을 꿈꾸다 페이스북의 '좋아요' 버튼이 사내 해커톤에서 개발되어 상용화된 사례라는 점은 이미 널리 알려진 사실이다. 페이스북이 해커톤을 통해 새로운 비즈니스 모델을 개발한 이후 IT기업들 사이에서 해커톤 개최는 일종의 트렌드로 자리잡았다. 국내에서도 우리 회사를 비롯하여 네이버, 삼성전자 등의 기업이 해마다 해커톤을 개최하고 있으며, 최근에는 그 의미가 확장되어 지자체, 대학교, 금융기관 등에서도 다양한 목적의 해커톤을 개최하고 있다. 현재 해외에서는 어떠한 해커톤이 열리고 있고, 국내 해커톤과의 차이는 무엇일까? 작년 가을 홍콩에서 열린 '스마톤 해커톤(Smartone Hackathon) 2018'에서의 경험을 소개한다. 글_SK플래닛 Dat.. [Stream Process as a Platform] Netflix의 실시간 스트림 처리 플랫폼 Keystone 소개 2019. 1. 10. 아래 포스트는 Keystone Real-time Streaming Processing Platform(medium)을 읽고 정리한 글입니다.원글 글쓴이 : Zhenzhong Xu in Real-time Data Infrastructure team Keystone Stream Processing Platform은 넷플릭스의 Data-driven culture을 가능케한 Data backbone 이자 infrastructure의 필수적인 부분을 뜻한다. Netflix Keystone은 2015년 기준, 8,000,000tps의 데이터를 처리하고 있으며 약 1PB 양의 데이터를 처리하고 있다. 오늘날 Keystone Platform은 두가지의 핵심 서비스를 제공한다.1) Data PipelineRouting .. 매초마다 반복되는 shell script 한줄 구문 2019. 1. 3. Getting started보통 tail을 통해 file 내부의 변화를 확인하고 log를 확인하곤 한다.가끔 linux file system을 통한 개발을 하다보면 반복적으로 command를 실행시키고 싶을때는 어떻게 하면 될까? $ while true; do 명령문 sleep 시간; done 상기와 같이 수행하면 된다. 시간(seconds)마다 명령문을 입력한다. Example5초 마다 ls 명령어 호출 $ while true; do ls /app/home/; sleep 5; done 1초 마다 echo $ while true; do echo hi; sleep 1; done 10초 마다 hdfs 를 통해 ls 명령어 호출 $ while true; do ./hdfs dfs -ls /2018/11/12/;.. 효과적인 소프트웨어 문서를 적는 방법 2019. 1. 2. 『Documenting Software Architectures』를 읽고 정리, 추가 한 포스트입니다. 호랑이는 죽어서 가죽을 남기고, 개발자는 문서를 남긴다. Why? 왜 문서화 해야하나?개발자로서 협업을 하다 보면 항상 마주치는 현실이 있다. 이건 왜 이렇게 짜셨나요? 이렇게 설계한 이유는 무엇인가요? commit log를 보세요. 히스토리에 대해 알고 싶어요. 어디서 볼수 있나요? wiki를 보세요. wiki에 어디로 가야하나요? XXX page에 맨 아래쪽에 나와 있어요. 여기 wiki내용은 code에 반영된 것과 다른데요? wiki 작성할 시간이 없어요. 바빠서 작성을 못했네요. 인수인계를 할 때뿐만아니라 일상 실무에서도 많이 일어나는 개발자들 간의 커뮤니케이션 내용이다. 많은 개발자들이 히스토.. Java 8 에서 사라진 maxPermSize, PermSize을 대체하는 옵션? 2019. 1. 1. 아래 포스팅은 HotSpot JVM을 기준으로 설명합니다. JVM architecture(오라클 GC설명페이지) Java 7에서 있던 -XX:MaxPermSize=size, -XX:PermSize=size option들은 이제 Java 8에서는 Deprecated되었다. 더 정확히는 metaSpaceSize로 대체(superseded)되었다고 볼 수 있다. 그래서 많은 개발자들이 java7에서 8으로 업그레이드 한 이후에 아래와 같은 warning 메시지를 본적이 있을 것이다. Java HotSpot(TM) Server VM warning: ignoring option PermSize=32m; support was removed in 8.0 Java HotSpot(TM) Server VM warning:.. Apache Kafka에서 topic의 partition 개수 줄이는 방법? 2018. 12. 26. 아파치 카프카에서 topic의 partition 개수 줄이는 방법?정답 : 없다(~2.1 version)Apache Kafka는 partition number을 줄이는 것을 지원하지 않는다. Topic에 대한 data 처리량을 늘리기 위해 partition을 쉽게 늘릴 수 있지만, partition number을 줄이는 것 즉 partition 삭제에 대한 정책은 지원하지 않는다. Partition을 삭제하게되면 그 즉시 파티션에 존재하는 data가 삭제되기 때문이다. 이 때문에 partition의 삭제가 가능하기 위해서는 kafka에서 능동적으로 partition삭제에 대한 처리(data rebalancing)을 해야하는데 이는 아직(현재 version 2.1) 개발되지 않았다. LinkedIn의 Se.. 안드로이드에서 외부 jar file import하는 방법 2018. 12. 26. 이번포스팅에서는 Android studio에서 jar file을 import하는 방법에 대해 알아보겠습니다. #1 Android studio open #2 Android studio 우측에 있는 structure에서 Project 클릭 #3 libs folder 안에 추가하고자 하는 jar file copy&paste #4 붙여넣은 jar file을 우클릭하여 아래쪽에 있는 Add As Library 클릭 #5 library로 추가하고자 하는 module 선택 및 OK #6 cmd+; 단축키를 눌러 Project Structure을 확인하면 Library import 완료된 것을 확인 할 수 있다. 아파치 Kafka Consumer의 데이터 처리 내부 architecture 설명 및 튜닝포인트 2018. 12. 24. 지난 포스트에서 Kafka producer의 데이터 처리 내부 architecture에 대해서 알아보았다. ☞ 아파치 Kafka Producer architecture 설명 포스팅 이번 포스트에서는 kafka architecture의 Consumer 내부 데이터 흐름에 대해 알아보려고 한다. Kafka Consumer 데이터 내부 처리 순서 #1 : poll(record 취득 api) 호출#2 : 가져오고자 하는 record가 Fetcher queue에 없는 경우, Fetch request를 발동하여 broker에서부터 record를 가져온다.#3 : record batch를 Fetcher queue에 저장#4 : 어디까지 읽었는지에 대한 offset을 consumer측에서 보관#5 : record ba.. 아파치 Kafka Producer의 데이터 처리 내부 architecture 설명 및 튜닝포인트 2018. 12. 24. 지난 포스트에서 Kafka architecture 및 개요에 대해 알아보았다. ☞ 빅 데이터 처리를 위한 아파치 Kafka 개요 및 설명 포스팅 이번 포스트에서는 kafka architecture의 Producer 내부 데이터 흐름에 대해 알아보려고 한다. Kafka Producer 데이터 내부 처리 순서 #1 : User application thread에서 Record 추가#2 : Record Batch단위로 Record를 압축#3 : 복수의 Record Batch를 묶어 Broker로 보냄#4 : Record Batch를 각 Partition에 저장#5 : 지정시간에 request 에 대한 완료(ack)를 회신 - acks=0 : ack 응답없음(속도가장빠름, 데이터유실확률 가장 높음) - acks.. 빅 데이터 처리를 위한 아파치 Kafka 개요 및 설명 2018. 12. 24. Apache Kafka LinkedIn에서 최초로 만들고 opensource화 한 확장성이 뛰어난 분산 메시지 큐(FIFO : First In First Out) → 분산 아키텍쳐 구성, Fault-tolerance한 architecture(with zookeeper), 데이터 유실 방지를 위한 구성이 잘되어 있음→ AMQP, JMS API를 사용하지 않은 TCP기반 프로토콜 사용→ Pub / Sub 메시징 모델을 채용→ 읽기 / 쓰기 성능을 중시 → Producer가 Batch형태로 broker로 메시지 전송이 가능하여 속도 개선→ 파일 시스템에 메시지를 저장하므로, 데이터의 영속성 보장→ Consume된 메시지를 곧바로 삭제하지 않고 offset을 통한 consumer-group별 개별 consume.. Hadoop에서 hadoop job은 어떻게 각 data node에서 job을 수행할까? 2018. 12. 17. Hadoop에서 가장 많이 쓰이는 명령어로 아래와 같이 job을 수행하는 것이 있다. /bin/hadoop jar [jar file] [arguments..]상기와 같이 jar를 실행하게되면 hadoop은 어떤 node로 어떤 job을 보내게 되는걸까? Client 혹은 interface server에서 hadoop jar와 함께 command를 입력Client는 실행에 대한 신규 application Id를 발급받. 그리고 jar file은 HDFS의 job resource로 복사(by default 10 on large clusters)Cluster(각 데이터노드)에서 실행됨. (다만 hadoop config에 local 설정을 하게 되면 해당 호스트에서 실행됨) 모든 것을 측정하는 방법 - Bigdata시대에 부족한 data로 예측하기 2018. 12. 16. 이 포스트는 모든 것을 측정하는 방법을 읽고 정리한 글입니다. 해당 서적 : How to Maesure Anything(amazon.com) 근사값 밖에 구할 수 없는 상황에서는 완벽한 정확성을 추구하는 것보다 가능한 수준의 정밀도로 만족하는 것이 지식인에게 필요한 태도이다. - 아리스토텔레스(BC. 384 - BC. 322) 왜 측정이 필요한가?모든 것은 측정 가능하다. 대체로 측정 불가능하다고 여겨지는 많은 문제들이 간단한 측정 방법을 통해 해결될 수 있다. 특히 사업 경영에서 흔히 접하는 '보이지 않는' 것들에 대해 측정이 가능하다. 다음과 같은 것들이 일반적으로 생각되는 보이지 않는 것들의 예이다. # IT 프로젝트가 실패할 위험# 수집한 정보의 가치# 품질# 대중적 이미지 위의 예들은 사업의 의.. Custom listview의 각 item에 animation 적용하기 2018. 12. 13. 개요안드로이드 custom listview를 사용하면서 parent item view에 각종 animation effect를 주고 싶을때 사용 제공 애니메이션# Alpha with translate animation : 좌측으로 이동 + 투명도가 변하면서 스르륵 나타나는 애니메이션# Alpha animation : 투명도가 변하면서 스르륵 나타나는 애니메이션# Scale animation : 점점 커지는 애니메이션 주요 코드ListViewAdapter.javacustom list view를 사용하기 위해 BaseAdapter를 상속받은 ListViewAdapter에서 parent view에 animation을 적용하면 각 item에 animation이 적용된다. @Override public View g.. 이전 1 ··· 19 20 21 22 23 24 25 ··· 32 다음 728x90
