p187부터 차례대로 실습

서비스 아키텍쳐

  1. 운영 데이터 취합(주로 로그나 검색로그, SNS 데이터)

  2. 전처리(주로 한글) 엘라스틱서치+은전한닢

  3. 빅데이터처리(하둡, 스파크)

  4. 통계처리(R)+머신러닝/딥러닝(추천/분류/회귀)

질의(QueryDSL)

  • QueryDSL
    • 쿼리와 필터로 구성됨
  • 쿼리
    • 전문 검색에 사용
    • 점수(스코어)를 계산
    • 상대적으로 느림
    • 복잡한 조건 검색 가능
    • 결과가 캐싱되지 않음
  • 필터 → 꽤 유용함, 7장정도에서 다룸
    • 점수를 계산하지 않음
    • 상대적으로 빠름
    • On/Off(Yes/No)검색에 사용
    • 결과가 메로리에 캐싱
    • 결과가 다른 필터나 궈리,패킷에 사용가능
    • p334 토큰필터 종류들 ~

분석기(Analyzer)

  • Standard 분석기
  • simple 분석기
  • Whitespace 분석기
  • stop 분석기
  • keyword 분석기
  • Pattern 분석기
  • 다국어 분석기
  • Snowball 분석기

p223

불쿼리

쿼리는 개발의 영역인가 보다~

쿼리 vs 필터

  • 쿼리는 복잡하고 전문적이지만 쿼리에 쿼리를 붙일 수 없다.
  • 필터는 필터
필터
  • 종류가 많아 많아
  • 그 중 _routing
  • 라우팅(Routing)을 통한 성능 향상 → 최적화 이슈

p260

데이터 타입

이건 뭔지는 알아야지 :)

p269

바이너리

BASE64 → Basic Authentication

encoding vs encryption

key no key yes

  • telnet → SSH
  • FTP → SCP
  • HTTP → Secure HTTP (shttp://)
    • 암호화된 새로운 http를 만들까?
    • 아냐 너무 바꿔야 할 것도 번거로우니
    • 아래 Layer에서 하자
    • HTTP는 L7
      • L4(TCP/UDP)에서 암호화를 걸어보아요
      • TLS: Transport Layer Security)
      • (=SSL(Secure Socket Layer과 같은 말)

HTTP/TLS

HTTP with SSL(Secure Socket Layer) (https://)

  • Layer 4를 암호화하여요

TLS:Transport Layer Security(80) ⇒ 포트 별 암호화가 됩니다. (L4)

IP Security(IPSec) ⇒ IP 별 암호화가 됩니다.

L3(IP)-

여기서 암호화하는게 젤 좋은데, 라우팅 장비에서 암호화가 들어가야 하는 문제가 있자나

모든 라우터에서 이걸 지원해야해 이게 부담이 돼, 비용문제가 있거든

+) GPS → 좌표계 이름 WGPS

유용한 플러그인

http://maong.tistory.com/194

  • head
  • bigDesk
  • inquisitor
    • bin/plugin --install polyfractal/elasticsearch-inquisitor
  • hq

CJK + DBSC(Double Byte Character System) → 옛날꺼에용

스크래피 - 웹 크롤링 하는 사이트

https://bitbucket.org/eunjeon/mecab-ko-lucene-analyzer/src

ELK를 도커에서 실행해보는 중

docker run -it --name=ubuntu ubuntu
apt-get update
apt-get install apache2
service apahce2 start

docker ps -a 

docker build --tag=eunjeon .

docker run -d --name=eunjeon

results matching ""

    No results matching ""