Keras

Merge vs. Concatenate

Merge는 두 레이어의 element-wise sum을 한다.

x = Merge()([x1, x2])

Merge는 deprecated 되었다며 merge 사용을 유도한다. 그러나 이 또한 내부적으로 Merge를 호출하여 경고 메시지가 동일하게 출력된다. merge 함수를 사용하면 생성자를 기입하지 않아도 되어 조금 더 직관적이다.

x = merge([x1, x2])

아래와 같은 형태로 multiply 할 수도 있다.

attention_mul = merge([inputs, attention_probs], name='attention_mul', mode='mul')

Concatenate는 레이어를 길게 이어 붙인다.

x = Concatenate()([x1, x2])

마찬가지로 concatenate로 좀 더 직관적으로 사용할 수 있다.

Optimizer

(케라스 창시자에게 배우는 딥러닝, 2017)

Tokenizer

from keras.preprocessing.text import Tokenizer

# corpus = "I like playing football with my friends"
corpus = ["I like playing football with my friends"]

tokenizer = Tokenizer()
tokenizer.fit_on_texts(corpus)
corpus_tokenized = tokenizer.texts_to_sequences(corpus)

# [[1, 2, 3, 4, 5, 6, 7]]

corpus가 string 일때는 char level, array 일때는 띄어쓰기 단위로 tokenize 된다.

keras.backend.ndim

Returns the number of axes in a Tensor, as an Integer.

속도

Simple MNIST convnet1

시스템 Processing Unit Speed
맥북 CPU(2.6 GHz 6-Core Intel Core i7) 15s/it
GCP CPU(2x Intel(R) Xeon(R) CPU @ 2.20GHz) 32s/it
GCP GPU(Tesla T4) 2s/it

Last Modified: 2021/04/08 21:13:07


2021 Book Reports  ·  Project Management  ·  epoll  ·  Deno  ·  Serverless AI  ·  흥미로운 통계  ·  2017 Book Reports  ·  Keras  ·  Windows Subsystem for Linux  ·  비지니스  ·  gRPC  ·  Go  ·  통계학 책  ·  머신러닝  ·  GPU Data Science  ·  C++  ·  AWS  ·  NLP  ·  Distance  ·  알고리즘  ·  통계학  ·  인공지능 책  ·  Firebase Cloud Messaging  ·  OAuth 2.0  ·  인공지능  ·  온라인 개발  ·  Microservices  ·  App Engine  ·  Cloud Load Balancing  ·  Cloud Run  ·  Python  ·  NLP 실험  ·  2020 Book Reports  ·  Windows 10  ·  비지니스 책  ·  통계학 응용  ·  Links  ·  Recommender System  ·  미래학 책  ·  자기계발 책  ·  수학 책  ·  GCP  ·  건강 책  ·  Terraform  ·  클라우드 책  ·  BigQuery  ·  수학  ·  컴퓨터시스템구조  ·  JetBrains  ·  Kubernetes  ·  2018 Book Reports  ·  2019 Book Reports  ·  Template  ·  Cryptography  ·  이산수학  ·  PyData  ·  Flask  ·  Docker  ·  강화학습  ·  머신러닝 책  ·  Markov Decision Process  ·  Santander Product Recommendation  ·  Java  ·  Android Development  ·  Zsh  ·  Software Deployment  ·  GCS  ·  XGBoost  ·  Front-End  ·  Activation, Cost Functions  ·  자료구조  ·  사회심리학  ·  Information Retrieval  ·  OOP  ·  데이터 사이언스  ·  진화생물학  ·  LifeHacks  ·  Decision Tree  ·  Hadoop, Spark  ·  데이터 마이닝  ·  CNN, RNN  ·  운영체제  ·  머신러닝 분류기  ·  Support Vector Machine  ·  Naive Bayes  ·  컴파일러  ·  딥러닝  ·  Word Embedding  ·  영어  ·  Scikit Learn  ·  MySQL
is a collection of Papers I have written.
© 2000 - Sang-Kil Park Except where otherwise noted, content on this site is licensed under a CC BY 4.0.
This site design was brought from Distill.