나는 Google assistant service와 custom wake word detection를 활용하여 음성인식 모듈을 만들고 있다.
이 서비스를 활용하여 나만의 키워드로 Google assistant를 호출할 수 있다.
Google Assistant는 2가지의 라이브러리를 제공한다.
Google assistant library와 Google assistant service
두 라이브러리의 차이점은 얼마나 아래 레벨까지 접근할 수 있는지 정도이다.
라이브러리는 쉽게 사용할 수 있고, 딱 필요한 기능들만 제공한다면
서비스는 Google assistant의 기능들을 하나하나 컨트롤 할 수 있다.
라이브러리로는 내가 원하는 기능들 (custom wake word detection, get answer text, get speech_text)이 어려울 것 같아서 서비스를 사용하기로 했다.
Google assistant service에 대한 설명은 아래를 참고한다.
The Google Assistant Service gives you full control over the integration with the Assistant by providing a streaming endpoint. Stream a user audio query to this endpoint to receive a Google Assistant audio response. You can generate bindings for this API from a variety of languages (for example, Go, Node.js, C++, and Java) on all platforms supported by gRPC.
3번째 이미지에서는 농작물과 잡초? 작은 것을 분리해내는 것입니다. (Crop vs. Weed Semantic Segmentation)
논문에서 하는 이야기는
너희는 너희의 일에 집중해라, 우리가 세그멘테이션 해줄게 입니다.
그것을 위해 필요한 것은 세그멘테이션 할 모델이 필요하다고 합니다.
문제는 어떻게 그 모델을 만들 수 있는지.. tensorflow에 대해 이해가 필요해보입니다.
아직 이해를 못했습니다.
지금은 그저 작성자가 만들어놓은 모델을 적용해보는 것을 해봤습니다.
스스로 원하는 물체 데이터 셋을 만들고 (혹은 구하고), 모델을 만든다는 것? 이걸 하는게 중요한데
아직 잘 모르겠습니다. 공부가 필요합니다. ㅜㅜ
아래는 framework의 동작을 위한 순서입니다.
Bonnet Framework
we provide a stable and easy-to-use tool to make this technology more approachable in the context of autonomous systems. In this sense, we aim at closing a gap between computer vision research and its use in robotics research. We provide an opensource framework for training and deployment
Sequence
Dataset definition
includes images and labels
이미지에 변형을 줄 필요는 없다.
Abstract dataset handler performs the desired dataset augmentation, such as flips, rotations, shears, stretches, and gamma modifications
Network definition
Each architecture inherits the abstract class Network and redefines the graph in order to change the model type, which allows to easily add new architectures.
The interface with the model architecture is done through the net.yaml configuration file, which includes the selection of the architecture, the number of layers, number of kernels per layer, and some other architecture dependent hyperparameters such as the amount of dropout [13], and the batch normalization [14] decay.
Hyper-parameter Selection
Once the network and the dataset have been properly defined, the hyper-parameters need to be tuned.
Training
Once the most promising model is found, the training can be done with this hyper-parameter set using multiple GPUs to be able to increase the batch size, and hence, the speed of training.
Graph Freezing for Deployment
Once the trained model performs as desired, the framework exports a log directory containing a copy of all the configuration files used, for later reference, and two directories inside containing the best IoU and best accuracy checkpoints.
