티스토리

공부 정리 블로그

검색하기

블로그 홈

공부 정리 블로그

dda-on.tistory.com/m

대학원 수업 정리와 운동 이야기

구독자: 2

방명록 방문하기

주요 글 목록

[음성신호처리16] - TTS2 Concatenative Methods(2) • TD-PSOLA(time-domain pitch synchronous overlap and add) wave form 자체를 잘라서 이어붙임 ▫ Diphones are concatenated pitch-synchronously. Diphones 방식 그대로 이용 ▫ The alignment to pitch periods  Vary the timing of repeats for each waveform type. ▫ Simple but discontinuous at the overlap points 잘라서 이어붙이는 부분에서 약간 어색한 소리가 날 염려가 있음 -> 이런 부분들을 완화를 시키려면 가공 • LP-PSOLA ▫ Store linear predi.. 공감수 0 댓글수 0 2023. 6. 16.
[음성신호처리13] - vocoder, CELP coding Bit-Rate Reduction • Efficient quantization • Linear transformations 비슷한 신호가 들어올 때 각각을 quantization • Vector quantizationIdea -The number of perceptually distinguishable spectra is far smaller than the number that is typically generated by a speech device. - The label of the best match would be transmitted. 벡터 그 자체로 quantization한다면? => index를 사용하서 quantization • Reduce the number of parameters -.. 공감수 0 댓글수 0 2023. 6. 15.
[신호처리-15]-TTS (음성 합성) TTS 기본 원리 / 딥러닝 이전의 기본 원리 이해 Text-to-Speech (TTS) Synthesis (1) • Word or phrase concatenation(phrase의 경우 관용적인 문구도 활용하게 되므로 문장이 제한됨) ▫ Limited vocabulary word를 연결하면 되지만 단어 수가 제한됨 ▫ Applications  Warning messages  Operating instructions • Arbitrary TTS(voc size에 대한 restriction 이 없음, 한 번도 보지 않은 단어도 TTS를 할 수 있음) 물론 퀄리티는 떨어질 수 있음 ▫ Unrestricted vocabulary including words never met before ▫ Applica.. 공감수 0 댓글수 0 2023. 5. 31.
[음성신호처리14] - CELP coding 여러 기법들 LPC Vocoder의 개념으로 부터 출발 음성을 생성할 때, source filter model 사용하므로(excitation을 source생각) -> All pole filter LPC synthesizer 로 excitation filtering -> sythetic speech 생성 -> 실제 speech(coding 하고자하는 대상) 비교 -> error 구함 -> perceptual 관점 weighting -> -> weighted error - > error minimization ->추정으로 extitation 생성 위의 과정 반복을 통해 생성 excitation, LPC sythesizer coding을 통해서 bit 수를 줄이고 speech에서 빼서 error 생성, error에 per.. 공감수 0 댓글수 0 2023. 5. 31.
[음성신호처리13]-vocoders;voice coding Vocoders 신경망 coding 전 신호처리 위주의 방식들을 살펴봄 neural coding 전까지 신호처리 기반의 coding 방식을 이해함 Vocoder systems ▫ Analysis-synthesis systems(이용) of speech ▫ Primary application - Source coding to reduce the required rate of transmission source coding(source 자체의 데이터를 줄임, 요구되는 coding rate을 줄임) channel coding(channel의 특성을 살림, 여기서는 다루지 않음) source -> channel -> Receiver -> 해독 source를 그대로 보내면 데이터량이 많기 때문에 channel 정.. 공감수 1 댓글수 0 2023. 5. 17.
[음성신호처리12]-pitch Pitch 사람의 vocal tract 에서 purse train이 있고 vocal tract의 출력을 거쳐서 나오는 게 음성이다. 유성음의 경우, purse traind의 주파수를 pitch frequency라고 부름 source filter 모델에 있어서(생성 모델) 유성음 • Subjective definition(사람이 느낄 때는 listener에 의해서 더 복잡한 pure tone의 frequency를 pitch라 부름) ▫ Frequency of a pure tone that is matched by the listener to a more complex (usually periodic) signal • Pitch detection = fundamental frequency estimation.. 공감수 0 댓글수 0 2023. 5. 17.
[음성신호처리11] - Linear Prediction Introduction to Linear Prediction • Speech sounds 1. Deterministic sounds : periodic or impulsive sources (vowels, plosives) 2. Stochastic sounds : noise sources (fricatives) • Estimation of parameters of an all-pole system function ▫ Linear prediction analysis ▫ Pitch synchronous analysis Time-Dependent Processing • Many analysis techniques assume that speech signals are quasi-stationary(라고 가정을.. 공감수 0 댓글수 0 2023. 5. 10.
[음성신호9.5] - STFT, Filter bank 댕쩌는 블로그 발견 https://sanghyu.tistory.com/37 STFT(Short-Time Fourier Transform)와 Spectrogram의 python구현과 의미 음성신호처리에서 아주 기본적인 feature로 spectrogram이 존재한다. spectrogram을 많이 쓰지만 왜 짧은 시간으로 나눠서 Fourier transform을 하는 지에 대해 생각하지 않고 쓰는 경우가 많다. Python에서 함 sanghyu.tistory.com Short-Time Fourier Analysis Short-Time Fourier Transform ▫ Short-time windows ▫ Quasi-stationary Quasi-stationary 음성 원래 본질은 non-statinary.. 공감수 0 댓글수 0 2023. 5. 10.
[신호처리 10] MFCC Complex Cepstrum of Speech-Like Sequences is a sum of decaying exponentials that are scaled by 1/n. 스케일링해서 계속 더해지는 형태로 나타냄 time delyay 가 추가된 형태로 iverse transform 만들어짐 Impulse Trains Convolved with Rational z-Transform Sequences (1) ĥ[n] ; low 부분에 집중된 vocal tract p̂[n] ; train 형태로 나타난 vocal cord 두가지 도메인으로 나눠서 생각해볼 수 있음 제로에 해당하는 거 빼고는 high quefrency에 몰려져 있음 low, high를 쪼개보면 두개로 쪼개서 생각해볼 수 있음 vocal .. 공감수 0 댓글수 0 2023. 5. 10.
[음성신호처리6]-Speech production Acoustic Tube Model (1) 목소리 관로를 다양한 횡단면적을 가진 연결된 음향 관로로 모델링합니다. 음성 관로를 비손실 비균일 관로로 가정하며, 이를 N개의 균일한 관로들의 연결로 근사화할 수 있습니다. 파열음에서 입술까지의 전달 함수(transfer function)를 유도하기 위해 파동 방정식을 적용합니다 성대에서 소리가 올라오는 시간을 계산 입속에서는 압력이 가해지는데, 입 밖으로 나오면서 free space로 나갈 때, 공기중의 압력을 0으로 가정 주기적으로 반복되는 생성으로 모든 wave가 합쳐져서 결국에는 standing wave가 됨 입력을 FT해서 입력으로 곱해주면 출력으로 나와주면 출력의 FT(푸리에 트랜스폼) source - 성대로부터 나오는 vocal track (성대~.. 공감수 1 댓글수 1 2023. 4. 24.
[신호처리4] - Filters LTI Systems The output of a digital filter (LTI system) is related to the input by an N-th order difference equation. http://www.ktword.co.kr/test/view/view.php?no=4982 디지털 필터 구분 1. 디지털 필터 구분 : (임펄스 응답이 유한 길이를 갖는지 여부) ㅇ FIR 필터 (Finite Impulse Response) - 임펄스 응답이 유한길이를 갖음 [# y[n] = \sum^N_{k=M} h[k]x[n-k] #] . 연산 회수 : 덧셈 N - M 개, 곱셈 N - M www.ktword.co.kr FIR Filters(non - recursive filter) -회귀성분.. 공감수 0 댓글수 0 2023. 4. 24.
[신호처리3] - Discrete-Time Fourier Transtrom(DTFT) Properties of th DTFT 비주기 함수란 무엇인가? 1. a_kN = ΣX[n]e^(-jk*2ㅠ/N *n) N-> 무한대로 갈때, Xn[n] -> X[n] a_kN ≡ X(kΩ0) K*2ㅠ/N -> 0~2ㅠ 사이실수 = Ω(라지 오메가로 치환) (k:0~N-1(정수)), K=N-1 -> (N-1)2ㅠ/ N N이 무한대로 가면 2ㅠ 2. lim a_kN = lim ΣX[n]e^(-jk*2ㅠ/N *n) Xn[n] -> X[n] a_kN ≡ X(kΩ0) ≡ X(Ω) K*2ㅠ/N -> 0~2ㅠ 사이실수 = Ω(라지 오메가로 치환) (k:0~N-1(정수)), K=N-1 -> (N-1)2ㅠ/ N N이 무한대로 가면 2ㅠ IDTFT https://angeloyeo.github.io/2019/07/09/D.. 공감수 0 댓글수 0 2023. 4. 24.
[음성신호처리9]-Psychoacoustics • Physical and perceptual levels may be different. The subjective impression of pitch, although primarily dependent on frequency, can vary with other parameters, such as intensity or spectrum. 개개인의 주파수 인식 차이로 intensity, spectrum에 영향을 끼치게 됨 Sound-Pressure Level and Loudness The loudness S (Subjective measure) in sones(lossness의 단위) is proportional to the cube root of the intensity 이 관계는 강도 값이 상대적.. 공감수 0 댓글수 0 2023. 4. 22.
[음성신호처리8] - Human Auditory System . 청각 시스템은 들어오는 신호를 다양한 방법으로 수정하여 처리하는데, 예를 들어 파형을 왜곡하고 시작과 끝을 강조하며, 이전 신호에 의해 신호가 억제되는 등의 과정이 있습니다. 또한, 인간 청각 시스템은 매우 높은 동적 범위를 가지고 있어 가장 작은 소리도 10^12배로 증폭하여 인지할 수 있습니다. 인간의 청취 가능한 주파수 범위는 일반적으로 20 Hz에서 20,000 Hz 사이이며, 100 Hz 이하로 내려갈수록 감도가 떨어집니다. 더불어 성인은 12 kHz 이상의 주파수를 듣는데 어려움을 겪을 수 있습니다. 달팽이관 달팽이관은 파동의 진행 방향을 바꾸어주는 역할을 수행합니다. 기체에서 들어온 파동이 달팽이관에 부딪히면, 달팽이관의 형태와 내부 구조에 의해 파동의 진행 방향이 바뀌게 됩니다. -> .. 공감수 0 댓글수 0 2023. 4. 22.
[음성신호처리2]푸리에 급수, 푸리에 변환, Discrete-Time Signals Brief History of Automatic Speech Recognition (1) •1960sNeural - networks for phoneme recognition 인식을 위한 기본단위로 쪼개놓은 것 / 발음 종류로 구별해 놓은 것 phoneme - Major breakthroughs 아날로그 신호인 음성을 continuous로 바꾼 것을 fourier transform라 한다 입력 신호를 디지털 신호로 바꿈 1. sampling 2. 각 sample 값들을 descret/ amplitude 관점으로 -> digital signal (숫자의 sequence 로 wave form 표현) 숫자의 vector array로 봄 - Three spectral analysis techniques 1. F.. 공감수 1 댓글수 1 2023. 4. 22.
[음성신호처리1] 개론 Speech Communication vocal cord - 성대 vocal tract- 성대~입(까지 공기의 통로) Analysis/Synthesis Based on Speech Production and Perception vocal code(성대)에서 purse형태의 신호를 만들어냄 FFT 특정 신호에 포함되어있는 주파수 성분이 어떤 것이 있는지 찾아냄 frequency가 낮은 것부터 높은 것 까지 다양한 주기성을 가진 신호들을 신호에 얼마나 포함되어 있는지 찾아냄 각 주파수 별로 찾아냄 (이 신호에는 어떤 주파수가 어느정도로 포함되어 있는지) 각 주파수 성분의 크기가 얼마나 되는지 시간에 따라 표현 주기와 주파수의 관계성 주기와 주파수는 시간과 관련된 개념으로, 주기는 한 사건이 일어나는 데 걸리.. 공감수 0 댓글수 0 2023. 4. 20.
[음성신호처리7] - sound wave and wave equation Sound Waves and Wave Equation 3차원도 같이 고려해야함 3차원 공간 상 한 공간에서 구의 형태로 퍼져나가므로 spherical 원점으로부터의 거리를 기준으로 한 구를 생성 / 거리가 하나의 cordinate (r) pressure 크기 (비례) 1/ 거리 intensity 단위 면적 당 지나가는 sound energy의 양 Sound Pressure Level 기준점을 어떻게 할 것인가? -> 낮은 값으로 잡음 사람이 소리를 느낄 수 있는 가장 낮은 값으로 설정 발화되는 위치에서 40cm 만큼 떨어질 위치에서 1m^2를 통과하는 sound wave 의 sound PRESSURE LEVEL측정 decibel 계산 Absorption sound가 매질이 다른 두개를 통과하는 상황 pa.. 공감수 0 댓글수 0 2023. 4. 12.
[음성신호처리5]-Wave Basic(수정 필요) 공기중 파동을 일으켜 신호를 전달 직각방향으로 얼마나 이동을 햇는가 display y 거리 = 시간 *속도 여기서 y+(x, t)와 y-(x, t)는 각각 진행하는 파동과 역행하는 파동을 나타냅니다. 진행하는 파동은 양의 방향으로, 역행하는 파동은 음의 방향으로 움직입니다. 이 두 파동이 합쳐져서 줄의 전체적인 움직임이 결정됩니다. standing wave c= lambda*f sin 함수의 특성으로 두 sin함수를 더하면 곱으로 표현됨 frequency = 속도 / 파장 Wave Equation for the Sound Wave https://swstar.tistory.com/211 물리학 상식 : 파동의 기본개념 이번 포스팅에서는 파동과 이를 구성하는 주파수, 파장, 진폭 등의 기본 개념들을 자세하게.. 공감수 0 댓글수 0 2023. 4. 5.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.