Juni_DEV

Goal of this courseTrain an agent to perform useful tasksWhat is PyTorch?Python library forDefining neural networksAutomatically computing gradientsAnd more! (datasets, optimizers, GPUs, etc.)Numpyhttp://colab.research.google.com/drive/12nQiv6aZHXNuCfAAuTjJenDWKQbIt2Mz#scrollTo=U5rl_7Kx5vk8PyTorch Basicshttps://colab.research.google.com/drive/1hIVRi1fb7baLKoPw9PNqbkhpjLmv9DaA#scrollTo=xkOqj3t3ov..

Terminology & notationMarkov property (Very Very Important!!!)If you know the state S2 and you need to figure out the state S3 then S1 doesn’t give you any additional information that means that S3 is conditionally independent S1 given S2.If you know the state now, then the state in the past does not matter to you because you know everything about the state of the world.현재는 모든 과거를 온전히 표현한다 → 미래의..

I’ve finally picked up the CS285 reinforcement learning lectures again, after putting them off for a while... Let’s get it!What is reinforce learning?Mathematical formalism for learning-based decision makingApproach for learning decision making and control from experienceHow is this different from other machine learning topics?Standard (supervised) machine learningUsually assumes: i.i.d dataknow..

Docker 설정을 처음부터 다시 깨끗하게 하려면, 기존 Docker 및 Docker Compose를 완전히 삭제한 후 최신 버전으로 재설치하면 됩니다. 아래는 Ubuntu (20.04, 22.04 등) 기준 튜토리얼입니다.1. 기존 Docker 완전 제거sudo systemctl stop dockersudo apt-get purge -y docker docker-engine docker.io containerd runcsudo apt-get autoremove -ysudo rm -rf /var/lib/dockersudo rm -rf /var/lib/containerdsudo rm /usr/local/bin/docker-compose2. Docker 재설치(1) 의존성 설치sudo apt updatesu..

논문이 Appendix 빼고 11장, 합쳐서 37장 정도 되는데 Appendix에 실험 내용이 많다보니 내용이 좀 길다.OpenVLA7B parameter open-source VLA modeltrained on 970K robot episodes from the Open X-Embodiment datasetbuild on a Llama2 LM + visual encoder (pretrained features from DINOv2 + SigLIP)fully open-source and models can be downloaded and fine-tuned from HFBackgroundThere are two key reasons preventing the widespread use of existin..

멀티모달 러닝은 다양한 형태의 데이터(예: 텍스트, 이미지, 음성 등)를 통합하여 컴퓨터가 이를 이해하고, 추론하고, 학습할 수 있도록 돕는 인공지능 기술입니다. 멀티모달 러닝의 목표는 다양한 데이터를 연계하여 통합적으로 처리할 수 있는 지능형 컴퓨터 에이전트를 설계하는 것입니다. 여기에서는 멀티모달 러닝의 핵심 원칙과 대표적인 기술적 과제들을 정리해보겠습니다.멀티모달 러닝의 핵심 원칙멀티모달 러닝의 기본 원칙은 크게 다음 세 가지로 요약할 수 있습니다.모달리티의 이질성: 서로 다른 데이터 유형(텍스트, 이미지, 소리 등)은 고유한 특성과 구조를 가지며, 이를 잘 반영해야만 최적의 결과를 얻을 수 있습니다.모달리티 간의 연결: 각 모달리티 간의 연관성을 파악하고 연결함으로써 서로 보완적인 정보를 통합합니..

https://arxiv.org/abs/2404.05726이 논문에서는 MA-LMM(Memory-Augmented Large Multimodal Model)을 제안하여 Long-Term Video Understanding를 위한 새로운 접근법을 제시하고 있습니다. 기존의 LLM 기반 모델들이 짧은 비디오 이해에만 적합한 반면, MA-LMM은 장기 비디오 시퀀스를 온라인으로 처리하고, 이전 비디오 정보를 메모리 뱅크에 저장하여 효율적으로 분석합니다. 이로 인해 LLM의 컨텍스트 길이 제한이나 GPU 메모리 한계를 초과하지 않고도 긴 비디오를 다룰 수 있습니다.MA-LMM ArchitectureMA-LMM의 기본 구조는 크게 세 부분으로 나눌 수 있습니다.Visual Encoder: 입력된 비디오의 각 프레..

F1 Score, Precision, Recall, Accuracy는 분류(classification)에서 모델의 성능을 평가하기 위해 사용되는 지표들입니다. 이들 각각은 모델이 얼마나 잘 작동하는지에 대한 다양한 측면을 측정합니다.Precision (정밀도)정의: 모델이 Positive로 예측한 것들 중 실제로 Positive인 것의 비율을 나타냅니다.수식: Precision = TP / TP + FP - TP: True Positive (실제로 Positive인 것을 Positive로 예측한 경우)- FP: False Positive (실제로는 Negative인 것을 Positive로 잘못 예측한 경우)설명: Precision는 모델이 얼마나 정확하게 Positive 클래스를 예측하는지 측정하며, 잘..