Практическая работа №1 по дисциплине «Проектирование вычислительных комплексов»
жүктеу/скачать 1,24 Mb. Pdf көрінісі
|
Практическая работа 1 Проектирование ВК
разделение имеющихся данных на обучающую и тестовую выборку: например, в пропорции 0,8:0,2: train_dataset = dataset.sample(frac=0.8, random_state=0) test_dataset = dataset.drop(train_dataset.index) нормализацию данных: например, для реализации этого в Colab простейшим способом – вычитанием мат. ожидания и делением на среднее отклонение – может быть использован нижеследующий код, который реализует и вызывает функцию norm() : def norm(x): return (x - train_stats['mean']) / train_stats['std'] normed_train_data = norm(train_dataset) normed_test_data = norm(test_dataset) 4 Например, http://deeplearning.net/datasets/ или Для подготовки данных могут использоваться и другие инструменты, позволяющие наглядное представление и редактирование структурированных данных. Например, MS Excel способен импортировать данные различных форматов и сохранение их в виде файлов формата csv (comma-separated values), которые затем могут быть легко загружены в Colab. Например, следующий программный код позволяет осуществить загрузку данных из файла train.csv , хранящегося на компьютере пользователя: import pandas as pd from google.colab import files file = files.upload() training_set = pd.read_csv("train.csv", header=None) # предполагается, что файл не содержит заголовков столбцов Часто на этапе подготовки данных производится также их первичное изучение. Например, средства классической описательной статистики позволяют вычислить математическое ожидание, дисперсию и прочие характеристики: desc_stats = dataset.describe() # подробнее см. документацию функции 5 desc_stats = desc_stats.transpose() # форматирование выводимых чисел для более удобного чтения desc_stats Удобным способом первичного изучения данных является также их жүктеу/скачать 1,24 Mb. Достарыңызбен бөлісу:
|