ANÁLISIS DE DATOS CON PYTHON 3

Introducción..........................................................................................................17
1 Big data........................................................................................................23
1.1 Información.......................................................................................................................................................23
1.2 Qué es big data................................................................................................................................................24
1.3 Otros conceptos de big data........................................................................................................................25
1.4 Generación de datos en Internet en tiempo real...................................................................................25
1.5 Tipos de datos..................................................................................................................................................26
1.6 Fuentes del big data.......................................................................................................................................27
1.7 Las V en big data.............................................................................................................................................27
1.8 Las V a lo largo del tiempo...........................................................................................................................29
1.9 Aplicaciones del big data en general.........................................................................................................29
1.10 Patrones de arquitectura de software...................................................................................................30
1.10.1 Algunas afirmaciones importantes............................................................................................................ 30
1.10.2 Conclusiones..................................................................................................................................................... 30
1.11 Tipos de aplicaciones..................................................................................................................................30
1.11.1 Aplicaciones monolíticas............................................................................................................................... 30
1.11.2 Aplicaciones cliente-servidor....................................................................................................................... 31
1.11.3 Aplicaciones web............................................................................................................................................. 31
1.11.4 Aplicaciones peer-to-peer............................................................................................................................ 32
1.11.5 Aplicaciones de data compartida................................................................................................................ 33
1.11.6 Aplicaciones MapReduce ............................................................................................................................. 34
1.11.7 Aplicaciones heterogéneas........................................................................................................................... 34
1.12 Aplicaciones del big data en el Perú y el mundo ................................................................................35
1.13 Seguridad y big data....................................................................................................................................37
1.13.1 Retos de seguridad en el big data..............................................................................................................38
1.13.2 Medidas de seguridad básicas ....................................................................................................................38
1.13.3 Uso del big data en la ciberseguridad........................................................................................................39
1.14 Hadoop............................................................................................................................................................40
1.14.1 Características básicas..................................................................................................................................40
1.14.2 ¿Por qué Hadoop?...........................................................................................................................................41
1.14.3 ¿Cómo surge Hadoop?...................................................................................................................................41
1.14.4 Historia de Hadoop ........................................................................................................................................41
1.15 ¿Qué atributos tiene Hadoop?..................................................................................................................42
1.15.1 HDFS...................................................................................................................................................................42
1.15.2 YARN...................................................................................................................................................................47
1.15.3 MapReduce .....................................................................................................................................................48
2 Introducción al análisis de datos............................................................49
2.1 SciPy...................................................................................................................................................................49
2.1.1 Creando arreglos................................................................................................................................................49
2.1.2 Operaciones básicas.........................................................................................................................................52
2.1.3 Arreglos.................................................................................................................................................................52
2.1.4 Barras, histogramas y gráficos......................................................................................................................54
2.1.5 Diagrama de dispersión...................................................................................................................................58
2.1.6 Gráficos circulares..............................................................................................................................................59
3 Pandas.........................................................................................................63
3.1 Pandas y NumPy.............................................................................................................................................63
3.2 Primer ejemplo................................................................................................................................................64
3.3 Segundo ejemplo ...........................................................................................................................................66
3.4 Análisis del bitcoin..........................................................................................................................................69
3.5 Análisis coronavirus 1....................................................................................................................................75
3.6 Análisis coronavirus 2....................................................................................................................................77
4 Procesamiento de lenguaje natural.......................................................87
4.1 NLP......................................................................................................................................................................87
4.1.1 NLP, NLU y NLG...................................................................................................................................................88
4.1.2 Evolución del NLP..............................................................................................................................................88
4.1.3 Aplicaciones del NLP.........................................................................................................................................89
4.1.4 Problemas de ambigüedades.........................................................................................................................89
4.1.5 Instalando TextBlob y NLTK en Anaconda..................................................................................................90
4.1.6 Tokenización........................................................................................................................................................92
4.1.7 Lematización.......................................................................................................................................................93
4.1.8 Stop words...........................................................................................................................................................94
4.1.9 ¿Cuándo se deben eliminar las stop words?..............................................................................................94
4.1.10 Algunos puntos que tener en cuenta........................................................................................................95
4.1.11 Ejemplo de análisis de texto.........................................................................................................................95
4.1.12 Ejemplo de traducción de texto...................................................................................................................100
4.1.13 Ejemplo de análisis de sentimiento...........................................................................................................103
4.1.14 Stanza.................................................................................................................................................................106
4.1.15 Modelos ocultos de Markov para etiquetar texto..................................................................................109
4.1.16 Modelos markovianos de máxima entropía............................................................................................112
5 Robótica.......................................................................................................117
5.1 Historia de la robótica....................................................................................................................................117
5.2 ¿Qué es un robot?...........................................................................................................................................121
5.3 Tipos de robot..................................................................................................................................................121
5.3.1 Manipuladores....................................................................................................................................................121
5.3.2 Móviles..................................................................................................................................................................122
5.4 Arduino...............................................................................................................................................................123
5.5 ¿Cómo funciona Arduino, el cerebro digital? ..........................................................................................124
5.6 Entradas y salidas del Arduino ...................................................................................................................124
5.7 Diferentes placas de Arduino......................................................................................................................125
5.8 Alimentación de energía al Arduino...........................................................................................................126
5.9 Chip ATmega328.............................................................................................................................................127
5.10 Tipos de chip ATmega328..........................................................................................................................127
5.11 Descargando el intérprete de Arduino...................................................................................................128
5.12 Primeros pasos.............................................................................................................................................129
5.13 Constantes.....................................................................................................................................................129
5.13.1 Definiendo el nivel del pin: HIGH y LOW...................................................................................................129
5.13.2 Definiendo el modo de los pines digitales: INPUT, INPUT_PULLUP y OUTPUT...........................130
5.14 Lectura y escritura de señales digitales.................................................................................................131
5.15 Lectura y escritura de señales analógicas (analogRead) .................................................................132
5.16 Lectura y escritura de señales analógicas (analogWrite).................................................................133
5.17 Utilizar Python en Arduino.........................................................................................................................134
5.17.1 PySerial...............................................................................................................................................................134
5.17.2 Firmata...............................................................................................................................................................135
5.17.3 pyFirmata...........................................................................................................................................................135
5.17.4 Arduino-Python...............................................................................................................................................136
6 Inteligencia artificial Data Science.........................................................137
6.1 Machine learning ...........................................................................................................................................137
6.1.1 Librerías utilizadas.............................................................................................................................................137
6.1.2 Algoritmos de machine learning ...................................................................................................................140
6.1.3 Aprendizaje supervisado.................................................................................................................................144
6.1.4 Caso Iris................................................................................................................................................................145
6.1.5 Clasificación y regresión..................................................................................................................................149
6.1.6 Máquina de soporte vectorial.........................................................................................................................155
6.1.7 TensorFlow...........................................................................................................................................................162
6.1.8 Aprendizaje no supervisado...........................................................................................................................174
6.1.9 Aprendizaje por refuerzo.................................................................................................................................180
6.1.10 Aprendizaje evolutivo.....................................................................................................................................180
6.2 Deep learning ..................................................................................................................................................180
6.2.1 Historia de deep learning.................................................................................................................................180
6.2.2 Redes neuronales artificiales.........................................................................................................................181
6.2.3 Aplicaciones de redes neuronales.................................................................................................................182
6.2.4 Perceptrón...........................................................................................................................................................182
6.2.5 Tipos de arquitecturas de deep learning.....................................................................................................184
6.2.6 Implementación del primer modelo.............................................................................................................185
6.2.7 Implementación del segundo modelo.........................................................................................................190
6.2.8 Implementación del tercer modelo...............................................................................................................196
7 Web scraping..............................................................................................205
7.1 Web scraping....................................................................................................................................................205
7.2 Obteniendo el contenido de una página web.........................................................................................205
7.3 Obteniendo una imagen de una web.........................................................................................................208
7.4 Obteniendo páginas.......................................................................................................................................211
7.5 Obteniendo caracteres..................................................................................................................................212
8 Procesamiento de imágenes...................................................................213
8.1 OpenCV..............................................................................................................................................................213
8.2 Funciones importantes.................................................................................................................................214
8.2.1 imread.....................................................................................................................................................................214
8.2.2 imshow...................................................................................................................................................................214
8.3 Leer imágenes.................................................................................................................................................215
8.4 Escribir imágenes............................................................................................................................................215
8.5 Cambiando el formato de una imagen.....................................................................................................216
8.6 Modelo de color YUV......................................................................................................................................216
8.7 Modelo de color YUV (división de colores)...............................................................................................217
8.8 Traslación de imágenes.................................................................................................................................219
8.9 Rotación de imágenes...................................................................................................................................221
8.10 Utilizando la cámara....................................................................................................................................222
8.11 Histograma de imagen...............................................................................................................................223
8.12 Ecualización de histogramas....................................................................................................................226
8.13 Convolución de imágenes..........................................................................................................................228
8.14 Detección de rostros usando Haar Cascades......................................................................................229
8.15 Detección de Haar-Cascade en OpenCV ...............................................................................................231
9 Criptografía.................................................................................................235
9.1 Criptografía ......................................................................................................................................................235
9.2 Cronología de la criptología .........................................................................................................................235
9.3 Cifrado Julio César ..........................................................................................................................................240
9.4 Algoritmos disponibles..................................................................................................................................241
9.4.1 MD5........................................................................................................................................................................242
9.4.2 SHA1......................................................................................................................................................................243
9.4.3 SHA512.................................................................................................................................................................243
9.4.4 Diferentes algoritmos.......................................................................................................................................244
9.5 Cifrado homomórfico.....................................................................................................................................250
9.5.1 Lista archivos.......................................................................................................................................................251
9.5.2 Plataforma (platform).......................................................................................................................................252
9.5.3 Socket....................................................................................................................................................................252
9.5.4 Obtener la dirección IP .....................................................................................................................................255
9.5.5 Listar direcciones IP .........................................................................................................................................255
9.5.6 Búsqueda e indexación.....................................................................................................................................258
9.5.7 Recolección de información............................................................................................................................261
10 Deep web y redes Tor................................................................................265
10.1 Redes Tor........................................................................................................................................................265
10.2 Utilidad de las redes Tor.............................................................................................................................266
10.3 Deep Web.......................................................................................................................................................269
10.4 Mantenerse anónimo..................................................................................................................................270
10.5 El futuro de Tor..............................................................................................................................................270
10.6 Tor Browser....................................................................................................................................................271
10.6.1 Instalación ........................................................................................................................................................271
10.6.2 Uso.......................................................................................................................................................................273
10.6.3 Recomendaciones de uso de la red Tor....................................................................................................275
10.6.4 Comprobación de la privacidad....................................................................................................................276
10.7 Control de una instancia local Tor............................................................................................................277
10.8 Información de repetidores disponibles................................................................................................277
10.9 Información de autoridades de directorio.............................................................................................279
11 Tails...............................................................................................................281
11.1 Tails...................................................................................................................................................................281
11.2 Requerimientos............................................................................................................................................281
11.3 Aplicación de anonimato............................................................................................................................281
11.4 Usuario base..................................................................................................................................................282
11.5 Méritos técnicos y reconocimiento.........................................................................................................282
11.6 Relación entre Tor y Tails............................................................................................................................282
11.7 Confiabilidad de Tails...................................................................................................................................282
11.8 Software libre y escrutinio público..........................................................................................................283
11.9 Confiando en Debian GNU/Linux.............................................................................................................283
11.10 Confiando en Tor .......................................................................................................................................283
11.11 Confiando en Tails......................................................................................................................................284
11.12 Instalación de Tails ...................................................................................................................................284
11.13 ¿Qué es el spoofing de direcciones MAC?..........................................................................................289
11.14 Circuitos Onion ..........................................................................................................................................291
11.15 Listado de códigos de países..................................................................................................................293
11.16 Observando los Onion Circuits...............................................................................................................294
11.17 Anonimización en el mundo...................................................................................................................297
11.18 Posibilidad de romper TOR.....................................................................................................................297
11.19 Mejores buscadores en Tor.....................................................................................................................297
11.19.1 DuckDuckGo...................................................................................................................................................297
11.19.2 Wayback Machine.........................................................................................................................................298
11.19.3 SurfWax.............................................................................................................................................................298
11.19.4 Torch.................................................................................................................................................................299
11.20 Tráfico de la red Tor...................................................................................................................................299
11.21 Electrum Bitcoin Wallet...........................................................................................................................300
12 Blockchain...................................................................................................305
12.1 Blockchain......................................................................................................................................................305
12.2 Evolución de blockchain.............................................................................................................................306
12.3 Arquitectura de blockchain........................................................................................................................307
12.4 Características de blockchain...................................................................................................................308
12.5 Tipos de blockchain......................................................................................................................................308
12.5.1 Blockchain pública...........................................................................................................................................309
12.5.2 Blockchain privada..........................................................................................................................................309
12.5.3 Consorcio o blockchain federada..............................................................................

Descubra cómo el análisis de datos le puede llevar al éxito en cualquier ámbito empresarial y en los medios de comunicación En el mundo actual, el análisis de datos es fundamental para tomar decisiones, trazar objetivos e identificar oportunidades en cualquier sector. Este libro emerge como una herramienta esencial, accesible tanto para principiantes como para profesionales, con la que podrá adentrarse en el emocionante universo de la ciencia de datos con resultados satisfactorios. Análisis de datos con Python 3 despliega el poder del lenguaje de programación Python con un enfoque práctico y didáctico. Gracias a esta lectura, conocerá conceptos y herramientas fundamentales como Big Data, SciPy y Pandas. Pero eso no es todo: también explorará territorios como el procesamiento de lenguaje natural, la robótica, el machine learning y el web scraping, entre otros. Asimismo, adquirirá una comprensión completa de los conceptos y técnicas que están modelando el futuro digital. Este libro aborda los conceptos básicos sobre criptografía, la red Tor, Tails y la tecnología empleada en el desarrollo de las criptomonedas. Diseñado para estudiantes y profesionales de la informática, programadores y cualquier persona con interés en el análisis de datos, es una lectura obligatoria para quien busque comprender y dominar las herramientas que definen la era digital actual. No se quede atrás: aproveche la información precisa y los ejercicios prácticos del libro para estar al corriente de las ventajas que le ofrece la ciencia moderna. CONTENIDO ' Big Data ' Introducción al análisis de datos ' Pandas ' Procesamiento de lenguaje natural ' Robótica ' Inteligencia artificial Data Science ' Web scraping ' Procesamiento de imágenes ' Criptografía ' Deep web y redes Tor ' Tails ' Blockchain